存储空间容量优化

网友投稿 865 2022-10-28

本站部分文章、图片属于网络上可搜索到的公开信息,均用于学习和交流用途,不能代表睿象云的观点、立场或意见。我们接受网民的监督,如发现任何违法内容或侵犯了您的权益,请第一时间联系小编邮箱jiasou666@gmail.com 处理。

存储空间容量优化

存储空间不足?一个严重但普遍存在的问题

在某电力用户营销系统数据库运维的过程中,常常遇到这样的问题,系统运行一段时间之后,基础数据平台数据库存储增速很快,导致营销基础存储已无多余的存储,而存储已经无法扩容,如果不做相应的处理,极有可能由于表空间不足造成业务停运!

问题发生的原因

1、大量的可清理数据

营销基础数据平台数据库存储增速过快,部分表及索引已经超过1T,而大量数据都是从营销相关的系统抽取过来的,经过清理分析后部分数据已经无任何存在的价值。完全可以清理掉。

2、表空间可用率低

一方面大部分营销基础数据平台表空间可用率都低于10%,甚至不足1%;另一方面部分表空间空间使用率不足1%,完全是空闲的表空间,浪费比较多空间,完全可以回收。

3、表碎片严重

部分表的碎片非常严重,例如:某张结果表在etl过程中频繁的被dml语句操作,可能导致整个表的碎片激增,占用的空间放大到10倍以上。

肿么办——多种方式并用,分析+优化

案例:实战中是这样处理的

招数1 数据分析及历史数据清理

运维工程师和系统应用人员对大表的数据讨论、分析和总结,保留了原有表结构,清理2013年以前的数据(约50G)。对2013年前的表分区进行trunc,以达到空间释放的效果。经过清理,部分巨大的表空间使用率大幅度下降,使用率由95%以上下降到了60%以下。大部分1T以上表清理后仅仅剩余不到500G。

招数2 表空间使用情况分析与回收

经过数据清理之后,部分表空间可用率得到显著上升,但仍然存在部分小的表空间可用率比较低,需要扩容,但是ASM磁盘空间并没有回收,空间剩余不足800G,非常紧张。因此resize使用率低于20%的数据文件,回收 ASM磁盘空间。回收完成后,ASM磁盘剩余空间达到5.5 T。足够半年使用率。

招数3 碎片整理分析及重建

一般地,经过以上处理之后,ASM磁盘剩余空间将满足系统使用,如果希望继续优化,可以考虑表move 存储。方法为:先对数据库的碎片严重的表进行分析统计,再用碎片整理脚本进行move处理。处理后预计可获得3-5T空间。

效果:存储空间回来了!

优化前后表空间空间释放情况统计(仅含关键表空间):

TABLESPACE_NAME

总容量

(MB)

优化前空闲容量

(MB)

优化后空闲容量

(MB)

SHAREDATA

10388205

1709440.69

4809839

CACHE_FK_DATA

5914491

977220.38

4305221

CACHE_YX_DATA

1533913

310064.63

325059

SHAREIDX

1331165

471248.44

280078

CACHE_YX_IDX

1310680

211219.25

332193

UNDOTBS2

1021252

129867.63

983274

CACHE_PT3_DATA

906215

170223

350284

CACHE_PT1_DATA

906215

172394.63

344947

SHARE_PT1_DATA

880615

190168.06

247428

CACHE_CJ_IDX

1000422

145883.25

813668

SHARE_PT2_DATA

818154

141511.25

212017

CACHE_PT4_DATA

797674

144461

316867

CACHE_PT2_DATA

813034

119682.56

271228

CACHE_PT5_DATA

755693

131709

350037

SHARE_PT6_DATA

771053

114376.31

187583

SHARE_PT3_DATA

728046

151147.5

238717

SHARE_PT5_DATA

735213

128449.88

239070

SHARE_PT4_DATA

735213

107636.44

239683

总计

31347253

5526703.9

14847193

释放空间

9320489.1

总计释放空间9.3T,占总空间的40%左右!

优化前后ASM磁盘空间释放情况(未进行碎片处理)

DISKGROUP NAME

总计大小

优化前剩余空间

优化后剩余空间

Data

37T

800G

5.5T

价值解读

避免系统停运

首先,对系统使用者来说,系统停运所面临的损失是最严重的。通过优化成功避免了系统停运。

提高性能

在上文的案例中,相当比例的表中存在大量垃圾数据,部分表空间根本没有使用。清理整理优化后,空间释放率40%以上,节约存储10T以上,系统性能得到显著提高。

节约成本

经过优化得到的10T空间。以目前的市场情况估计,硬盘购置费用约15万,存储其他配件约15万,每年的电费等其他维护费用20万。每年节约的费用总计可达50万。

服务创造价值!

试试优化您的存储空间,保障业务系统持续稳定运行,有备无患。

联系海天起点:010-58701010  专注于IT运维和SaaS,助力提升系统性能和用户体验,实现您的业务价值。

长按并关注

上一篇:Pulsar处理TB级日志服务实践
下一篇:源代码管理系统迁移
相关文章

 发表评论

暂时没有评论,来抢沙发吧~