AIOps 一场颠覆传统运维的盛筵
1247
2022-10-27
避免系统停运:存储空间容量优化
导致业务停运?一个严重但普遍存在的问题
在营销系统数据库运维的过程中,常常遇到这样的问题,系统运行一段时间之后,基础数据平台数据库存储增速很快,导致营销基础存储已无多余的存储,存储已经无法扩容,如果不做相应的处理,极有可能由于表空间不足造成业务停运!
问题发生的原因
大量的垃圾数据
营销基础数据平台数据库存储增加的同时,表及索引可能超过1T!!!大量数据抽取于营销相关系统,但一般情况下,经分析后部分数据已经无任何存在的价值。
表空间可用率低
大部分营销基础数据平台表空间可用率都低于10%,甚至不足1%,处于空闲状态,形成大量浪费。
表碎片严重
某张结果表在etl过程中频繁的被dml语句操作,可能导致整个表的碎片激增。占用的空间放大到10倍以上。
肿么办——多种方式并用,分析+优化
案例:实战中可以这样处理
招数1 数据分析及历史数据清理
运维工程师和系统应用人员对大表的数据讨论、分析和总结,保留了原有表结构,清理2013年以前的数据(约50G)。trunc2013年前的表分区,释放空间。经过清理,部分巨大的表空间使用率大幅度下降,使用率由95%以上下降到了60%以下。大部分1T以上表清理后仅仅剩余不到500G。
招数2 表空间使用情况分析与回收
经过数据清理之后,部分表空间可用率得到显著上升,但仍然存在部分小的表空间可用率比较低,需要扩容,但是ASM磁盘空间并没有回收,空间剩余不足800G,非常紧张。因此resize使用率低于20%的数据文件,回收 ASM磁盘空间。回收完成后,ASM磁盘剩余空间达到5.5 T。足够半年使用率。
招数3 碎片整理分析及重建
一般地,经过以上处理之后,ASM磁盘剩余空间将满足系统使用,如果希望继续优化,可以考虑表move 存储。方法为:先对数据库的碎片严重的表进行分析统计,再用碎片整理脚本进行move处理。处理后预计可获得3-5T空间。
效果:存储空间回来了!
优化前后表空间空间释放情况统计(仅含关键表空间):
TABLESPACE_NAME | 总容量 (MB) | 优化前空闲容量 (MB) | 优化后空闲容量 (MB) |
SHAREDATA | 10388205 | 1709440.69 | 4809839 |
CACHE_FK_DATA | 5914491 | 977220.38 | 4305221 |
CACHE_YX_DATA | 1533913 | 310064.63 | 325059 |
SHAREIDX | 1331165 | 471248.44 | 280078 |
CACHE_YX_IDX | 1310680 | 211219.25 | 332193 |
UNDOTBS2 | 1021252 | 129867.63 | 983274 |
CACHE_PT3_DATA | 906215 | 170223 | 350284 |
CACHE_PT1_DATA | 906215 | 172394.63 | 344947 |
SHARE_PT1_DATA | 880615 | 190168.06 | 247428 |
CACHE_CJ_IDX | 1000422 | 145883.25 | 813668 |
SHARE_PT2_DATA | 818154 | 141511.25 | 212017 |
CACHE_PT4_DATA | 797674 | 144461 | 316867 |
CACHE_PT2_DATA | 813034 | 119682.56 | 271228 |
CACHE_PT5_DATA | 755693 | 131709 | 350037 |
SHARE_PT6_DATA | 771053 | 114376.31 | 187583 |
SHARE_PT3_DATA | 728046 | 151147.5 | 238717 |
SHARE_PT5_DATA | 735213 | 128449.88 | 239070 |
SHARE_PT4_DATA | 735213 | 107636.44 | 239683 |
总计 | 31347253 | 5526703.9 | 14847193 |
释放空间 | 9320489.1 |
总计释放空间9.3T,占总空间的40%左右!
优化前后ASM磁盘空间释放情况(未进行碎片处理)
DISKGROUP NAME | 总计大小 | 优化前剩余空间 | 优化后剩余空间 |
Data | 37T | 800G | 5.5T |
价值解读
避免系统停运
首先,对系统使用者来说,系统停运所面临的损失是最严重的。通过优化成功避免了系统停运。
提高性能
在上文的案例中,相当比例的表中存在大量垃圾数据,部分表空间根本没有使用。清理整理优化后,空间释放率40%以上,节约存储10T以上,系统性能得到显著提高。
节约成本
经过优化得到的10T空间。以目前的市场情况估计,硬盘购置费用约15万,存储其他配件约15万,每年的电费等其他维护费用20万。每年节约的费用总计可达50万。
服务创造价值!
试试优化您的存储空间,业务系统持续稳定运行,有备无患更安心。
联系海天起点:010-58701010 专注于IT运维和SaaS,助力提升系统性能和用户体验,保障您的业务价值。
长按并关注
发表评论
暂时没有评论,来抢沙发吧~