大数据操作之删除和去重

大数据操作之删除和去重

一，从海量数据中删除数据

从海量数据表中删除一半数据，看似简单，使用delete命令，如果真这么干，SQL Server产生的事务日志暴增，估计会把服务器硬盘爆掉。数据库的恢复模式会影响日志文件的增长，在删除海量数据时，根据采用的方法，相应地把恢复模式设置为simple，或bulk_logged 模式，能够在很大程度上减少删除操作产生的事务日志，从而避免日志暴增。

另外，在删除数据时，把表上的多余索引删除(注意，是删除多余的索引)，只保留一个必需的索引;在数据删除完成之后，再重建索引，能够提高数据删除操作的性能。有人做过实验，从存储1.6亿条记录的大表中删除数据，每删除400万条要消耗1.5 - 3小时，越到后面速度越慢，为什么?这是因为，每次删除数据时，数据库都要相应地更新索引，这是很慢的硬盘 IO操作，并且，越到后面，索引碎片越多，更新索引就越慢，这就是在删除400万条记录时，一开始只消耗1.5小时，后面要消耗3小时原因。

最后，根据保留数据占总数据量的比例，选择不同的方法删除数据。如果大表中保留的数据较少，可以先把保留的数据存储到临时表中，然后，把原始表删除，这样能够利用大容量日志操作，来减少日志的增长和提高数据插入的速度。

二，从海量数据中去重

数据去重，分为部分列去重和全部列去重，全部列去重，使用distinct子句来实现，由于distinct操作符会创建在tempdb中临时表，因此，distinct操作是IO密集型的操作。而部分列去重，一般采用row_number排名函数来实现，也可以考虑使用忽略重复值的唯一索引来实现。在实际的项目开发中，部分列去重更为常见。