大数据之动态数据

大数据之动态数据

对于动态数据，需要采用实时处理方法。时延是需要考量的一个关键因素，时间就是金钱在这里体现的淋漓尽致。 通过减少多租户的资源约束和云服务的使用可以降低时延，提高性能水平，能够实时处理大流量数据.

数据流程相似于传统的ETL流程，在数据提取时同时完成数据的初步转换和清洗，具体流程还是与目标息息相关的。数据流处理是动态数据处理的核心部分，既可以对动态数据进行进一步的清洗然后存储，又可以直接引入分析方法，与后面的流式应用连接起来。

数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到业务范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。数据治理对于确保数据的准确、分享和保护是至关重要的。有效的数据治理通过改进分析算法、缩减存储和计算成本、降低灾备风险和提高安全合规等方式，最终体现数据的价值。

数据安全一是数据本身的安全，主要是指采用加密方法对数据进行主动保护，如数据保密、数据完整性、双向身份认证等，同时也是数据防护的安全，主要是对数据存储进行主动防护，如通过磁盘阵列、数据备份、异地容灾等手段保证数据的安全。数据处理的安全是指如何有效的防止数据在录入、处理、统计中由于硬件故障、人为误操作、程序缺陷、病毒或黑客等造成的数据库损坏或数据丢失现象，某些敏感或保密的数据可能不具备资格的人员阅读，而造成数据泄密等后果。而数据存储的安全是指数据在系统运行之外的可读性。

数据运营是指通过对动态数据的分析挖掘，把隐藏在海量数据中的信息以合规化的形式发布出去，供数据的消费者使用。动态数据的数据运营是一个非常具有挑战性的课题。