大数据的数据源

大数据的数据源

其次是用户的行为数据，经管用户经受了产品本身的诱导和局限，但用户的行为数据还是在一定程度上体现的用户便好。 过去的可用性测试甚至形成了可用性工程，而今，一般都会通过用户的行为数据来检验用户体验。

物联网(IOT)的到来，凸显了传感器数据的重要性。传感器数据是相对高频的数据，与时间序列相关，可以考虑与时间相关的数据存储，以及数据的迁移。位置数据可以看作是一种特殊的传感器数据，通过位置数据可以得到物理上空间位置的描述，是一种非常有用的数据，尤其对移动互联网应用而言。

社交几乎也是无处不在的(anything can be social)，通过社交属性的功能，可以使应用拥有一定的社会属性，从而具备更多的价值。电子邮件可能是比较古老的互联网应用了，可以看作是一种特殊的社交数据，数据采集可以通过标准的POP3/IMAP4协议实现，应用内的社交数据需要自己整理，对于第三方的社交平台，一般都是提供API 接口服务的，只要注意以来访问控制即可。

媒体的范围较大，针对性的获取数据需要爬虫的相关技术，数字化媒体的各种限制对爬虫而言是一个挑战。相对而言，社交媒体和自媒体通用访问接口的获取想对容易一些。

不论是客户的网站还是竞品的网站，同样需要爬虫技术的帮助,这些数据将对业务系统的数据形成有益的补充。

文档数据大多是非结构化数据，一般是文件系统和NoSQL 的胜场。对于很多企业而言，往往纸质文档数据化的过程，随着AI技术的发展，尤其是OCR 相关技术的逐渐成熟，所有文档都是数据资源。