大数据与传统的数据技术的差别

大数据与传统的数据技术的差别

1、数据规模大：传统数据技术主要是利用现有存在关系性数据库中的数据，对这些数据进行分析、处理，找到一些关联，并利用数据关联性创造价值。这些数据的规模相对较小，可以利用数据库的分析工具处理。而大数据的数据量非常大，不可能利用数据库分析工具分析。

2、非结构化数据：传统数据主要在关系性数据库中分析，而大数据可以处理图像、声音、文件等非结构化数据。

数据量大十分好理解，以前我们存储数据使用的单位是 KB，一个Excel表格也就几十到几百KB，现在我们经常说到GB甚至是TB乃至PB的数据量级，它们的数量关系如下所示。

1：1MB=1024KB ， 2：1GB=1024MB ，3：1TB=1024GB ，4：1PB=1024TB

更直观一点，1KB相当于512个汉字，1MB就相当于六本红楼梦的字数……而淘宝网在2015年3月每天大约能产生7TB的数据量，相当于4000万本红楼梦的数据量，而中国最大的图书馆中国国家图书馆的藏书量是3000万册。由此看来，我们的大数据着实是数据量巨大了。

自有数据与外部数据是数据获取的两个主要渠道。在自有数据中，我们可以通过一些爬虫软件有目的的定向爬取，比如爬取一批用户的微博关注数据，某汽车论坛的各型号汽车的报价等。用户留存多是用户使用了公司的产品或是业务，用户在使用产品或是业务中会留下一系列行为数据，这个构成了我们的数据库主体，通常的数据分析多基于用户留存的数据。用户上传数据诸如持证自拍照、通讯录、历史通话详单等需要用户主动授权提供的数据，这类数据往往是业务运作中的关键数据。相较于自有数据获取，外部数据的获取方式简单许多，绝大多数都是基于API接口的传输，也有少量的数据采用线下交易以表格或文件的形式线下传输。此类数据要么采用明码标价一条数据多少钱，或是进行数据共享，交易双方承诺数据共享，谋求共同发展。