大数据相关概念

网友投稿 752 2022-11-17

本站部分文章、图片属于网络上可搜索到的公开信息,均用于学习和交流用途,不能代表睿象云的观点、立场或意见。我们接受网民的监督,如发现任何违法内容或侵犯了您的权益,请第一时间联系小编邮箱jiasou666@gmail.com 处理。

大数据相关概念

1 研究背景及意义

2 大数据概念

所谓大数据,即海量数据,具有信息量大、信息主体多元、更新速度快和价值密度低等特点,通常是指大量非结构化或半结构化的数据集。其实早在几年前,数据的海量增长就引起了人们的关注,海量数据的发生、使用、储存伴随着云计算的发展等都成为了现实,“大数据”已经走入了我们的生活。最早将大数据用于IT环境的是知名咨询公司麦肯锡,麦肯锡在研究报告中指出:如果云计算为数据资产提供了保管、访问的场所和渠道,那么如何盘活数据资产使其为国家治理、企业决策乃至个人生活服务,则是大数据的核心议题,也是云计算内在的灵魂和必然的升级方向。

从信息安全角看,大数据是指规模和格式前所未有而又相互关联的大量数据,搜集自企业的各个部分,技术人员可以对它们进行高速分析。

就像电影《黑客帝国》中的感知机器人或者《终结者》电影中的天网一样,现在的大数据环境由大规模并行处理数据库产品(不过所幸的是,它们没有自我感知能力)组成,这些产品通过处理PB级(1015)到ZB级(1021)看似不同的数据来创建趋势和数据映射。通过建立这种宏观层面的信息,大数据可以让企业了解到他们的产品是如何以前所未有的经济理解水平在运行。也就是说,通过以新方式来结合和分析海量数据,我们可以实现新的业务洞察力.

3 大数据特征

大数据的4V+1C特征:

1).Volume,数据量大,据国际知名数据公司IDC提供的数据,全球数据量大约每两年翻番,人类近两年产生的数据量相当于之前产生的全部。

2).Variety,数据类型多,数据可分为结构化数据,半结构化数据和非结构化数据,相较便于存储的文本为主的结构化数据,日志,音频,视频,图片等非结构化数据,对数据处理能力提出了更高要求。

3).Value,价值密度低,价值密度的高低与数据数量成反比。例如在连续的一小时监控过程中,可能有用的数据只有一秒。如何通过强大的计算机算法更迅速的完成对有用数据的提取,是大数据背景下亟待解决的问题。

4)Velocuty,处理速度快,这是大数据相较于传统数据挖倔最显著的特征,IDC的“数字宇宙”报告预计到2020年,全球以电子形式存储的数据数量将达到35.2ZB,在如此海量的数处理效率将成为衡量技术水平的关键。

5)Complexity,复杂性加大,更提升了处理分析大数据的难度。

上一篇:大数据分析的4个核心概念
下一篇:大数据时代面临的安全挑战
相关文章

 发表评论

暂时没有评论,来抢沙发吧~