大数据的定义与含义

发表时间: 2021-10-11 13:27

大数据(Big data) 指的是传统数据处理应用软件不足以处理的大或复杂的数据集的术语,存储来自各种来源的大量非结构化或结构化数据,大数据通常包含的数据大小超出传统软件在可接受的时间内处理的能力。

大数据其实是一头大象,每个人对大数据的认知都不一样,像是盲人摸象一样,有人说大象像根巨大的柱子,有人说大象像根水管,有人说大象像扇子,摸到的部位不同,感受也就不一样。


研究机构Gartner定义:"大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

麦肯锡(美国首屈一指的咨询公司,研究大数据的先驱)在其报告《Big data: The nextfrontier for innovation, competition,and productivity》中给出的大数据定义是:大数据指的是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。

亚马逊(全球最大的电子商务公司)的大数据科学家John Rauser 给出了一个简单的定义:大数据是任何超过了一台计算机处理能力的数据量。

大数据的四大特征:

1) Volume海量的数据规模:数据量由TB级跃升到PB级,2020 全球数据产生量达到 35ZB,而到 2035 年,这一数字将达到 2142ZB

2) Variety多样的数据类型:结构化、半结构化、非结构化的数据,不同的形式存储(文本、图像、视频、机器数据等)

3) Velocity实时的数据流转和动态的数据体系:大数据是庞大并连续的数据流,可帮助研究人员进行实时分析和跟踪,起到立竿见影的效果

4) Value巨大的数据价值:大数据的价值密度低,保留了人们大量的行为数据,通过有效的数据挖掘分析,可以发现隐藏在大量细节背后的规律,依据规律,预测未来。