大数据概念深度解析及产业链全景展望

发表时间: 2024-09-20 16:24

前言

数字经济浪潮下，数据已成为当今最为核心的资源之一，数据成为推动企业和社会发展、转型、创新的新型生产要素。

大数据这个词，不管您是不是相关行业的从业者，也都听过无数遍了，但对于大多数人来说，并不能清楚的讲出什么是大数据。今天小兵尝试通过通俗的语言，结合贴近生活的例子，将大数据及相关的概念一次讲清楚。

1.1 大数据的定义

大数据：是指规模巨大、类型复杂多样，在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。

大数据技术：是通过获取、存储、分析，从大容量数据中挖掘价值的一种全新的技术架构。

1.2 大数据的特征

规模巨大（Volume）：大数据集合的规模通常超出传统数据库管理系统的处理能力，数据量可能达到TB、PB甚至EB级别。这种规模的数据需要强大的存储和处理能力，以确保数据的高效管理和分析。
类型多样（Variety）：大数据的多样性指的是数据的来源和格式多种多样，包括结构化数据、半结构化数据和非结构化数据。传统的数据库和数据管理解决方案缺乏灵活性且功能范围有限，根本无法应对大数据中各种不同且复杂的数据集。
处理速度快（Velocity）：大数据的生成、传输和处理的速度非常快，借助大数据技术（如分布式技术、流处理技术等），能极大的增加数据处理速度，确保系统能够实时响应。
价值密度低（Value）：大数据的数据量很大，但是价值密度很低。需要通过深度分析和挖掘才能发现和发挥大数据的价值。

1.3 大数据的级别

先通过表格介绍一下数据的级别：

上表中蓝色字体部分，也就是1PB以上规模的，我们通常算作大数据级别。举一些大数据级别的例子：

1.4 大数据的来源

包括CRM用户数据、ERP 数据、库存数据、人事数据、财务数据等。

包括设备日志、智能仪表、工业传感器、环境传感器、摄像头等。

包括用户行为记录、访问记录、UGC内容、反馈数据等。

1.5 大数据的类型

数据按照结构可以分为结构化数据、非结构化数据、半结构化数据。

数据按照访问频率可以分为热数据、温数据、冷数据。

1.6 大数据与传统数据的区别

通过表格对传统数据和大数据进行对比：

2.1 大数据的发展（国际）

1980年，美国作家阿尔文 ·托夫勒在《第三次浪潮》书中，将“大数据”称为“第三次浪潮的华彩乐章”。
1997年，美国宇航局研究员迈克尔 ·考克斯和大卫 ·埃尔斯沃斯首次使用“大数据”这一术语来描述海量数据带来的挑战。数据之大，超出了存储器的承载能力，称之为“大数据问题”。
2006年，云计算出现。2007-2008年，社交网络激增，刺激了大数据技术的发展。
2011年6月，麦肯锡发布报告，正式定义了大数据的概念，后逐渐受到了各行各业关注。
2012年1月瑞士达沃斯召开的世界经济论坛上，大数据是主题之一，会上发布的报告《大数据，大影响》宣称，数据已经成为一种新的经济资产类别。
2014年4月，世界经济论坛以“大数据的回报与风险”主题发布了《全球信息技术报告(第13版)》。

2.2 大数据的发展（国内）

2011年12月，工信部发布的物联网十二五规划上，把信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这些是大数据的重要组成部分。
2014年，“大数据”首次出现在当年的《政府工作报告》中。《报告》中指出，要设立新兴产业创业创新平台，在大数据等方面赶超先进，引领未来产业发展。
2015年，大数据上升到国家战略层面，我国政府于2015年8月通过了《关于促进大数据发展的行动纲要》。
2015年10月26日至29日，党的十八届五中全会召开，公报提出要实施“国家大数据战略”,这是大数据第一次写入党的全会决议，标志着大数据战略正式上升为国家战略，五中全会开启了大数据建设的新篇章。
2022年，中共中央国务院《关于构建数据基础制度更好发挥数据要素作用的意见》，初步搭建我国数据基础制度20条政策举措，简称“数据二十条”。
2023年10月，国家数据局正式挂牌成立，负责协调推进数据基础制度建设，统筹数据资源整合共享和开发利用，统筹推进数字中国、数字经济、数字社会规划和建设。