大数据概念及其独特性解析

发表时间: 2020-11-26 16:58

1、大数据定义及其特征

大数据的概念最早于20世纪90年代提出,根据维基百科定义,是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理、处理的数据集合。从产业的角度,常常把这些数据与采集它们的工具、平台、分析系统等一起被称为大数据。在2012年瑞士达沃斯世界经济论坛上,大数据是框定的主题之一,该论坛发表的报告《大数据,大影响》中提出,数据已经成为一种新型的经济资产,就像货币或者黄金一样。需要特别指出的是,大数据和海量数据是有区别的:大数据包含了海量数据的含义,而且在内容上超越了海量数据,简言之,大数据等于“海量数据+复杂类型的数据”。

总结起来,大数据的特征主要体现为大量化、多样性、快速化、价值化和复杂性(简称“4V+1C”):(1)数据体量大(Volume)。从GB、TB级跃升到PB(1PB=1024TB)乃至EB(1EB=1024PB)级别。到目前为止,人类生产的所有印刷材料的数据量是200PB,而历史上全人类说过的所有的话的数据量大约是5EB;(2)数据类型繁多(Variety)。被分为结构化数据、半结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据,超过80%的数据都是非结构化数据,如视频监控数据、流媒体数据、RFID感应数据等;(3)价值密度低(Value)。单条数据并无太多价值,但庞大的数据中蕴含着巨大的价值。数据价值密度的高低与数据总量的大小成反比。如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是目前大数据背景下亟待解决的难题;(4)处理速度快(Velocity)。这是大数据区分于传统数据挖掘最显著的特征。如物联网每秒都在采集数据,微博内容随时都在更新,处理速度达到每小时10TB或更高;(5)复杂程度高(Complexity)。综合以上四个方面特征,对数据的处理和分析更加艰巨、更加复杂。

2、大数据相关技术

Hadoop是Apache开源组织的一个分布式计算框架,是Map Reduce的第一个开源实现,被认为是应对大数据难题的利器。Hadoop可以在大量廉价的硬件设备组成的集群上运行应用程序,为应用程序提供一组稳定可靠的接口,旨在构建一个具有高可靠性和良好扩展性的分布式系统。内存计算是一个软硬件结合体,能够提供高性能的数据查询功能,将数据库直接装入内存运算,减少了数据交换时间,大大提高了数据的处理能力,使用户可以直接对大量实时业务数据进行查询和分析。随着内存价格的下降,下一代的内存计算时代即将来临。NoSQL是Not Only SQL的缩写,不一定遵循传统数据库的一些基本要求,相比传统数据库,叫它分布式数据管理系统更贴切,数据存储更简化更灵活,重点被放在了分布式数据管理上,用以满足对数据库高并发读写的需求;对海量数据的高效率存储和访问的需求;对数据库的高可扩展性和高可用性的需求。此外,微软、IBM、Oracle、SAS等公司也都提出了大数据相关解决方案。

3、企业应具备的大数据能力

经过对大数据特点与应用现状,我们发现对大数据的价值发现将依赖于以下三个基础能力:(1)全面获取数据的能力。发掘数据价值的基础是对海量异构数据的全面获取,包括从专业系统、生产系统、管理系统中直接获取数据、从油田、炼厂、管道、加油站的各类传感器采集数据、从互联网络、智能终端等实时收集数据,完善的数据收集和优化的数据存储管理体系,将能为数据价值发掘提供更为广阔的空间,在提高价值发现概率的同时降低数据存储成本。(2)高效处理数据的能力。发掘数据价值的保障是具备高效的数据处理技术,通过借助先进的数据建模分析工具、可扩展的并行计算能力和灵活的数据交互展示平台,数据价值研究人员建立复杂的数学算法模型,并快速完成所需的大量的计算任务,并以最便于观察和分析的形式展示出来,将能够缩短数据研究周期,提升价值发现的效率。(3)综合研究数据的能力。发掘数据价值的核心在于提高数据分析和研究的水平,能够从“大数据”中找到问题、发现规律、不断得到新的价值发现。对其研究将不再是单个部门能够胜任的工作,需要相关行业专家、业务人员与技术人员的共同参与,尤其需要数据科学家、数据分析师等专业人才,通过不断丰富业务分析与优化工具、行业模型、方法论,持续拓展数据应用空间,发掘数据应用潜力,实现高水平的数据整合应用。