大数据入门指南:初学者必知概念

发表时间: 2024-09-11 10:01

没有不存在大数据的地方!在过去的几年里,人们对什么是大数据的好奇心一直在飙升。让我告诉你一些令人难以置信的事实!据《福布斯》报道,用户每分钟观看415万个YouTube视频,在Twitter上发布45.6万条推文,在Instagram上发布46740张照片,在Facebook上发布51万条评论,更新29.3万条状态!

想象一下这些活动产生的巨大数据块。这种通过社交媒体、商业应用、电信和其他领域不断创造的数据正在导致大数据的形成。您可以从Hadoop课程中更好地了解大数据及其各种概念。

在进一步探讨之前,让我先深入了解一下为什么这项技术变得如此重要。

你们记得上次用软盘或CD存储数据是什么时候?让我猜猜,这得追溯到21世纪初,对吧?手工纸质记录、文件、软盘和光盘的使用现已过时。原因是数据呈指数级增长。人们开始将数据存储在关系数据库系统中,但由于对新发明、技术、快速响应时间的应用程序的渴望,以及互联网的引入,现在这些都是不够的。这种连续的海量数据可以被称为大数据。大数据还有一些其他的特征,我将在这篇博客的后面解释。

据《福布斯》报道,以我们目前的速度,每天有2.5万亿字节的数据被创造出来,而且这个速度只会加速。物联网(IoT)就是这样一种技术,它在这种加速中起着重要作用。今天90%的数据都是在过去两年产生的。


什么是大数据?

所以在我解释什么是大数据之前,让我先告诉你什么不是大数据!与之相关的最常见的误解是,它只是关于数据的大小或容量。但实际上,这不仅仅是收集“大量”数据的问题。大数据是指从各种数据源以不同格式涌入的大量数据。即使在以前,也有大量的数据存储在数据库中,但由于这些数据的多样性,传统的关系数据库系统无法处理这些数据。大数据不仅仅是不同格式的数据集的集合,它是一项重要的资产,可以用来获得无数的好处。

大数据的三种不同格式是:

1. 结构化:具有固定模式的、有组织的数据格式。如RDBMS。

2. 半结构化:部分有组织但没有固定格式的数据。如XML、JSON。

3. 非结构化:具有未知模式的、无组织的数据。如音频、视频文件等。


大数据的特点

大数据有五个V,但随着数据的不断发展,V也会不断发展。我列出了五个随着时间的推移逐渐发展起来的V:

1. 有效性:数据的正确性

2. 可变性:动态行为

3. 波动性:随时间变化的趋势

4. 脆弱性:易被破坏或攻击

5. 可视化:将数据有意义地使用进行可视化展示


大数据分析

既然我已经告诉了你什么是大数据,以及它是如何以指数方式产生的,让我给你一个非常有趣的例子,星巴克,一家领先的咖啡馆连锁店,是如何利用大数据的。

我在福布斯上看到一篇文章,报道了星巴克如何利用这项技术来分析顾客的偏好,以增强和个性化他们的体验。他们分析了会员的咖啡购买习惯,以及他们喜欢的饮料,以及他们通常在一天中的什么时间点咖啡。因此,即使人们来到星巴克的“新”门店,该店的销售点系统也能够通过智能手机识别顾客,并向咖啡师提供他们喜欢的订单。此外,根据顾客的订购偏好,他们的应用程序还会推荐顾客可能有兴趣尝试的新产品。朋友们,这就是我们所说的大数据分析。

基本上,它主要被公司用来促进他们的成长和发展。这主要涉及到在给定的数据集上应用各种数据挖掘算法,这将帮助他们更好地做出决策。


大数据应用

以下是大数据应用发生革命性变化的一些领域:

1. 娱乐:Netflix和亚马逊用它向用户推荐节目和电影。

2. 保险:使用这种技术来预测疾病、事故并相应地为他们的产品定价。

3. 无人驾驶汽车:谷歌的无人驾驶汽车每秒收集大约1gb的数据。这些实验需要越来越多的数据才能成功地进行。

4. 教育:选择大数据驱动的技术作为学习工具,而不是传统的授课方法,这增强了学生的学习体验,也帮助老师更好地跟踪他们的表现。

5. 汽车:劳斯莱斯采用了这项技术,在发动机和推进系统中安装了数百个传感器,记录了它们运行的每一个微小细节。数据的实时变化被报告给工程师,工程师将决定最佳行动方案,如安排维护或在问题需要时派遣工程团队。

6. 政府:一个非常有趣的用例是在政治领域分析模式并影响选举结果。剑桥分析有限公司就是这样一个组织,它完全依靠数据来改变受众的行为,并在选举过程中发挥着重要作用。


大数据的范围

就业机会众多:与大数据领域相关的职业机会包括大数据分析师大数据工程师、大数据解决方案架构师等。根据IBM的数据,59%的数据科学和分析工作需求来自金融和保险、专业服务和IT行业。

对分析专业人员的需求不断增长:《福布斯》的一篇文章显示,“IBM预测对数据科学家的需求将飙升28%”。根据IBM的数据,美国所有数据专业人员的职位数量将继续增加。

薪资方面:《福布斯》报道称,雇主愿意在学士和研究生水平之上的员工多支付8736美元,成功求职者的起薪为80265美元

采用大数据分析:在全球范围内,大数据分析的使用有了巨大的增长。


本文转载自 什么是大数据?– 大数据世界初学者指南- 雪兽软件

更多精彩推荐请访问 雪兽软件