大数据概念解析:为何成为热门话题?

发表时间: 2024-05-24 15:50

大数据是具有事件日志性质和统计正确性等信息特征的数据,它对分布式存储、并行数据处理和易于扩展的解决方案提出了技术要求。



一、举个例子

想象一个由分析系统支持的电子商务网站,该网站通过监控每个用户购买或感兴趣的产品(根据在产品页面上花费的时间)来识别每个用户的喜好。基于这些信息,系统推荐“你也可以”的产品。这是一个独立的系统。


二、大数据有哪些特征呢?


信息特征与任何时候可能发生变化的传统数据(如银行账户、仓库中的货物数量)不同,大数据表示记录的日志。其中每个描述某些事件(例如,商店中的购买、网页视图、给定时刻的传感器值、社交网络上的评论)。由于其本身的性质,事件数据不会改变。


三、大数据技术

Hadoop 是用于分布式存储大量数据的框架(ITS)。HDFS组件)和并行数据处理(Hadoop MapReduce)。它将一个大块分解成较小的块,在不同的数据节点(计算机)上单独处理,并在多个节点上自动收集结果以返回单个结果。Hadoop通常意味着覆盖多个大数据技术的生态系统。

Spark是一个用于内存中并行数据处理的框架,它使实时大数据分析有可能。例如,分析系统可能会发现访问者在特定的产品页面上花费了相当长的时间,但还没有将它们添加到购物车中。为了激励购买,该系统可以为感兴趣的产品提供折扣券。

现在你知道什么是大数据了,不是吗?