大数据的第四部分深度解析

大数据（四）

常见AI术语浅谈（4）

接上期。

　（四）、大数据展现和应用技术：

1，大数据可视化：

大数据的展现主要通过可视化技术，它是目前最有效的手段之一。大数据可视化是通过图形、图标……形式，获取、清洁、有序知识……展现大数据分析结果的过程。

数据可视化生动地表达数据的内在价值，方便企业利用数据智能开展相关业务。特点简单明了、清晰直观。

大数据可视化是由运行系统的数据+统计、分析、预测=同一表达在软件界面的结果，数据可视化技术形成3个分支：

科学计算可视化（scientific visualization）

信息可视化（information visualization）

可视分析（visual analytics）

近几年大数据越来越大，这3个分支出现逐渐融合趋势，通常统称为“大数据可视化”。大数据可视化包含这三种分支技术。

2，大数据可视化有哪些技术分类：

数据可视化技术，根据目标分类的数据可视化方法，数据可视化目标抽象为：

对比：比较不同元素之间或不同时刻之间的值。

分布：数据分布特征，是数据可视化最为常用。

组成：数据静态或动态组成。

关系：变量之间的相关性，常用于判断多个因素之间的影响关系。如某一变量变化，引起多组数据变动。

趋势：数据如何随着时间变化而变化。

大数据可视化技术有标签云、历史流、空间信息流……。

3，大数据应用技术：

大数据重点应用于以下三大领域：商业智能、政府决策、公共服务。

（1），商业智能技术(BI)。 运用现代数据仓库技术、联机分析处理、数据挖掘和数据显示技术来实现商业价值。

商业智能技术作为处理企业现有数据的工具，将大数据转化为知识、分析、结论。商业智能4大核心技术：数据仓库、数据采集、数据挖掘、数据可视化。前面已讲，不再重复。

（2），政府决策技术。主要体现数字政府建设，将互联网、大数据、云计算……新一代信息技术广泛应用于政府管理服务，政府治理流程再造和治理模式优化。推动简政放权、促进放管结合、实现优化服务。将数字技术应用于政务服务，推动建设智慧政务。

大数据时代，政府部门的各项决策都不再仅凭以往经验，而是更多地以数据分析辅助做出决定。大数据能有效提高信息的及时性、全面性和准确性，减少决策失误。

（3），公共服务。公共服务领域凸显大数据与其相关性，也是大数据应用最广泛的领域。

如：大数据运用于公共卫生和医疗健康服务，特别是诊疗大数据、临床大数据的运用，对疾病的判断和治疗手段有了数据依据，医疗、健康服务带来质的飞跃，延长人类的寿命。

气象信息分析技术，天气预报更及时、准确，环境监测技术、城市管理道路监控、视频监控、网络监控、智能交通……。　

五、大数据工具、技术和方法汇总：

前面讲了大数据技术，有些凌乱，汇总如下：

（1），大数据采集：

数据抓取：网络信息抓取（网络爬虫）。

自动化工具：八爪鱼采集器（Scrapy）、无头浏览器（Puppeteer）……。

数据清洗技术：标准分数（Z-score）……。

数据集成技术：常用方法联邦式、中间件模型、数据仓库。

（2），大数据处理：

分布式计算框架（MapReduce）。

开源的大数据处理框架（Spark）。

流处理框架：开源的分布式实时计算系统（Storm）……。

图处理框架：迭代的图计算系统（Giraph）……。

（3），大数据分析：

数据挖掘、机器学习、统计分析等方法，以及可视化工具：数据分析与可视化工具（如Tableau），业务分析解决方案（PowerBI）……。

（4），大数据存储：

分布式文件系统（HDFS）。

开源分布式数据库（Cassandra）……。

非关系型的数据库（NoSQL）……。

基于分布式文件存储数据库（MongoDB）……。

（5），大数据安全：

数据加密技术：分为数据传输加密技术、数据存储加密技术、数据完整性的鉴别技术和密钥管理技术。

数据备份、数据恢复……。

一句话保证数据安全性和可靠性。

2024年1月1日