本书秉持“引项目、导思维、重体验”的编写理念，围绕九大核心项目展开，全面覆盖大数据全流程技术栈。全书以图示化讲解、步骤化操作、案例化呈现为特色，深度践行“做中学”的教学理念，助力学生实现零基础入门、阶梯式进阶，同时兼顾数据思维塑造与伦理素养培育。 全书以数据素养认知为起点，系统讲解Linux环境配置、Hadoop集群部署等基础内容，深入阐释Flume、HDFS/HBase、MapReduce、Spark/Hive等核心组件的部署方法与实践应用，进一步延伸至行业应用开发与安全体系设计等拓展模块。内容紧密对接“1+X”证书要求，配套考证样卷及深度解析，助力学生实现课证融通、学以致用。 本书适用于高等院校与职业院校计算机、大数据、人工智能等相关专业的入门教学，也可作为大数据运维、数据分析等岗位的职业培训教材，以及社会学习者的自学参考书。即便是零基础的读者，也可借助Excel等工具完成全部实践任务，轻松迈入大数据领域。

高等院校教师

第3版前言
第2版前言
第1版前言

项目1 数据素养认知 1
项目目标 1
项目描述 1
项目分析 2
项目准备 2
1.1 无处不在的大数据 2
1.2 大数据产生的历史必然 4
1.3 大数据概念与特征 5
1.4 大数据与小数据 6
1.5 大数据时代带来的变化 8
1.6 大数据处理目标 10
1.7 大数据产业及岗位 14
1.8 大数据、物联网、人工智能
之间关系 16
1.9 数据要素 17
项目实施 20
任务1.1 数据价值认知 20
任务1.2 数据敏感认知 21
任务1.3 掌握数据分析师的基本
技能和从业素养 22
项目总结 27
项目考核 27
项目评价 29
项目2 准备Linux环境 30
项目目标 30
项目描述 30
项目分析 30
项目准备 32
2.1 Linux操作系统 32
2.2 国产操作系统 36
项目实施 38
任务2.1 Linux基本操作 38
任务2.2 VMware虚拟机部署 40
项目总结 41
项目考核 42
项目评价 43
项目3 Hadoop集群部署 44
项目目标 44
项目描述 44
项目分析 44
项目准备 44
3.1 大数据平台架构 44
3.2 Hadoop概述 45
3.3 Hadoop生态 47
3.4 Hadoop应用场景 48
3.5 集群 49
3.6 分布式计算 49
3.7 Hadoop集群 50
3.8 Zookeeper集群 53
项目实施 53
任务3.1 集群规划 53
任务3.2 网络配置与时钟同步 55
任务3.3 通信免密 60
任务3.4 JDK部署 61
任务3.5 Hadoop 安装与部署 62
任务3.6 部署Zookeeper 65
任务3.7 集群处理大数据 67
项目总结 70
项目考核 71
项目评价 73
项目4 数据采集组件Flume部署及
应用 74
项目目标 74
项目描述 74
项目分析 74
项目准备 75
4.1 数据 75
4.2 数据采集 78
4.3 日志采集组件Flume 81
项目实施 84
任务4.1 采集文件数据保存到
日志 84
任务4.2 采集文件数据保存到
HDFS 85
任务4.3 对采集数据添加时间戳 87
任务4.4 采集端口数据保存到
日志 88
项目总结 89
项目考核 90
项目评价 91
项目5 数据存储组件HDFS/HBase
部署及应用 92
项目目标 92
项目描述 92
项目分析 93
项目准备 93
5.1 数据管理 93
5.2 分布式文件存储系统HDFS 94
5.3 非关系数据库 98
5.4 列式数据库HBase 100
项目实施 104
任务5.1 HDFS基本操作 104
任务5.2 HBase部署 106
任务5.3 HBase Shell基本操作 108
任务5.4 HBase Shell应用实践 111
项目总结 113
项目考核 114
项目评价 116
项目6 数据预处理组件MapReduce
部署及应用 117
项目目标 117
项目描述 117
项目分析 118
项目准备 119
6.1 MapReduce 119
6.2 数据治理 122
6.3 数据清洗 125
6.4 数据变换 128
项目实施 134
任务6.1 统计词频 134
任务6.2 数据清洗 135
项目总结 137
项目考核 137
项目评价 140
项目7 大数据分析组件Spark/Hive
部署及应用 141
项目目标 141
项目描述 141
项目分析 142
项目准备 142
7.1 数据分析概述 142
7.2 业务理解 145
7.3 数据认知 146
7.4 分析指标设计 150
7.5 数据建模 153
7.6 内存计算引擎Spark 153
7.7 数据仓库Hive 157
项目实施 159
任务7.1 Spark部署 159
任务7.2 Spark实战 160
任务7.3 Hive部署 163
任务7.4 Hive实战 165
项目总结 168
项目考核 168
项目评价 170
项目8 大数据应用创意方案设计 171
项目目标 171
项目描述 171
项目分析 172
项目准备 173
8.1 零售大数据 173
8.2 交通大数据 179
8.3 医疗大数据 181
8.4 农业大数据 183
8.5 教育大数据 190
8.6 政府大数据 194
项目实施 199
任务8.1 智慧生活360创意方案
设计 199
项目总结 203
项目考核 203
项目评价 205
项目9 大数据安全体系 206
项目目标 206
项目描述 206
项目分析 206
项目准备 207
9.1 大数据应用面临的六大
挑战 207
9.2 大数据带来的机遇与挑战 209
9.3 大数据安全技术 210
9.4 区块链技术 214
项目实施 219
任务9.1 大数据安全体系方案
设计 219
项目总结 224
项目考核 224
项目评价 225
附录 227
附录A 大数据平台运维1+X考证
样卷（初级） 227
附录B 数据分析1+X考证样卷
（初级） 230
参考文献 235