本书共10章，首先以大数据的时代背景为切入点，阐释其技术演进逻辑与社会价值，然后依次介绍大数据的分析过程、存储系统和算力、分析的数学基础、数据挖掘与机器学习、编程与计算框架、分析工具与编程语言、可视化，并以大数据的隐私与治理、大数据与大模型的协同作为结尾。每一章均注重知识体系的递进性与案例分析的实证性，力求通过严谨的学术表达与鲜活的现实案例，帮助读者构建完整的知识图谱。
本书适用于计算机科学与技术、数据科学与大数据技术、信息管理与信息系统、国民经济管理等相关专业的本科生及研究生，也可作为相关技术人员的参考读物。

吴步丹　北京邮电大学计算机学院（国家示范性软件学院）副教授，任职于网络与交换技术全国重点实验室。2009年于中国科学院获计算机软件与理论博士学位。主要研究方向为大数据与大模型服务方法与技术、大数据智能分析、智能业务流程管理、智能软件工程。近年来，以负责人身份承担了国家自然科学基金青年项目、国家重点实验室重点项目、海事局科研项目、国家电网科技项目等，作为骨干参与国家重点研发计划课题、973课题等。以第一作者或通讯作者身份在AAAI、MM、KAIS、FGCS、《计算机学报》等国内外一流会议和期刊发表论文50余篇，出版教材2部。2018年获中国通信学会科学技术奖一等奖。
金芝　武汉大学教授，特色化软件学院院长，IEEE/CCF/CAAI/AAIA Fellow，曾任北京大学教授。现任中国计算机学会监事长，中国人工智能学会知识工程与分布智能专委会副主任。先后担任973项目首席科学家，国家自然科学基金委青年基金项目（A类）、国家重点研发计划专项以及国家自然科学基金委重点项目的项目负责人。主要研究领域为智能化软件工程，包含知识工程、智能化软件需求工程以及需求驱动的代码生成和演化等。研究成果发表在中国计算机学会A类推荐期刊和会议上，6次获ACM SIGSOFT杰出论文奖。任《软件学报》执行主编，《计算机学报》副主编等。
林荣恒　北京邮电大学计算机学院（国家示范性软件学院）教授，任职于网络与交换技术全国重点实验室。现任中国计算机学会服务计算专业委员会委员，中国人工智能学会高级会员。2010年获北京邮电大学计算机科学与技术博士学位。长期从事行业大数据与人工智能、智能电网、领域大模型等方向的研究。近年来，以负责人身份承担国家重点研发计划课题、北京自然科学基金青年项目、国家电网科技项目等30余项。在国内外重要期刊和会议上发表论文100余篇，出版教材2部。研究成果在多个省级电力公司及电信反诈领域得到应用，获中国电力企业联合会电力科技创新奖一等奖、中国电力科学研究院科技进步奖一等奖。
程渤　北京邮电大学长聘教授，博士生导师，网络与交换技术全国重点实验室网络服务基础研究中心主任。中国计算机学会杰出会员，中国计算机学会服务计算专委会常务委员。主要研究方向为网络服务智能计算和多模态大模型。近年来，以负责人身份承担了国家重点研发计划课题、国家自然科学基金重点/面上/青年项目20余项。以第一作者或通讯作者身份在国际一流期刊IEEE TON、TMC、TPDS、TKDE、TMM和国际会议ICML、ICLR、IJCAI、WWW、AAAI、ASE上发表学术论文100余篇。获得中国人工智能学会吴文俊人工智能科学技术发明一等奖、中国通信学会科学技术发明一等奖、中国指挥与控制学会科学技术进步一等奖、中国计算机学会服务计算杰出青年奖。

目录

前言

第1章　大数据技术概述　1
1.1　大数据的时代背景　1
1.1.1　三次信息化浪潮与人工智能快速发展浪潮　1
1.1.2　大数据的产生原因　2
1.2　大数据的定义　4
1.2.1　大数据的概念　4
1.2.2　大数据的发展历程　4
1.3　大数据的价值和作用　8
1.3.1　大数据决策成为一种新的决策方式　8
1.3.2　大数据应用促进信息技术与各行业的深度融合　9
1.3.3　大数据开发推动新技术和新应用的不断涌现　9
1.4　大数据思维　10
1.4.1　大数据对科学研究的影响　10
1.4.2　大数据对思维方式的影响　11
1.5　大数据的来源　12
1.5.1　按产生数据的主体划分　13
1.5.2　按数据来源的行业划分　14
1.5.3　按数据存储的形式划分　14
1.6　大数据的特点　15
1.6.1　数据量大　15
1.6.2　数据类型繁多　16
1.6.3　处理速度快　16
1.6.4　价值密度低　16
1.7　大数据与其他新兴技术的协同关系　17
1.7.1　大数据与物联网　17
1.7.2　大数据与云计算　17
1.7.3　大数据与区块链　18
1.7.4　大数据与人工智能　18
1.8　数据科学与数据科学家　19
1.8.1　数据科学　19
1.8.2　数据科学家　21
1.9　大数据的应用　21
1.9.1　大数据在金融行业的应用　22
1.9.2　大数据在医疗行业的应用　23
1.9.3　大数据在零售行业的应用　24
1.9.4　大数据在教育行业的应用　24
1.9.5　大数据在政府部门的应用　25
1.9.6　大数据在能源行业的应用　25
1.9.7　大数据在互联网行业的应用　 25
小结　26
思考题　26

第2章　大数据的分析过程　27
2.1　数据采集　28
2.1.1　数据类型　28
2.1.2　数据采集方法　31
2.1.3　数据采集工具　34
2.2　数据清洗　35
2.2.1　数据清洗方法　36
2.2.2　数据清洗工具　39
2.3　数据预处理　40
2.3.1　噪声处理　40
2.3.2　数据转换　41
2.3.3　数据脱敏　44
2.3.4　数据约简　45
2.3.5　特征工程　47
2.4　数据分析　49
2.4.1　数据探索分析　49
2.4.2　数据建模分析　51
2.5　结果评估　59
2.5.1　分类结果评估　60
2.5.2　关联规则结果评估　61
2.5.3　回归结果评估　61
2.5.4　聚类结果评估　62
小结　62
思考题　63

第3章　大数据的存储系统和算力　64
3.1　传统的数据存储与管理技术　64
3.1.1　文件系统　64
3.1.2　关系数据库　65
3.1.3　ACID原则　66
3.1.4　数据仓库　68
3.1.5　并行数据库　69
3.2　大数据时代的数据存储与管理技术　70
3.2.1　大数据存储与管理需求　70
3.2.2　大数据对传统存储管理技术的挑战　71
3.2.3　NoSQL数据模型　71
3.2.4　CAP理论　72
3.3　非关系数据库　74
3.3.1　键值存储数据库　74
3.3.2　文档存储数据库　75
3.3.3　列族存储数据库　76
3.3.4　图存储数据库　76
3.4　分布式文件系统　77
3.4.1　分布式文件系统的基本概念　77
3.4.2　HDFS　78
3.5　分布式数据库　80
3.5.1　分布式数据库的基本概念　80
3.5.2　HBase　81
3.6　云数据库　83
3.6.1　云数据库的基本概念　83
3.6.2　云数据库的特性　84
3.6.3　云数据库与其他数据库的关系　85
3.6.4　代表性的云数据库产品　86
3.7　大数据算力　87
3.7.1　算力的定义与核心作用　87
3.7.2　存储芯片与算力的协同优化　88
3.7.3　算力驱动的技术趋势与挑战　88
小结　89
思考题　90

第4章　大数据分析的数学基础　91
4.1　概率论与统计学基础　91
4.1.1　大数据与统计学理论的关系　91
4.1.2　数据分布特征的统计描述　 92
4.1.3　概率与概率分布　99
4.1.4　抽样分布　100
4.1.5　点估计与区间估计　101
4.1.6　统计推断　102
4.2　线性代数基础　103
4.2.1　矩阵及其运算　103
4.2.2　n维向量　109
4.2.3　线性方程组　110
4.2.4　矩阵的特征值与特征向量　113
小结　115
思考题　115

第5章　数据挖掘与机器学习　116
5.1　数据挖掘与机器学习概述　116
5.1.1　数据挖掘的定义与核心任务　116
5.1.2　机器学习的基本思想与分类体系　117
5.1.3　两者的协同关系与应用场景　118
5.2　监督学习与分类预测　118
5.2.1　分类任务的基本流程与评估指标　119
5.2.2　典型算法及其应用场景　119
5.2.3　特征选择与模型优化策略　123
5.3　无监督学习与聚类分析　124
5.3.1　聚类任务的核心目标与评估方法　124
5.3.2　主要算法与适用场景　124
5.3.3　降维技术的关联应用　127
5.4　回归分析与预测建模　128
5.4.1　回归任务的基本框架与损失函数　128
5.4.2　典型算法与优化方法　129
5.4.3　模型评估与残差分析　131
5.5　关联规则与序列模式挖掘　131
5.5.1　关联规则的基本概念与度量标准　132
5.5.2　典型算法　132
5.6　异常检测与半监督学习　134
5.6.1　异常检测的核心方法与评估指标　134
5.6.2　半监督学习的应用场景与实现策略　136
5.7　深度学习与强化学习的融合　137
5.7.1　深度学习在数据挖掘中的优势　137
5.7.2　强化学习的动态决策能力　139
5.8　实际应用案例与挑战　140
5.8.1　医疗诊断中的多模态数据融合　140
5.8.2　金融风控中的实时欺诈检测　141
5.8.3　智能制造中的预测性维护与质量控制　141
小结　142
思考题　142

第6章　大数据编程与计算框架　143
6.1　计算框架　143
6.1.1　批处理框架　144
6.1.2　流式处理框架　145
6.1.3　交互式处理框架　146
6.2　MapReduce　146
6.2.1　MapReduce编程模型的特点　147
6.2.2　MapReduce的计算模型　147
6.2.3　MapReduce的资源管理框架　148
6.3　Hadoop　150
6.4　Spark　152
6.4.1　Spark的特点及生态系统　153
6.4.2　Spark的架构与原理　154
6.4.3　Spark RDD　155
6.5　Apache Kafka　156
6.5.1　Kafka的特点和架构　156
6.5.2　Kafka的应用场景　157
6.6　Hive　157
6.6.1　Hive的特点和架构　158
6.6.2　Hive的应用场景　160
6.7　云计算与大数据计算的协同　160
6.7.1　云计算服务模式对大数据计算框架的支持　161
6.7.2　云计算优化大数据处理的策略　162
6.7.3　云环境下的大数据应用案例　163
小结　163
思考题　164

第7章　大数据分析工具与编程语言　165
7.1　统计类工具　165
7.1.1　SPSS　165
7.1.2　SAS　169
7.2　ETL工具　171
7.3　大数据挖掘工具　173
7.3.1　Weka　174
7.3.2　KNIME　176
7.3.3　RapidMiner　178
7.3.4　Orange　179
7.3.5　Oracle Data Mining　181
7.4　编程语言　182
7.4.1　Python　182
7.4.2　R语言　184
小结　186
思考题　186

第8章　大数据的可视化　187
8.1　数据可视化概述　187
8.1.1　数据可视化的定义　187
8.1.2　数据可视化的作用　187
8.1.3　数据可视化的应用场景　189
8.1.4　数据可视化术语　191
8.2　不同类型数据的可视化方法　193
8.2.1　文本数据的可视化　193
8.2.2　地理空间数据的可视化　194
8.2.3　层次和网络数据的可视化　194
8.2.4　高维非空间数据的可视化　195
8.3　数据可视化图表　196
8.4　数据可视化工具　 204
8.4.1　主流可视化软件工具介绍　204
8.4.2　可视化工具的选择与使用　207
小结　208
思考题　208

第9章　大数据的隐私与治理　209
9.1　大数据的隐私问题　209
9.2　大数据隐私保护技术　210
9.2.1　加密技术　210
9.2.2　匿名化技术　212
9.2.3　访问控制技术　212
9.3　大数据的隐私立法　213
9.4　大数据治理框架　215
9.4.1　大数据治理目标与原则　215
9.4.2　大数据治理组织架构与职责划分　215
9.4.3　大数据治理流程　216
9.5　元数据和主数据管理　218
9.5.1　元数据管理　218
9.5.2　主数据管理　220
9.6　数据跨境流动治理　222
9.6.1　数据标准化与资产化　222
9.6.2　数据跨境流动是大数据治理的基础　224
9.6.3　数据跨境流动治理机制　225
9.7　大数据治理应用案例　225
小结　227
思考题　227

第10章?大数据与大模型的协同　228
10.1　大模型的概念　228
10.1.1　大模型的起源　228
10.1.2　大模型的定义　230
10.1.3　大模型的发展趋势　232
10.1.4　大模型的重要性及应用价值　232
10.2　大数据与大模型的关系　234
10.2.1　大数据对大模型的作用　234
10.2.2　大模型对大数据的使用　239
10.2.3　案例分析　241
10.3　大模型的技术基础　243
10.3.1　Transformer架构与自注意力机制　244
10.3.2　预训练语言模型　246
10.3.3　微调技术　247
10.3.4　训练成本　250
10.4　大模型与大数据应用　251
10.4.1　典型大模型　252
10.4.2　大模型应用案例　257
小结　262
思考题　263

参考文献　264