在人工智能与大数据浪潮下，数据已成为驱动算法迭代与智能应用落地的核心。但原始数据杂乱无序、充满噪声，如何通过系统工程将其转化为高质量、可信赖、能被算法高效利用的“数据资产”，正是数据工程的核心。本书旨在全面探讨面向人工智能的数据工程全流程，为读者构建从理论基础到前沿实践的完整知识框架。 本书先从数据工程的基础—多模态数据处理入手，系统介绍文本、图像、音频、视频等各类数据的采集、预处理、存储架构（如数据湖与数据仓库）及全生命周期管理策略。接着深入数据标注环节，涵盖分类、检测、分割等多种标注范式，重点阐述科学的质量控制（QC）与质量保证（QA）体系，确保标注数据的准确性和一致性。 随后进入数据挖掘与分析领域，讲解如何运用统计分析、机器学习等方法，从海量数据中洞察数据分布和发现潜在偏差，挖掘对模型训练关键的“黄金数据”与“疑难样本”（Hard Case）。针对高质量数据稀缺，尤其是长尾场景数据不足的痛点，重点介绍前沿数据增强技术，包括3D建模生成任意场景组合的虚拟数据、生成式AI（如GAN、扩散模型）制作逼真合成数据，以丰富数据集多样性与稳健性。 本书以自动驾驶领域中先进的BEVFormer感知模型为核心案例，贯穿全书所讲授的各项技术，从多传感器（摄像头、激光雷达）数据的融合处理，到BEV视角下的高精度标注，再到利用生成式技术增强极端场景数据，最终将处理好的高质量数据集输入模型进行训练与评估，让读者直观了解数据工程对尖端AI应用的赋能作用。本书兼具理论与实践价值，适合AI、数据科学领域相关专业高校师生阅读，也可作为工程师、相关行业从业者的实践指南。

汪成亮，博士，重庆大学国家卓越工程师学院、计算机学院教授，博士生导师。中国计算机学会高级会员、美国计算机学会会员。重庆大学智能计算系统实验室核心成员，2013 年9 月起任重庆大学教授。主要研究领域为复杂系统的人工智能研究，图像大数据智能分析与处理，人工智能理论与应用等方面。先后主持完成国家及省部级7项科研项目，参与国家级项目5项，累计科研经费近800万。获得重庆市科技进步二等奖项1项，三等奖项1项。获得国家发明专利8项，发表论文被SCI、EI检索20余篇，软件著作权两项，培养硕士研究生100多名，博士研究生20名。

前言
第1章　智能驾驶中的基本理论与传感器
应用 1
1.1　概述 1
1.1.1　智能驾驶与传感技术 1
1.1.2　传感器数据通路 3
1.1.3　传感器对自动驾驶的影响 4
1.2　视觉传感器 5
1.2.1　工作原理 5
1.2.2　数据通路 6
1.2.3　潜在问题 6
1.2.4　视觉传感器的参数 8
1.3　激光雷达 10
1.3.1　工作原理 11
1.3.2　数据通路 12
1.3.3　原始数据 13
1.3.4　数据转换 13
1.3.5　常见类型 14
1.3.6　安装方式 14
1.3.7　潜在问题 15
1.3.8　传感器参数 16
1.4　毫米波雷达 18
1.4.1　工作原理 19
1.4.2　数据通路 20
1.4.3　数据与转换 21
1.4.4　安装方式 22
1.4.5　潜在问题 23
1.4.6　传感器参数 24
1.5　北斗/GPS 26
1.5.1　系统组成（以GPS为例） 26
1.5.2　工作原理 27
1.5.3　数据通路 28
1.5.4　电文的构成与消息格式 29
1.5.5　潜在问题 31
1.5.6　系统参数 32
1.6　项目实践 34
1.6.1　项目目的 34
1.6.2　项目内容 34
1.6.3　项目要求 36
1.6.4　项目亮点 37
习题 37
第2章　智能网联汽车多模态数据的
基本操作 38
2.1　概述 38
2.2　图像数据 38
2.2.1　图像数据的常见操作 38
2.2.2　形态学转换 40
2.2.3　目标检测 40
2.3　点云数据 43
2.3.1　点云数据的常见操作 43
2.3.2　点云数据的语义分割 45
2.4　时序数据（语音数据） 46
2.4.1　时序数据的常见操作 46
2.4.2　语音数据的应用场景 48
2.5　时空数据 49
2.5.1　典型时空数据类型 49
2.5.2　时空数据的常见操作 51
2.6　项目实践 53
2.6.1　项目背景 53
2.6.2　项目目的 53
2.6.3　项目内容 53
2.6.4　项目要求 55
2.6.5　项目亮点 55
习题 56
第3章　数据标注 57
3.1　概述 57
3.1.1　数据标注的意义 57
3.1.2　数据标注的应用场景 58
3.1.3　数据标注技术的发展趋势 59
3.2　图像数据的标注 60
3.2.1　图像数据标注的基本概念 60
3.2.2　图像数据标注工具与流程 61
3.2.3　实际案例分析 63
3.3　视频数据的标注 64
3.3.1　视频数据标注的特点与挑战 64
3.3.2　视频数据标注的工具与方法 64
3.3.3　案例及最佳实践 65
3.4　语音数据的标注 66
3.4.1　语音数据标注的基本概念 66
3.4.2　标注流程与关键技术 67
3.4.3　实例分析与常见问题 68
3.5　标注工作的管理 70
3.5.1　标注流程与项目管理概述 70
3.5.2　手工标注 72
3.5.3　半自动标注 75
3.5.4　自动标注 77
3.5.5　标注质量检验 78
3.5.6　不同版本的管理 80
3.6　项目实践 81
3.6.1　项目目的 81
3.6.2　项目内容 81
3.6.3　项目要求 84
3.6.4　项目亮点 84
习题 84
第4章　数据挖掘 86
4.1　数据挖掘对数据工程的作用 86
4.2　智能网联汽车数据挖掘的
核心挑战 86
4.3　数据挖掘流程 87
4.3.1　问题定义与目标设定 88
4.3.2　数据收集与预处理 90
4.3.3　数据探索与特征工程 90
4.3.4　模型选择与训练 91
4.3.5　模型评估与优化 92
4.3.6　结果解释与部署 93
4.4　数据挖掘技术概述 93
4.4.1　频繁模式挖掘与关联规则 93
4.4.2　分类算法 94
4.4.3　聚类算法 95
4.4.4　预测建模与回归 96
4.4.5　异常检测与故障诊断 97
4.4.6　时空数据挖掘 98
4.5　企业员工离职预测案例设计 98
4.5.1　案例背景 98
4.5.2　案例目标 99
4.5.3　数据集说明 99
4.5.4　案例步骤 99
4.5.5　案例总结 102
4.6　数据挖掘技术的挑战与前景 103
4.6.1　数据隐私与安全性 103
4.6.2　模型可解释性与透明度 104
4.6.3　数据量与计算资源的挑战 104
4.6.4　未来发展趋势与技术突破 105
4.7　项目实践 105
4.7.1　项目背景 105
4.7.2　项目目的 105
4.7.3　项目内容 106
4.7.4　项目要求 107
4.7.5　项目亮点 107
习题 108
第5章　基于3D建模的数据工程 109
5.1　概述 109
5.2　3D建模技术基础 109
5.2.1　3D建模常用工具 109
5.2.2　常见3D数据格式 110
5.3　3D建模扩充数据的多元路径 112
5.3.1　视角与位姿变化 112
5.3.2　光照与环境变化 112
5.3.3　材质与纹理变换 113
5.3.4　场景组合与背景重构 114
5.3.5　多传感器变换 114
5.4　基于Carla的数据扩充 115
5.4.1　Carla环境搭建与安装 115
5.4.2　场景设置 117
5.4.3　主车与传感器设置 118
5.4.4　交通流生成 119
5.4.5　数据采集 120
5.4.6　多模态数据采集与场景模拟 121
5.5　项目实践 122
5.5.1　项目背景 122
5.5.2　项目目的 123
5.5.3　项目内容 123
5.5.4　项目要求 124
5.5.5　项目亮点 125
5.6　扩展阅读：国产自动驾驶
仿真软件 125
习题 126
第6章　基于生成式的数据增强 127
6.1　概述 127
6.1.1　数据增强的核心意义与
价值 127
6.1.2　数据增强在智能网联汽车
领域的应用背景 128
6.1.3　生成式数据增强技术的
作用 129
6.2　图像数据增强 131
6.2.1　基于传统图像处理的图像
数据增强 131
6.2.2　基于机器学习的图像数据
增强 137
6.3　文本数据增强 140
6.3.1　核心定位与目标 140
6.3.2　核心方法 141
6.3.3　技术价值 142
6.4　时序数据增强 143
6.4.1　核心定位与目标 143
6.4.2　核心方法 144
6.4.3　技术价值 145
6.5　音频数据增强 146
6.5.1　核心定位与目标 146
6.5.2　核心方法 146
6.5.3　技术价值 147
6.6　3D Gaussian Splatting 148
6.7　扩展阅读：Driving Gaussian 149
习题 150
第7章　数据工程的效能检验 151
7.1　概述 151
7.1.1　智能网联汽车数据工程
检验的背景 151
7.1.2　智能网联汽车数据工程
检验的意义 152
7.2　智能网联汽车数据效能检验 154
7.2.1　数据来源的复杂性及
检验要点 154
7.2.2　智能网联汽车数据处理
流程中的检验环节 155
7.2.3　数据检验的方法与技术
手段 156
7.3　数据分析Python库 156
7.3.1　NumPy 156
7.3.2　Pandas 158
7.3.3　Matplotlib 159
7.3.4　Scikit-learn 161
7.3.5　Seaborn 163
7.4　项目实践 164
7.4.1　BEVFormer模型 164
7.4.2　通过BEVFormer模型进行
数据检验的流程 165
7.4.3　指导建议 167
7.5　扩展阅读：法规案例 168
7.5.1　涉及的法律体系 168
7.5.2　法律对数据效能检验的
核心规定 168
7.5.3　数据工程中的法律合规
实践 168
7.5.4　典型案例与法律责任 169
习题 169