本书系统介绍深度学习的核心概念、主流模型与实战方法，内容涵盖神经网络基础、卷积神经网络、循环神经网络、图神经网络、生成对抗神经网络、Transformer、扩散模型、深度强化学习等前沿方向，详细阐述各类模型的数学原理、网络结构、训练流程与优化方法。全书以Python为主要编程语言，结合PyTorch框架提供丰富的代码示例与完整项目解析，同时每章配有“思考”模块与练习，帮助读者理解算法实现细节并巩固所学知识。本书适合高等学校人工智能及相关专业的本科生、研究生，以及相关工程技术人员学习参考。

申富饶　南京大学人工智能学院副院长，计算机软件新技术全国重点实验室教授、博导。先后在南京大学数学系获学士、硕士学位，在日本东京工业大学获博士学位。主要研究方向为神经网络、计算机视觉、机器人智能，主持多项国家级项目，在包括ICML、CVPR等顶级会议和IEEE TPAMI等期刊发表论文130余篇，出版教材、专著、译著10余部。

目 录

前言
主要符号表

第 1 章 绪论 1
1.1 深度学习的定义　　 2
1.1.1 深度神经网络　 2
1.1.2 深度学习与神经科学　　　　　 4
1.1.3 深度学习的争议 4
1.2 深度学习与传统机器学习方法的区别　 6
1.3 人工智能和深度学习的发展历程　　　 7
1.3.1 人工智能的历史发展　　　　　 7
1.3.2 深度学习的历史变迁　　　　　 8
1.4 本书结构　　　　 10
练习　 10

第 2 章 卷积神经网络　　 12
2.1 卷积神经网络概述　 12
2.1.1 引言　　　 12
2.1.2 基本网络结构　 13
2.1.3 卷积层　　　 14
2.1.4 与全连接层的对等关系　　　 17
2.1.5 池化层　　　 21
2.1.6 卷积的变体　 23
2.2 卷积神经网络的训练 28
2.2.1 前馈运算　　 29
2.2.2 反馈运算　　 29
2.3 经典的卷积神经网络模型　　　　 35
2.3.1 LeNet　　　 35
2.3.2 AlexNet　 37#12;2.3.3 U-Net　　　 39
2.3.4 VGG　　　 40
2.3.5 ResNet　　 41
2.4 项目示例和代码解析 44
2.4.1 准备工作　　 44
2.4.2 数据准备　　 44
2.4.3 模型构建　　 47
2.4.4 训练与测试　 48
2.4.5 结果可视化　 50
2.4.6 拓展：ResNet 可视化　　　　 52
2.5 小结　　　　　 57
练习　 57

第 3 章 循环神经网络　　 60
3.1 循环神经网络概述　 60
3.1.1 引言　　　 60
3.1.2 循环神经网络的结构与数学表示　 62
3.2 循环神经网络的训练方法　　　　 65
3.2.1 随时间反向传播算法　　　　 65
3.2.2 实时循环学习算法　　　　　69
3.3 经典的循环神经网络模型　　　　 70
3.3.1 针对梯度问题的循环神经网络改进 71
3.3.2 循环神经网络变体　　　　　75
3.4 项目示例和代码解析 81
3.4.1 数据准备　　 81
3.4.2 数据预处理　 83
3.4.3 模型构建　　 86
3.5 小结　　　　　 90
练习　 90

第 4 章 图神经网络　　　 92
4.1 图神经网络概述　 92
4.1.1 引言　　　 92
4.1.2 图的表示方法　 94#12;4.1.3 图神经网络的基本任务　　　 95
4.2 图神经网络的训练方法　　　　　 96
4.2.1 图信号与图卷积 97
4.2.2 空域图卷积　 99
4.2.3 谱域图神经网络的训练　　　 100
4.2.4 空域图神经网络的训练　　　 102
4.3 经典的图神经网络模型　　　　　106
4.3.1 GCN　　　 106
4.3.2 GraphSAGE 108
4.3.3 GAT　　　 110
4.3.4 R-GCN　　 112
4.4 项目示例和代码解析 114
4.4.1 PyTorch 工具简介　　　　　 114
4.4.2 问题描述　　 114
4.4.3 数据简介　　 115
4.4.4 数据处理　　 116
4.4.5 模型构建　　 118
4.5 小结　　　　　 121
练习　 121

第 5 章 生成对抗神经网络 123
5.1 生成对抗神经网络概述　　　　　123
5.1.1 引言　　　 123
5.1.2 从概率到模型　　　　　 124
5.1.3 基本结构　　 125
5.2 生成对抗神经网络的训练方法　　　 126
5.2.1 GAN 的优化问题　　　　　 126
5.2.2 GAN 的训练流程　　　　　 128
5.2.3 GAN 中的梯度消失问题　　　 130
5.2.4 评估指标设计　　　　　 131
5.3 经典的生成对抗神经网络模型　　　 133
5.3.1 CGAN　 133
5.3.2 CycleGAN　 135#12;5.3.3 StyleGAN 136
5.4 项目示例和代码解析 139
5.4.1 项目简介　　 139
5.4.2 数据处理　　 139
5.4.3 模型构建　　 140
5.4.4 训练过程　　 141
5.4.5 结果展示　　 144
5.5 小结　　　　　 145
练习　 146

第 6 章 Transformer　　 148
6.1 Transformer 概述　 148
6.1.1 引言　　　 148
6.1.2 Transformer 模型结构　　　　 149
6.2 Transformer 关键技术　　　　　 153
6.2.1 编码方式　　 153
6.2.2 注意力机制　 154
6.2.3 前馈网络　　 159
6.2.4 残差连接与归一化　　　　 159
6.3 Transformer 的训练和推理　　　　 160
6.4 Vision Transformer 161
6.4.1 图像分块与嵌入　　　　　 162
6.4.2 位置编码与类标记　　　　 162
6.4.3 Transformer 编码与分类　　　 162
6.4.4 ViT 的优势与挑战　　　　　 163
6.5 自监督预训练与大语言模型　　　 163
6.5.1 BERT　　 164
6.5.2 GPT　　　 165
6.5.3 BART　　 166
6.5.4 商用大语言模型　　　　　 166
6.6 项目示例和代码解析 167
6.6.1 项目简介　　 167
6.6.2 项目代码　　 167#12;6.7 小结　　　　　 183
练习　 183

第 7 章 扩散模型　　　 185
7.1 扩散模型概述　　 185
7.1.1 引言　　　 185
7.1.2 变分自编码器　　　　　 186
7.1.3 扩散模型网络结构　　　　 187
7.2 扩散模型的训练与推理　　　　　188
7.2.1 去噪扩散概率模型　　　　 188
7.2.2 扩散模型的训练过程　　　　 192
7.2.3 扩散模型的推理过程　　　　 193
7.3 经典的扩散模型 193
7.3.1 类别标签条件　　　　　 193
7.3.2 图片条件　　 195
7.3.3 文本条件　　 196
7.4 项目示例和代码解析 198
7.4.1 搭建 U-Net 网络　　　　　 198
7.4.2 实现 DDPM 算法　　　　　 202
7.4.3 训练与推理代码　　　　　 204
7.5 小结　　　　　 205
练习　 205

第 8 章 深度强化学习　 207
8.1 强化学习概述　　 207
8.1.1 引言　　　 207
8.1.2 强化学习的基本概念　　　　 208
8.1.3 马尔可夫决策过程　　　　 208
8.2 基本强化学习算法 212
8.2.1 有模型学习　 212
8.2.2 无模型学习　 214
8.3 深度强化学习算法 218
8.3.1 基于值函数的方法　　　　 218
8.3.2 基于策略梯度的方法　　　　 220#12;8.3.3 Actor-Critic　 223
8.4 项目示例和代码解析 225
8.4.1 Gym 简介 225
8.4.2 算法构建　　 226
8.4.3 训练与测试　 230
8.4.4 结果展示　　 232
8.5 小结　　　　　 232
练习　 232

第 9 章 深度学习工具　 234
9.1 深度学习框架概述 234
9.1.1 发展背景　　 234
9.1.2 基础概念和操作　　　　　 235
9.2 TensorFlow 及其应用　　　　　 244
9.2.1 简介　　　 244
9.2.2 安装和初步设置　　　　　 245
9.2.3 深度学习应用　　　　　 246
9.3 PyTorch 及其应用 253
9.3.1 简介　　　 253
9.3.2 安装和初步设置　　　　　 255
9.3.3 深度学习应用　　　　　 257
9.4 飞桨及其应用　　 261
9.4.1 简介　　　 261
9.4.2 安装和初步设置　　　　　 263
9.4.3 深度学习应用　　　　　 264
9.5 框架选择建议　　 269
9.6 小结　　　　　 270
练习　 271