本书是神经网络课程的入门教材，用通俗易懂的语言讲解神经网络的相关知识。本书共6章，第1章对神经网络领域进行概述，包括其历史和应用；第2章深入探讨神经元的数学模型，包括其输入、权值、偏置和激活函数；第3章介绍感知机的概念，讨论感知机的结构，并解释如何用它来解决简单的分类问题；第4章介绍多层感知机的概念，讲述如何使用前馈传播和反向传播，同时详细介绍了反向传播中用到的链式法则；第5章涵盖训练神经网络时使用的各种参数和算子；第6章介绍神经网络的分布式学习、压缩和解释，其中分布式学习涵盖使用多台计算机或设备在大型数据集上训练神经网络的内容。

申富饶　南京大学人工智能学院教授，博士生导师。主要研究方向包括神经网络、计算机视觉、机器人智能，发表学术论文130余篇，出版专著及译著10余部。

目 录<br />前言<br />主要符号表<br />第 1 章 绪论　1<br />1.1 神经网络简介 1<br />1.1.1 神经网络的定义　1<br />1.1.2 神经网络的工作过程　2<br />1.2 神经网络的应用 5<br />1.3 神经网络的研究目标 7<br />1.4 神经网络的发展历史 8<br />1.4.1 历史大事件概述　8<br />1.4.2 神经网络领域的重要人物及团队 13<br />1.4.3 神经网络领域的重要期刊 15<br />1.5 神经网络的研究现状 16<br />1.6 神经网络的研究方法 17<br />1.7 小结 18<br />练习 19<br />第 2 章 神经元 20<br />2.1 神经元模型 20<br />2.1.1 生物神经元 20<br />2.1.2 人工神经元 22<br />2.2 神经元的组成成分　26<br />2.2.1 神经元的激发 27<br />2.2.2 神经元的整合 32<br />2.3 感知机神经元　35<br />2.3.1 感知机神经元模型 35<br />2.3.2 感知机神经元的学习 36<br />2.3.3 感知机神经元的学习规则 37<br />2.3.4 神经元模型的特性 40<br />2.4 神经元的应用　41<br />2.4.1 单元线性回归 41<br />2.4.2 多元线性回归 45<br />2.4.3 双输入–单输出的线性分类　47<br />2.4.4 单个神经元的局限 49<br />2.5 小结 51<br />练习 52<br />第 3 章 单层感知机　54<br />3.1 神经元的连接　54<br />3.1.1 神经元的连接概述 54<br />3.1.2 神经网络的扩展 56<br />3.1.3 其他连接方式 57<br />3.2 单层感知机 60<br />3.2.1 单层感知机的结构和数学表达 60<br />3.2.2 最小均方算法 62<br />3.2.3 最小均方算法的优势与缺陷 65<br />3.2.4 将最小均方算法用于感知机 66<br />3.2.5 感知机收敛定理 67<br />3.3 单层感知机的应用　69<br />3.3.1 用感知机分析健康及收入状况 70<br />3.3.2 用感知机求解线性二分类问题 72<br />3.3.3 多输入–多输出的线性三分类问题　76<br />3.4 小结 77<br />练习 78<br />第 4 章 多层感知机　80<br />4.1 引入隐藏层的必要性 80<br />4.1.1 单层感知机的局限 80<br />4.1.2 单隐藏层神经网络 81<br />4.1.3 单隐藏层神经网络的数学表示 82<br />4.1.4 多隐藏层 82<br />4.2 多层感知机的基本概念 83<br />4.2.1 多层感知机的数学表示 83<br />4.2.2 多层感知机的运行 86<br />4.2.3 示例：异或问题 87<br />4.2.4 示例：双月模型 89<br />4.3 多层感知机的学习　89<br />4.3.1 基本原理 89<br />4.3.2 感知机学习与逼近方法的数学分析 93<br />4.3.3 梯度下降法 96<br />4.3.4 反向传播算法 99<br />4.3.5 反向传播算法分析　106<br />4.3.6 反向传播算法改进　115<br />4.4 多层感知机的深入分析　121<br />4.4.1 通用近似定理　121<br />4.4.2 网络结构超参数选择　123<br />4.4.3 神经元排列方式的影响　128<br />4.5 多层感知机的应用 131<br />4.5.1 环数据集分类任务　131<br />4.5.2 手写数字分类任务　132<br />4.5.3 Fashion-MNIST 分类任务 138<br />4.5.4 函数拟合任务　140<br />4.5.5 曲面拟合任务　141<br />4.6 小结　143<br />练习 144<br />第 5 章 神经网络模型优化　147<br />5.1 学习率　148<br />5.1.1 学习率的影响　148<br />5.1.2 常见的学习率选择方法　148<br />5.2 损失函数　156<br />5.2.1 回归损失函数　156<br />5.2.2 分类损失函数　158<br />5.3 正则化　163<br />5.3.1 泛化能力　163<br />5.3.2 常见的正则化方法　165<br />5.4 归一化　170<br />5.4.1 简单的归一化方法　170<br />5.4.2 神经网络中的归一化方法　170<br />5.5 参数初始化 176<br />5.5.1 全 0 初始化　177<br />5.5.2 常见的权值矩阵初始化方法　178<br />5.5.3 常见的偏置矩阵初始化方法　182<br />5.5.4 初始化参数对训练的优化程度　183<br />5.6 网络预训练 184<br />5.6.1 无监督预训练　184<br />5.6.2 有监督预训练　188<br />5.7 TREC 分类任务　189<br />5.7.1 任务介绍　189<br />5.7.2 解决方案　189<br />5.7.3 实验结果　194<br />5.7.4 模型优化　194<br />5.8 小结　200<br />练习 201<br />第 6 章 神经网络的分布式学习、压缩和解释　205<br />6.1 神经网络分布式学习 .205<br />6.1.1 分布式学习简介　206<br />6.1.2 常用的分布式划分方法　206<br />6.1.3 常用的通信机制　216<br />6.1.4 常用的模型聚合方法　219<br />6.1.5 使用 PyTorch 进行分布式学习 221<br />6.2 神经网络压缩 224<br />6.2.1 神经网络压缩的意义和定义　224<br />6.2.2 神经网络压缩方法　226<br />6.2.3 神经网络剪枝　236<br />6.3 神经网络可解释性 242<br />6.3.1 神经网络可解释性简介　243<br />6.3.2 神经网络可解释性方法分类　244<br />6.3.3 神经网络可解释性方法评估　250<br />6.3.4 神经网络可解释性研究展望　251<br />6.3.5 使用 PyTorch 进行可解释性分析 253<br />6.4 小结　257<br />练习 258<br />参考文献 261