大模型通过在海量数据上进行学习得到通用知识和模式，在自然语言处理、计算机视觉和强化学习等领域表现出强大的通用性和迁移学习能力，BERT、GPT、Stable Diffusion、Sora等功能强大的模型引发了广泛的关注。大模型可能是人工智能领域的颠覆性新范式，因此应当作为计算机、人工智能相关方向的研究生教学的一个重要内容。本书共十讲，按照基本原理、预训练技术、重要应用三个层面展开，从生成模型、自监督学习、强化学习的基本原理出发，系统介绍大语言模型、多模态大模型、决策大模型的预训练技术，以及衍生的自主智能体和世界模拟器等重要应用。本书适合作为计算机、人工智能方向高年级本科生、研究生的教材，也适合作为人工智能领域研究人员和从业人员的参考书。

李崇轩，中国人民大学高瓴人工智能学院准聘副教授、博士生导师，2010-2019年获清华大学学士和博士学位。主要研究机器学习、深度生成模型，代表性工作Analytic-DPM、DPM-Solver作为核心采样技术部署于DALL·E 2、Stable Diffusion等。获国际会议ICLR杰出论文奖、吴文俊优秀青年奖、吴文俊人工智能自然科学一等奖、中国计算机学会优秀博士论文、ACM SIGAI 中国新星奖等。入选博新计划、北京市科技新星，主持、参与多项国家自然科学基金、科技部课题。担任ICLR 2024、NeurIPS 2024领域主席。

前言 <br />第 1 讲 绪论 /1 <br />1.1 概述 /2 <br />1.1.1 大模型前的人工智能历史 /2 <br />1.1.2 大模型的起源 /5 <br />1.1.3 大模型的特点 /7 <br />1.2 大模型的理论基础、技术与前沿应用 /8 <br />1.2.1 大模型的理论基础 /9 <br />1.2.2 大模型的训练技术 /12 <br />1.2.3 大模型的扩展与前沿应用 /14 <br />1.3 大模型的发展展望 /16 <br />1.3.1 大模型的应用前景 /16 <br />1.3.2 大模型的未来研究方向 /17 <br />参考文献 /19 <br />第 2 讲 生成模型 /23 <br />2.1 生成模型概述 /24 <br />2.1.1 三个基本问题 /25#12;<br />大模型十讲 <br />2.1.2 深度生成模型 /27 <br />2.2 自回归模型 /28 <br />2.2.1 自回归模型的表示 /28 <br />2.2.2 自回归模型的学习 /31 <br />2.2.3 自回归模型的推断 /32 <br />2.3 变分自编码器 /33 <br />2.3.1 变分自编码器的表示 /33 <br />2.3.2 变分自编码器的学习 /34 <br />2.3.3 变分自编码器的推断 /37 <br />2.4 扩散概率模型 /38 <br />2.4.1 扩散概率模型的表示 /38 <br />2.4.2 扩散概率模型的学习 /40 <br />2.4.3 扩散概率模型的推断 /43 <br />2.5 生成对抗网络 /44 <br />2.5.1 生成对抗网络的表示 /44 <br />2.5.2 生成对抗网络的学习 /45 <br />2.5.3 生成对抗网络的推断 /46 <br />2.6 本讲小结 /47 <br />2.7 延伸阅读 /48 <br />2.8 课后习题 /48 <br />参考文献 /49 <br />第 3 讲 自监督学习 /53 <br />3.1 自监督模型概述 /54 <br />vi#12;<br />目 录 <br />3.1.1 自监督学习的由来 /54 <br />3.1.2 两个基本问题 /56 <br />3.2 自我预测 /58 <br />3.2.1 自编码器 /59 <br />3.2.2 掩码预测 /65 <br />3.2.3 其他自我预测的方法 /72 <br />3.3 对比学习 /73 <br />3.3.1 噪声对比估计的基本原理 /74 <br />3.3.2 对比预测编码 /75 <br />3.3.3 对比检索器 /78 <br />3.4 本讲小结 /81 <br />3.5 延伸阅读 /81 <br />3.6 课后习题 /82 <br />参考文献 /82 <br />第 4 讲 强化学习 /85 <br />4.1 决策式人工智能 /86 <br />4.1.1 预测、生成与决策 /86 <br />4.1.2 决策式任务分类 /87 <br />4.1.3 序贯决策 /88 <br />4.2 强化学习的基本概念 /89 <br />4.2.1 什么是强化学习 /89 <br />4.2.2 强化学习的环境建模：马尔可夫决策过程 /90 <br />4.2.3 智能体策略、价值与优化目标 /91 <br />vii#12;<br />大模型十讲 <br />4.2.4 强化学习中的数据分布 /92 <br />4.2.5 探索与利用 /93 <br />4.3 表格式强化学习 /94 <br />4.3.1 动态规划方法 /94 <br />4.3.2 无模型的强化学习方法 /96 <br />4.4 基于参数化函数的近似 /98 <br />4.4.1 参数化的价值函数 /98 <br />4.4.2 参数化的策略 /99 <br />4.4.3 ActorCritic <br />方法 /100 <br />4.5 深度强化学习 /102 <br />4.5.1 深度学习和强化学习的结合 /102 <br />4.5.2 深度价值函数 /103 <br />4.5.3 深度策略方法 /104 <br />4.6 延伸阅读 /106 <br />4.6.1 强化学习的启示 /106 <br />4.6.2 强化学习技术落地挑战 /107 <br />4.7 课后习题 /108 <br />参考文献 /110 <br />第 5 讲 预训练模型基础 /113 <br />5.1 预训练模型概述 /114 <br />5.2 模型架构 /115 <br />5.2.1 简单神经网络 /115 <br />5.2.2 循环神经网络 /116 <br />viii#12;<br />目 录 <br />5.2.3 Transformer /119 <br />5.3 预训练任务 /128 <br />5.3.1 语言模型类任务 /129 <br />5.3.2 对比学习类任务 /131 <br />5.4 典型预训练模型 /132 <br />5.4.1 Word2vec /133 <br />5.4.2 ELMo /134 <br />5.4.3 BERT /135 <br />5.4.4 GPT /136 <br />5.4.5 T5 /137 <br />5.5 本讲小结 /139 <br />5.6 延伸阅读 /139 <br />5.7 课后习题 /140 <br />参考文献 /141 <br />第 6 讲 大语言模型 /145 <br />6.1 大语言模型概述 /146 <br />6.2 大语言模型的动机 /147 <br />6.2.1 扩展定律 /147 <br />6.2.2 能力涌现 /148 <br />6.3 大语言模型的调优 /149 <br />6.3.1 指令调优 /150 <br />6.3.2 对齐调优 /153 <br />6.4 典型大语言模型 /158 <br />ix#12;<br />大模型十讲 <br />6.5 大语言模型的问题 /160 <br />6.5.1 幻觉 /160 <br />6.5.2 安全 /165 <br />6.5.3 其他问题 /169 <br />6.6 本讲小结 /170 <br />6.7 延伸阅读 /171 <br />6.8 课后习题 /172 <br />参考文献 /173 <br />第 7 讲 多模态大模型 /187 <br />7.1 图文对齐模型 /188 <br />7.1.1 双流模型 /188 <br />7.1.2 单流模型 /192 <br />7.1.3 混合模型 /195 <br />7.2 文到图生成模型 /197 <br />7.2.1 基于生成对抗网络架构的方法 /198 <br />7.2.2 基于 Transformer 架构的方法 /201 <br />7.2.3 基于扩散模型架构的方法 /202 <br />7.3 多模态生成与对话模型 /205 <br />7.3.1 多模态信息理解 /205 <br />7.3.2 多模态内容生成 /210 <br />7.4 本讲小结 /212 <br />7.5 延伸阅读 /212 <br />7.6 课后习题 /213 <br />x#12;<br />目 录 <br />参考文献 /214 <br />第 8 讲 决策大模型 /219 <br />8.1 决策任务与大模型 /220 <br />8.1.1 基于 Transformer 架构的强化学习 /220 <br />8.1.2 决策任务的知识模态 /222 <br />8.1.3 面向大模型的决策任务学习范式 /223 <br />8.2 决策策略的表示学习 /225 <br />8.2.1 决策序列数据的离散化 /225 <br />8.2.2 状态 --动作的表示学习 /227 <br />8.2.3 奖励的表示学习 /229 <br />8.3 策略学习 /232 <br />8.3.1 离线策略学习 /233 <br />8.3.2 在线策略学习 /233 <br />8.3.3 多智能体策略学习 /234 <br />8.4 预训练大模型与强化学习 /235 <br />8.4.1 大模型辅助的层次化任务分解 /235 <br />8.4.2 工具使用的策略优化 /236 <br />8.4.3 基于强化反馈的大模型推理增强 /236 <br />8.5 本讲小结 /237 <br />8.6 延伸阅读 /238 <br />8.7 课后习题 /240 <br />参考文献 /241 <br />xi#12;<br />大模型十讲 <br />第 9 讲 大语言模型的适配技术与自主智能体 /245 <br />9.1 参数微调 /246 <br />9.1.1 全参数微调 /246 <br />9.1.2 高效参数微调 /248 <br />9.2 提示学习 /255 <br />9.2.1 任务指令设计 /257 <br />9.2.2 任务映射方式设计 /258 <br />9.2.3 思维链推理提示 /259 <br />9.3 大模型自主智能体与工具学习 /263 <br />9.3.1 大模型自主智能体构建 /263 <br />9.3.2 大模型自主智能体应用 /273 <br />9.4 本讲小结 /276 <br />9.5 延伸阅读 /276 <br />9.6 课后习题 /277 <br />参考文献 /278 <br />第 10 讲 多模态大模型的扩展与世界模拟器 /285 <br />10.1 图像可控生成与编辑 /286 <br />10.1.1 图到图翻译 /287 <br />10.1.2 个性化生成 /292 <br />10.1.3 引入额外控制条件 /294 <br />10.1.4 交互式拖拽生成 /295 <br />10.2 文到视频生成 /297 <br />xii#12;<br />目 录 <br />10.2.1 基于文到图模型的视频生成与编辑 /298 <br />10.2.2 文到视频基础模型 /300 <br />10.3 文到三维内容生成 /304 <br />10.3.1 三维内容的表示与渲染 /305 <br />10.3.2 基于文到图模型的零样本三维内容生成 /307 <br />10.3.3 基于文到图模型的多视图生成 /310 <br />10.3.4 文到三维内容的基础模型 /311 <br />10.4 本讲小结 /313 <br />10.5 延伸阅读 /314 <br />10.6 课后习题 /314 <br />参考文献 /315