《自然语言处理--大模型：通向AGI之路》是一本全面介绍大语言模型的教材，旨在帮助读者掌握这一前沿人工智能技术。本教材首先从自然语言处理基础和神经网络原理出发，逐步引领读者深入了解大语言模型的构建与训练方法。通过系统讲解Transformer架构，使读者能够理解其核心机制。与传统的教材不同，本书强调实践与应用。通过大量实例，读者将学会如何利用大语言模型进行自然语言生成、文本分类、情感分析等任务，极大地拓展了应用领域。 本教材内容丰富，步骤详细，解释了基本概念，并提供了实用示例。读者将首先了解NLP是什么以及关键理论技术，特别是如何通过大型模型来完成NLP中的各种任务。随后，读者将学习当前广泛的自然语言处理和大语言模型相关技术，并了解每种技术的最佳应用场景，包括新的大型语言模型（LLMs）。在此过程中，本书将介绍相关的自然语言处理Python库。读者不仅将学习NLP的基础知识，还将了解许多实际问题，如获取数据、评估系统、改善系统结果和部署NLP应用程序。 本教材的独特之处在于深入剖析了模型训练和优化的关键步骤，为读者提供了优化模型性能的实用方法。本教材适合不同程度的自然语言处理和深度学习基础的学生、研究人员以及从业者。无论你是计算机科学、人工智能、数据科学等相关领域的学习者，还是希望应用大语言模型于实际场景的专业人士，本教材都将成为你深入研究这一领域的得力助手。

赵宇，工学博士，西南财经大学教授，金融智能与金融工程四川省重点实验室副主任，美国罗切斯特大学联合培养博士，法国巴黎六大高级访问学者，西南财经大学光华百人计划人选，中国人工智能学会自然语言理解专委会委员，四川省计算机学会自然语言理解专委会副主任委员。主要研究方向为大模型、通用人工智能、自然语言处理、金融科技等领域，迄今在高水平期刊和会议发表学术论文30余篇（其中中国计算机学会（CCF）A类/B类推荐论文10篇），包括IEEE Trans.系列（IEEE TKDE、IEEE TNNLS、IEEE TMM、IEEE TMC）以及人工智能顶会ACL、ICME等。主持2项国家自然科学基金（1项面上，1项青年），2项四川省自然科学基金（1项重点，1项面上）。撰写《知识图谱》专著1部，参编《金融科技》教材1部。

目录<br />主编简介 <br />序 言 <br />前 言 <br />主要符号表 <br />第 1 章 绪论 /1 <br />1.1 自然语言处理概述 /1 <br />1.2 自然语言处理简史 /2 <br />1.3 自然语言处理传统研究 <br />内容 /3 <br />1.4 自然语言处理与大模型发展 <br />现状 /33 <br />1.5 本书内容安排 /34 <br />1.6 讨论 /35 <br />1.7 习题 /35 <br />第 1 部分 语言模型基础 <br />第 2 章 词向量 /38 <br />2.1 概述 /38 <br />2.2 文本表示方法 /39 <br />2.3 Word2Vec 模型 /40 <br />2.4 GloVe 模型 /44 <br />2.5 ELMo 模型 /46 <br />2.6 讨论 /48 <br />2.7 习题 /48 <br />第 3 章 统计语言模型 /50 <br />3.1 概述 /50 <br />3.2 N-gram 模型 /51 <br />3.3 平滑技术 /53 <br />3.4 讨论 /55 <br />3.5 习题 /56 <br />第 4 章 神经语言模型 /58 <br />4.1 概述 /58 <br />4.2 神经概率语言模型 /59 <br />4.3 基于循环神经网络的语言 <br />模型 /62 <br />4.4 讨论 /67 <br />4.5 习题 /68 <br />第 5 章 预训练语言模型 /69 <br />5.1 概述 /69 <br />5.2 Seq2Seq 模型 /70 <br />5.3 注意力机制 /74 <br />5.4 Transformer 模型 /76 <br />5.5 重要的预训练语言模型 /88 <br />5.6 语言模型使用范式 /93 <br />5.7 讨论 /94 <br />5.8 习题 /95 <br />第 2 部分 大模型理论 <br />第 6 章 大语言模型架构 /98 <br />6.1 概述 /98 <br />6.2 基于 Transformer 的模型 <br />架构 /99#12;<br />IX <br />6.3 基于非 Transformer 的 <br />模型架构 /103 <br />6.4 大模型架构配置 /108 <br />6.5 讨论 /112 <br />6.6 习题 /112 <br />第 7 章 多模态大模型架构 /113 <br />7.1 概述 /113 <br />7.2 ViT 模型 /114 <br />7.3 CLIP 模型 /117 <br />7.4 BLIP 模型 /121 <br />7.5 BLIP-2 模型 /125 <br />7.6 讨论 /128 <br />7.7 习题 /128 <br />第 8 章 大模型预训练 /129 <br />8.1 概述 /129 <br />8.2 预训练数据工程 /129 <br />8.3 预训练方法 /137 <br />8.4 讨论 /143 <br />8.5 习题 /143 <br />第 9 章 大模型微调 /144 <br />9.1 概述 /144 <br />9.2 指令微调 /145 <br />9.3 对齐微调 /155 <br />9.4 微调算法 /164 <br />9.5 讨论 /165 <br />9.6 习题 /165 <br />第 10 章 提示工程 /167 <br />10.1 概述 /167 <br />10.2 提示工程基础 /168 <br />10.3 情景学习 /176 <br />10.4 思维链 /178 <br />10.5 提示工程安全 /184 <br />10.6 讨论 /187 <br />10.7 习题 /187 <br />第 11 章 涌现 /189 <br />11.1 概述 /189 <br />11.2 涌现现象 /190 <br />11.3 大模型中的涌现 /195 <br />11.4 缩放法则 /199 <br />11.5 大模型可解释性 /202 <br />11.6 讨论 /209 <br />11.7 习题 /210 <br />第 12 章 大模型评估 /211 <br />12.1 概述 /211 <br />12.2 评估方式 /211 <br />12.3 评估任务 /215 <br />12.4 评估指标 /222 <br />12.5 讨论 /230 <br />12.6 习题 /230 <br />第 13 章 探讨 /232 <br />13.1 概述 /232 <br />13.2 基于大模型的智能体和具身 <br />智能 /233 <br />13.3 大模型垂直领域应用 /235 <br />13.4 大模型的挑战与局限 /243 <br />13.5 大模型的社会影响 /247 <br />13.6 讨论 /252 <br />13.7 习题 /252 <br />第 3 部分 大模型实践 <br />第 14 章 大模型本地开发 /256 <br />14.1 概述 /256 <br />14.2 Transformers 编程 <br />基础 /257 <br />14.3 大模型微调 /261 <br />14.4 讨论 /265#12;<br />X <br />14.5 习题 /265 <br />第 15 章 基于大模型的应用开发 /266 <br />15.1 概述 /266 <br />15.2 基于 OpenAI 的应用 <br />开发 /267 <br />15.3 基于通义千问的应用 <br />开发 /284 <br />15.4 基于 LangChain 的应用 <br />开发 /287 <br />15.5 讨论 /294 <br />15.6 习题 /294 <br />附录 /296 <br />附录 A 预备知识 /296 <br />附录 B 缩略语表 /328 <br />附录 C 术语表 /329 <br />附录 D 相关学术会议与学术 <br />组织 /331 <br />参考文献 /333