LLMBook-zh.github.io
LLMBook-zh/LLMBook-zh.github.io加载项目详情…
本应用为开源项目,仅供学习研究,请遵守其开源协议。
加载项目详情…
本应用为开源项目,仅供学习研究,请遵守其开源协议。
2023年初,ChatGPT 带起的 AI 浪潮席卷全球,无数开发者想学大模型技术,却被英文论文的密度、中文教程的零散所困扰——要么资料太基础只够科普,要么直接跳到论文复现,中间的系统性学习路径几乎是空白。就在这一年 3 月,中国人民大学的一支研究团队发表了一篇综述文章《A Survey of Large Language Models》,系统梳理大模型的技术体系。这篇文章在学术界引发关注后,读者频繁询问:有没有中文版本?有没有配套代码?有没有教材?
这些需求最终汇聚成了一本书——《大语言模型》,由赵鑫、李军毅、周昆、唐天一、文继荣五位学者编写,2024年由高等教育出版社正式出版,GitHub 仓库(LLMBook-zh/LLMBook-zh.github.io)免费公开电子版和配套资源。截至目前,该仓库已获得超过 4500 颗 GitHub Stars,成为中文大模型领域最受关注的开源学习资料之一。

这本书的诞生,折射出中国 AI 学术界快速跟进的能力和开放共享的意愿。
五位主要作者均来自中国人民大学赵孝元教授(AIBox)实验室,该实验室长期从事大模型研究,曾主导研发文澜(RuCA)、**玉兰(YuLan)**等系列大模型。在开发文澜和玉兰的过程中,团队积累了从数据处理、模型架构、预训练到微调、对齐的全流程第一手经验。这些经验最终被提炼、验证,写入了书中各章节。
值得注意的是,作者团队并未止步于纸面——他们将玉兰项目的核心代码同步开源,并在 PaddlePaddle 框架下完成了实现,确保了技术路线的通用性和自主可控性。这种"边做研究、边开源代码、边写教材"的模式,使得本书在内容深度和工程可信度上,都远胜于纯翻译或编译类资料。
《大语言模型》全书分为 13 章,从语言模型基础一路讲到复杂推理与 AI Agent,逻辑链条清晰,覆盖面广:
| 章节 | 主题 | 代码示例 |
|---|---|---|
| 第 3-4 章 | 数据工程:质量过滤、去重、隐私过滤、BPE 分词 | 4.1 质量过滤.py、4.2 去重.py 等 |
| 第 5 章 | 模型架构:RMSNorm、RoPE、ALiBi、MoE、LLaMA | 5.1 RMSNorm.py、5.2 RoPE.py 等 |
| 第 6 章 | 预训练:LM 损失函数、预训练实践、数据类 | 6.1 LM损失.py、6.2 预训练实践.py 等 |
| 第 7 章 | 指令微调:SFT 实践、LoRA 轻量化微调 | 7.1 SFT实践.py、7.3 LoRA基础.py 等 |
| 第 8 章 | 人类对齐:奖励模型训练、DPO | 8.1 奖励模型训练.py、8.2 DPO实践.py 等 |
| 第 9 章 | 解码与部署:vLLM、量化(GPTQ、bitsandbytes) | 9.1 vLLM实践.py、9.2 量化示例.py 等 |
除了正文和代码,仓库还提供了8 套完整 PPT 课件,覆盖从"初识大模型"到"复杂推理与 AI Agent"的全部课程,可供高校教师直接申请使用。此外,配套视频课程已在 B 站上线,形成了"书+代码+课件+视频"四维一体的学习资源矩阵。
目标读者:具有深度学习基础的本科生、研究生、AI 工程师和研究人员。不要求有大模型实战经验,但需要熟悉 PyTorch 基本操作和神经网络基础概念。
使用建议:
坦诚地说,本书也有其局限性。首先,作为一本 2024 年初定稿的教材,它无法完全覆盖 2024 年下半年以来的最新进展(如 DeepSeek R1 的推理Scaling、后训练新范式等),读者需要结合 arXiv 跟进最新研究。其次,本书偏重技术原理和代码实现,对具体行业应用场景(如医疗、法律、金融)的讨论相对有限,需要配合领域专项资料阅读。
此外,本仓库虽然开源了电子版 PDF,但正式出版的纸质书内容有较大修订和扩充——约有 20 万字内容仅在纸质版中提供,电子版读者需要自行权衡。
GitHub 上 4590 颗 Stars,绝不只是一个数字。它意味着这本教材填补了一个真实存在的需求空白:中文世界缺乏一本兼顾理论深度和工程实践的大模型系统性教材。在此之前,开发者要么读英文 SOTA 论文啃生肉,要么看零散的博客教程缺乏体系,而本书提供了中间那条清晰的学习路径。
从更宏观的视角看,这本书是中国 AI 学术界开放共享精神的一个缩影:不仅发表论文,还开源代码;不仅开源代码,还配套教材;不仅配套教材,还提供课件和视频。这种"产-学-研"一体化的知识传播方式,正在为中文 AI 社区培养新一代具备系统知识架构的从业者和研究者。