AIGC 摩天大楼：一份面向实战的 AIGC 全栈学习图谱

作者：杨夕（km1994），NLP 技术博主，公众号《关于NLP那些你不知道的事》主理人

当你想学 AI，却不知从哪下手的时候

2024 年下半年，ChatGPT 的余温尚未散去，DeepSeek R1 就以一记"蒸馏小模型超越 GPT-4"的惊艳亮相，再次点燃了整个 AI 圈的热情。朋友圈、微信群、技术论坛，到处都有人在讨论：大模型怎么微调？RAG 是什么？Agent 怎么搭？Stable Diffusion 还能怎么玩？

对于刚入门的新手来说，这些问题就像一座摩天大楼——抬头望不到顶，每一层都有新东西，每一层都可能让你卡住。网上资料碎片化严重，有的太理论，有的太旧，有的干脆就是营销水文。你需要一份"地图"，告诉你哪些知识是必学的，哪些坑是别人踩过的，哪些工具现在最火。

这就是 AIGC 摩天大楼 诞生的背景。

这个项目的发起人是一位 ID 叫 km1994（真名杨夕）的 NLP 从业者。他运营着一个叫《关于NLP那些你不知道的事》的公众号，多年来持续输出 NLP 和大模型相关的技术文章，在 NLP 圈子小有名气。他创建了一个组织叫 Data+AI+Algorithm，专门聚合整理 AI 学习资源。AIGC 摩天大楼就是他的"看家图谱"，用"摩天大楼"这个隐喻，把 AIGC 知识体系分成 18 个层次，从底层的 LLM 基础到顶层的数字人、AIGC 音乐生成，层层递进。

18 层楼的 AIGC 全景图

把学习 AIGC 比作爬一座摩天大楼，是一个很聪明的设计。每一层代表一个知识模块，从底层地基到顶层风景，循序渐进。

地基部分（1-5 层） 是每个 AI 学习者必须掌握的核心技能：

• 第一层 LLMs 入门篇：大语言模型基础，涵盖 DeepSeek R1、Qwen、Llama、GLM、Phi、Kimi、Mistral、Gemma 等主流模型系列。不只是介绍这些模型是什么，还配套了实操教程，比如"如何用 Ollama 本地运行 DeepSeek R1"、"如何用 GRPO 训练复现 DeepSeek R1"等。
• 第二层 LLMs 指令微调篇：SFT（监督微调）实战，包括主流微调框架、指令数据集构造方法。
• 第三层 LLMs 应用实战篇：这是最接地气的一层，拆成了七个实战方向——RAG 检索增强生成、Agent 智能体搭建、PPT 自动生成、会议纪要总结、角色扮演对话、Text-to-SQL、长文本摘要。每个方向都有系列教程。
• 第四层 LLMs 推理优化篇：模型跑起来太慢怎么办？这一层介绍了 vLLM、Ollama、TensorRT-LLM、Medusa 等推理加速方案。
• 第五层 LLM API 性能评估篇：如何评估模型质量，哪些基准测试最权威，怎么做 API 压测。

中层（6-16 层） 聚焦多模态和垂直场景：

• 第六层 Stable Diffusion 文生图：覆盖 SD 3.5、PixArt、VisCPM 等主流模型，以及 Midjourney 的提示词技巧。
• 第七-十一层：OCR 文字识别、ASR 语音识别、TTS 语音合成、人像分割、Language-Image 多模态。
• 第十二-十六层：AI 换脸（Face Swapping）、文生视频（VD）、图生视频（SVD）、AI 动作迁移、AI 虚拟试衣。

顶层（17-18 层） 是前沿探索：

• 第十七层 数字人：涵盖数字人建模、驱动、渲染的完整链路。
• 第十八层 全模态理解与音乐生成：Omni 全模态大模型，以及 Suno/MusicGen 等 AI 音乐生成工具。

这份图谱好在哪？

内容接地气，不是论文搬运工

很多 GitHub 上的 AI 学习资源喜欢堆论文列表，看起来很"学术"，但对于想动手实战的开发者来说其实不太友好。AIGC 摩天大楼的定位很清晰：实战导向。每一层不只是告诉你"有什么论文"，而是告诉你"用什么工具、怎么配、踩了什么坑"。

以第三层 Agent 实战为例，目录里明确列出了"第一阶 LLMs RAG 实战系列"、"第二阶 LLMs Agent 实战系列"，虽然具体的链接跳转到了知识星球的付费文章，但这个结构本身就给了学习者一个清晰的路径图。

知识体系完整，更新及时

项目从 2024 年 7 月创建，到 2026 年 8 月仍在活跃更新，不到两年时间已经覆盖了 18 个层次、20 个技术方向。Topic 标签也很有意思：llm、rag、agent、stable-diffusion、ocr、asr、vlm、mllm、svd、text-to-music、text-to-sql……几乎涵盖了当前 AIGC 领域最热门的方向。

尤其是 2025-2026 年期间，DeepSeek R1 的相关教程收录得非常及时，从基础的"Ollama 本地运行"到进阶的"KTransformers 单卡部署满血版"，再到"Open R1 复现"和"蒸馏小模型"系列，覆盖了不同层次的需求。

门槛友好，适合多层次读者

对于完全没有 AI 背景的小白，项目的"摩天大楼"隐喻和层次递进设计降低了心理门槛。对于已经有一定基础的开发者，RAG、Agent、微调、推理优化这些专题提供了深化方向。对于想跟上前沿的从业者，数字人、文生视频、全模态理解这些前沿专题也有收录。

局限与建议

当然，这份图谱也有它的局限性。

内容来源单一：大量核心内容链接指向知识星球（公众号）的付费文章，免费的 GitHub 页面本身只是一份"目录"。如果你不愿意付费买星球会员，能获取到的实质内容有限。这对于想要纯免费学习路线图的开发者来说，可能会有些失望。

缺少代码示例：作为一份 Markdown 知识库，它本身不包含可运行的代码。如果你想学 RAG 的具体实现，光看这份图谱是不够的，还需要配合具体的代码仓库（比如 LangChain、RAGFlow 等）一起学习。

深度参差不齐：不同层次的内容深度差异较大。一些层（如推理优化）收录了 TensorRT-LLM 这样的工程级方案，较为深入；而另一些层（如 AI 换脸）只停留在工具介绍层面，缺乏系统性的原理讲解。

无许可证说明：项目没有明确的开源许可证，README 内容虽可免费阅读，但大量核心教程通过付费渠道分发，使用时需注意版权边界。

行业意义

AIGC 摩天大楼在 GitHub 上获得了 74 颗星、7 个 Fork，虽然从数据上看规模不大，但在中文 AIGC 学习社区中具有相当的参考价值。它代表了一种"知识整合者"的角色——不一定要自己发明新模型，但能把碎片化的信息整理成结构化的学习路径，这本身就是一种稀缺能力。

随着大模型竞争进入白热化阶段，这类导航型学习资源会越来越受欢迎。它们的增长曲线往往与新技术热点的出现高度相关：每当有新的 SOTA 模型发布，就会有新的学习者涌入，就会有新的"入门指南"需求。AIGC 摩天大楼的定期更新（最近更新于 2026 年 8 月）证明了它在这个生态中的活跃度。

对于想入门 AIGC 的开发者，这份图谱的价值在于：给你一张地图，但路还得自己走。它不能替代动手实践，但至少能让你少走弯路，知道哪些坑是前人踩过的。