AI System & AI Infra：把 AI 基础设施讲透的开源课程

一、开场：一个转行者的困境

想象这样一个场景：一位算法工程师训练出了精度不错的模型，代码在 PyTorch 里跑通了，可产品经理一句"这个模型能上线吗，成本多少？"就让整个团队卡住。他不知道模型转成 ONNX 后会掉多少点精度，不知道算子融合到底能带来几倍加速，更不知道自己买的这张卡上，Tensor Core 和 NVLink 到底意味着什么。

这类"断层"在国内 AI 人才培养中非常普遍——算法课教模型，系统课教操作系统，中间那块"模型怎么变成能跑在硬件上的东西"没人系统讲。Infrasys-AI/AISystem 正是来填这个洞的：它是 ZOMI（原华为 2012 实验室昇腾计算产品线专家，主导过 MindSpore 训练框架与 MindSpore Lite 推理引擎）从 2022 年起开源的 AI 系统全栈课程，目前在 GitHub 收获 18,108 stars、2,505 forks，是国内 AI Infra 领域影响力最大的开源教材之一。

二、课程缘起：为什么国内需要一本自己的《AI Systems》

课程前言里有一段很坦诚的自述。2019 年 ZOMI 进入华为 2012 实验室，切入昇腾产业，每天和 AI 算法、编译器、体系结构打交道。他后来做过一次 C9 高校联盟的培训交流，发现学生和从业者对"算法如何利用体系结构实现加速和部署"充满兴趣，但国内高校教学大纲里，恰恰缺一门衔接 AI 与计算机体系结构的课程。

作者对比了海外已有方案：伯克利《AI Systems》偏论文研读，论文已难经时间检验；微软的课程缺乏整体梳理；华盛顿大学的《Deep Learning Systems》几乎以 TVM 为唯一主角；斯坦福的《Machine Learning Systems Design》聚焦数据工程。结果是——国内外都很难找到一本系统性讲述 AI 系统的教材。于是他决定自己写。

2022 年底项目启动，2023 年 5 月完成首版全部 PPT 与视频，2025 年 9 月仍在持续更新。

三、五大模块：一条完整的 AI 栈路线

课程按"从下往上"的顺序组织成五个模块：

01Introduction — AI 系统全栈概述。先把算法、框架、体系结构三者如何咬合成"AI 系统"讲清楚，给出全栈的方法论视角。

02Hardware — AI 芯片体系架构。从冯诺依曼架构与 GPU 的 SIMT 结构讲起，深入英伟达十年五代 GPU 架构、Tensor Core 与 NVLink 的演进，再横向剖析谷歌 TPU 的脉动阵列、特斯拉 Dojo 的近存计算，以及国内华为昇腾、寒武纪、壁仞、燧原的架构差异。作者的立场很清醒：芯片设计不能只喊"吊打英伟达"，必须同时考虑上层 AI 框架与算法的编译栈，"芯片难用起来"是行业通病。

03Compiler — AI 编译原理。先回顾 GCC/LLVM 的传统编译流程与 IR 设计，再进入 AI 编译器：图算融合、数据排布、内存优化等前端优化，以及循环优化、指令优化、AutoTuning 等后端优化，还覆盖多面体（Polyhedral）技术、PyTorch 2.0 的 Dynamo 与 AOTAutograd 图模式，以及华为 CANN 编译器栈。

04Inference — 推理系统与引擎。从推理系统整体架构讲起，串起轻量网络（MobileNet 等）、模型压缩四件套（量化、蒸馏、剪枝、二值化）、模型转换与计算图优化、Kernel 层优化。课程还梳理了移动端推理引擎的收敛史：谷歌 TF-Lite、腾讯 ncnn、Apple CoreML、阿里 MNN、华为 MindSpore Lite——"技术上也接近收敛"。

05Framework — AI 框架核心技术。自动微分、计算图与图优化、分布式训练、集群调度。核心观点是：AI 框架的两类用户是算法工程师（快速实现想法）与系统工程师（落地部署与性能优化），框架的存在就是同时服务这两类人。

四、上手门槛极低，但"下载"这一步有点重

这个仓库的形态很特别：主体是 Markdown 讲义（每节配 PDF 与 PPTX），配合 Jupyter Notebook 演示代码，C/C++/CUDA/LLVM 源码片段用于说明编译器与算子实现。文档站通过 Sphinx 构建（requirements.txt 仅需 bs4 与 sphinx==4.4.0），推送到 GitHub Pages 即可在线阅读，同时配套 B 站与 YouTube 视频。

它的门槛不在"跑起来"，而在"选得准"。 README 里明确提醒：仓库因包含全部制作过程与高清原图已膨胀到 10GB 左右，直接 git clone 会非常慢，建议优先去 Releases 下载所需章节的压缩包。对于只想读某个模块的用户，从 Releases 按需取件是更现实的做法。

内容体量上，五大模块合计有大量 PDF/PPTX/PDF 三件套与思维导图脑图，讲解视频单集通常在 20-60 分钟区间。仓库长期保持活跃，Star 数在 1.8 万量级，属于国内 AI Infra 领域头部的开源学习资源。

五、局限与争议：需要客观看待的地方

第一，这是"教材"而非"工具"。 仓库里没有可以直接跑起来解决业务问题的框架代码，Jupyter Notebook 多为教学演示。它培养的是理解力和判断力，不是即插即用的生产力工具。

第二，资料本身极重。 10GB 的仓库体积对国内用户不友好，PDF/PPTX/PDF 三种格式并存也造成冗余。虽有 Releases 缓解，但缺乏精细的按章节分发。

第三，内容有时效性风险。 AI 芯片与编译技术演进极快，课程主干内容截止 2025 年 9 月的更新，涉及具体硬件型号与性能数据的部分需要读者自行核对最新进展。课程本身也坦承"多面体"一节长期标记为"待更 ing"，说明更新并非面面俱到。

第四，内容偏向体系结构视角。 面向国内 AI 基础设施人才的分发路径，昇腾/CANN 章节占比较大，对 NVIDIA 生态之外的海外读者，语境适配度一般。

六、行业意义：AI Infra 教材缺口的一个样本

把视角拉远一点。AISystem 的 18K stars 说明了一件事：随着大模型竞赛进入深水区，行业的稀缺资源正在从"会调模型的人"转向"懂模型如何落到硬件上的人"。华为、寒武纪、壁仞等公司密集涌现的同时，高校和企业不得不花费大量人力从头培养 AI 基础设施工程师——这个人才缺口正是这门课程瞄准的目标。

作者把课程定位为"硕博研究生的专业选修课程"，也建议本科高年级学生与 AI 系统从业者使用。从课程设计的完整性看，它确实做到了传统编译器教材与前沿 AI 实践之间的那座桥。

结论： 如果你正在做 AI Infra 相关工作、想系统补齐从芯片到框架的认知断层，AISystem 是目前中文世界最完整的免费公开教材，且有配套视频与课件，无需 GPU、无需搭环境。如果你只想找一个能跑的工具，那它不是；如果你是要建立完整体系性认知，18K stars 的社区验证说明它值得你花一个周末。

项目地址：https://github.com/Infrasys-AI/AISystem 文档站：https://infrasys-ai.github.io/aisystem-docs/ 许可证：Apache-2.0（课件部分另有 LICENSE-CODE）