machine-learning-notes
机器学习进阶者的理论弹药库：从概率模型到深度学习研究，70+份讲义持续更新
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
微信扫码咨询客服
POMOAI — 让开源 AI 即刻运行
机器学习进阶者的理论弹药库：从概率模型到深度学习研究，70+份讲义持续更新
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
想象一下，你正准备攻克一篇顶会论文，里面塞满了变分推断、神经ODE、对偶优化——公式密密麻麻，参考文献堆成山。这时候你最需要什么？一本能把你从线性代数一直送到这些前沿课题的「桥梁书」。这就是香港浸会大学徐亦达副教授（Prof. Richard Xu）开源的 machine-learning-notes 项目——它不是那种教你调参的入门教程，而是一套面向研究者的理论弹药库，从数学基础一路讲到生成对抗网络、贝叶斯非参和强化学习。
这个仓库的作者徐亦达（xuyida@hkbu.edu.hk）是香港浸会大学副教授，长期从事概率模型和深度学习理论研究。他从 2015 年开始录制中文教学视频，2018 年将讲义全面迁移至 GitHub 仓库，并从 2022 年开始坚持每周日晚上 8:30 进行线上直播授课。他坦言，这些笔记是他过去十余年教学和科研积累的结晶，内容从基础的模型评估、决策树，到高阶的概率图模型、非参数贝叶斯，无所不包。值得注意的是，他目前仍在持续更新这些内容，并在每个 PDF 讲义中标注对应的 B 站视频链接，供学习者视听结合。
从表面看，这是一个存放了 70+ 份 PDF/PPT 讲义的 GitHub 仓库。深入去看，它是一套系统化的机器学习理论课程体系，覆盖以下板块：
基础数学模块：从模型评估（ROC曲线、混淆矩阵）、决策树、朴素贝叶斯，到线性回归、多项式回归、神经网络（CNN）、无监督学习（聚类、LDA、word2vec），构成机器学习的数学地基。
概率模型模块：这是整个仓库的精华所在，涵盖概率估计、MLE/MAP、指数族分布、蒙特卡洛方法（拒绝采样、重要性采样）、MCMC 方法（Metropolis-Hasting、Gibbs、Slice Sampling）、粒子滤波、变分推断（VB）、状态空间模型与卡尔曼滤波、EM 算法与高斯混合模型。这些内容配合对应的 MATLAB/Python 代码演示，是研究概率建模的必读材料。
深度学习研究模块：神经网络中的隐式偏差与正则化、对偶优化、共轭梯度、GAN 数学、W-GAN、Info-GAN、贝叶斯 GAN、变分自编码器（VAE）及其扩展、流匹配（Flow Matching）、Neural ODE 与伴随方程、Softmax 的分布外检测与校准、CNN 深入解析（残差网络、胶囊网络、YOLO、SSD）等。这些内容直指当前深度学习研究的前沿议题。
高级概率模型模块：贝叶斯非参数（狄利克雷过程、中国餐馆过程、HDP-HMM、印度自助餐过程 IBP）、完全随机测度（Gamma 过程、负二项过程）、行列式点过程（DPP）及其在推荐系统和时间序列中的应用。
生成式 AI 模块：用 PyTorch 深入解析 Transformer 架构，涵盖键值缓存（K-V Caching）、解耦旋转位置编码（RoPE）以及 DeepSeek 的多头潜在注意力机制（MLA）。
强化学习与 NLP 模块：DQN、蒙特卡洛树搜索（MCTS）、策略梯度（Policy Gradient）、TRPO、PPO；词向量（GloVe、FastText、负采样）、Seq2Seq、Attention 机制、指针网络。
3D 计算机视觉模块：相机模型、对极几何、三维重建、深度估计；以及深度学习驱动的 3D 姿态估计、运动恢复结构（Structure-from-Motion）等前沿研究。
市面上的机器学习资料多如牛毛，但面向具备扎实数学基础的学习者、从理论推导到代码实现全链路打通的内容，并不多见。这个项目的独特之处在于：
数学推导极其详尽。每个知识点都不止于「是什么」，更深入「为什么」——变分推断的 ELBO 推导、贝叶斯非参的 DP 收敛性证明、PAC-Bayes 边界、对偶问题的 KKT 条件，全部手写推导展开。
配套代码与视频。每个主题都配有 MATLAB 或 Python 示例代码（如 GMM 的 EM 实现、LDA 的 Gibbs 采样、Kalmann Filter 的可视化），以及 B 站视频讲解（中文），理论与实践形成闭环。
持续更新。作者至今仍在维护，2026 年 6 月仍有更新记录，且正逐步将旧的 Beamer 幻灯片替换为更完善的技术报告格式。
适合人群：数学基础扎实（线性代数、概率论、微积分）的 AI 研究者、硕博研究生、以及希望深入理解机器学习理论的在职工程师。
不适合：零基础初学者、市面上追求「30分钟入门」的速成者。
学习路径建议：
局限一：内容跨度大，缺少连贯课程设计。仓库按主题组织 PDF，但各 PDF 之间没有明确的前置依赖关系图，初学者可能不知道从哪下手。作者目前也在通过直播课的方式弥补这一不足。
局限二：主要以 PDF 静态呈现。没有交互式 Jupyter Notebook 界面（仅有一个工业界数据科学演示 notebook），不如 fastai course 等互动课程友好。
局限三：代码以 MATLAB 为主。虽然 Python 是主流，但作者的部分经典演示代码是 MATLAB 的，可能需要读者自行移植到 Python。
这个项目代表了学术界知识传播的一种重要模式——教授将自己多年教学积累的讲义直接开源，不经过商业出版，直接供全球华人社区使用。在当下大模型火热、很多学习者只会调用 API 的背景下，这样一套专注于理论深度和数学严谨性的资源，尤为难得。它也折射出一个趋势：AI 学习资源正从「调参指南」向「理论素养」回归——理解原理的人，才能真正驾驭 AI。
项目速览