Awesome-AutoML-and-Lightweight-Models
guan-yuan/Awesome-AutoML-and-Lightweight-Models加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
微信扫码咨询客服
POMOAI — 让开源 AI 即刻运行
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
传统深度学习模型的开发，需要研究人员手动设计神经网络架构——层数、卷积核大小、跳跃连接方式，每一步都依赖经验和大量实验。随着 ImageNet 时代的到来，网络深度从 LeNet 的 5 层急速膨胀到 ResNet 的 152 层，架构设计本身已经成为制约 AI 发展的核心瓶颈。谁来给 AI 设计 AI？ 这个问题催生了 AutoML（自动化机器学习）这一研究领域。
Awesome-AutoML-and-Lightweight-Models 由研究者 guan-yuan 维护，是一个系统性梳理 AutoML 与轻量化模型前沿工作的精选索引库。截至分析时，该项目已收录 62 篇 arXiv 论文与 65 个 GitHub 代码仓库链接，覆盖五大核心方向，在 GitHub 上获得了超过 850 颗星，证明了其在学术社区的实用价值。
这是 AutoML 领域最核心的方向——让算法自动搜索最优网络结构。根据搜索策略的不同，主流方法分为三大流派：
梯度搜索派（Gradient-based） 的代表工作 DARTS（Differentiable Architecture Search，ICLR 2019）开创性地将离散的架构选择连续化，用参数共享的方式让整个搜索空间可微。研究者不再枚举每一个网络结构，而是训练一个"超级网络"（SuperNet），同时学习权重和架构参数。DARTS 的思路深刻影响了后续所有高效搜索方法，衍生出 FBNet、SNAS、Auto-DeepLab 等一系列工作。
强化学习派（RL-based） 以 NASNet（Google Brain，CVPR 2018）为起点，用 RNN 控制器生成网络描述字符串，以验证集准确率为奖励信号训练策略网络。MnasNet 则在此基础上引入多目标优化，将设备延迟作为约束条件，搜索结果直接适配移动端。ProxylessNAS 进一步解决了 RL 方法计算量巨大的问题，通过可学习的二元门控将搜索代价降低到与DARTS相当的水平。
进化算法派（Evolutionary） 则模拟生物进化：随机生成初始种群，通过选择、交叉、变异迭代优化。Single-Path One-Shot 等工作将架构参数编码为单个向量，在保证搜索效率的同时避免了超级网络训练的不稳定性。
DARTS 作为这一方向的里程碑式工作，至今仍是各类新搜索方法的对比基准，其核心思想——将架构搜索问题建模为连续优化——已经成为该领域的范式。
即便搜索到了优秀架构，部署到手机、嵌入式设备上仍然困难重重。轻量化结构研究关注如何用更少参数实现接近甚至超过大模型的效果。
MobileNet 系列（Google Brain）提出的深度可分离卷积（Depthwise Separable Convolution）将标准卷积分解为逐通道卷积+逐点卷积，将计算量从 O(Dk^2·M·N) 降低到 O(D·k^2·M + D·M·N)，参数量减少近 90%。ShuffleNet 则引入通道混洗（Channel Shuffle）操作，用分组卷积+通道重排的方式在保证信息流通的同时降低计算成本。
EfficientNet（ICML 2019）更进一步，提出复合缩放（Compound Scaling）策略：同时调整网络深度、宽度和分辨率到一个均衡的最优点。这篇论文在 ImageNet 上实现了 84.3% 的 top-1 准确率，同时参数量仅 66M，推理速度比同期 NAS 方案快数倍。
将训练好的大模型压缩到可接受的大小，是 AutoML 落地最关键的一环。该库收录了剪枝（Pruning）、量化（Quantization）、知识蒸馏（Distillation）等主流方向的核心论文。
Network Slimming 通过对 BN 层 γ 参数施加 L1 正则，让不重要的通道自动趋于零，实现结构化剪枝。DSD（Dense-Sparse-Dense） 则提出先训练到收敛、再稀疏再训练的循环策略，利用稀疏训练带来的优化曲面探索能力提升最终性能。
在量化方向，HAQ（Hardware-Aware Automated Quantization） 创新性地将硬件特性（延迟、能耗）引入量化策略搜索，用强化学习为每个网络层分配最优位宽，在相同精度下实现比均匀量化更优的硬件效率。
深度学习模型的性能高度依赖学习率、批大小、正则化强度等超参数的人工调优。HPO（超参优化）方向旨在自动化这一过程。
贝叶斯优化（Bayesian Optimization） 是当前主流方法：通过代理模型（高斯过程/Tree-Parzen Estimator）建模超参数与目标函数的关系，主动选择下一个最有希望的配置。Hyperband 和 PBT（Population Based Training） 则引入早停和并行进化的思想，在有限计算资源下找到更好的超参数组合。
特征工程是传统机器学习的核心环节。AutoFE 试图让算法自动完成特征构造、选择和变换，减少数据科学家的人工介入。
作为 Awesome 列表，该项目本身的技术栈极简：纯 Markdown 文件，无代码、无依赖、无 CI/CD 流水线。但其收录的内容反映了 AutoML 领域的核心技术特征：
代码库中涉及的框架以 PyTorch 和 TensorFlow 为主，两者约占 80%，其余涵盖 JAX、MXNet 等。代码质量参差不齐：Google Brain、MIT 等机构维护的仓库有完整测试、文档和持续集成；部分学术代码仅为论文复现，缺少长期维护。
适合谁： 研究 AutoML 的学生和研究人员、希望系统性了解 NAS/模型压缩方向最新进展的开发者、准备校招/面试 AI 算法岗位的候选人（该库覆盖了大量顶会工作，是很好的知识复习索引）。
上手方式： 直接在 GitHub 页面浏览，每个论文条目附带 arXiv 链接和代码仓库链接，点进去即可获取论文 PDF 和复现代码。没有 Web UI、没有 API，纯浏览器阅读体验，反而契合"精选索引"的产品定位。
局限性： 由于是列表性质，该项目不包含任何可直接运行推理的模型权重或训练脚本，无法直接作为开发依赖引入项目。此外，收录的论文以 2018-2020 年为主，2021 年后的最新进展（如 Transformer 架构搜索、大模型高效微调）收录有限。
Awesome-AutoML 项目的存在本身，反映了 AutoML 领域快速迭代带来的信息过载问题。从 2017 年 NASNet 提出到 2023 年，大模型高效微调（LoRA、QLoRA）、Foundation Model 时代的新一代 NAS（如 HAT、Supernet++），整个领域经历了多次范式转移。
guan-yuan 维护的这个列表，通过分类组织让研究者得以快速定位自己关心的方向，而无需逐一翻阅顶会论文集。对于推进 AutoML 民主化、降低入门门槛，该项目有其不可替代的价值。同时，62 篇论文 + 65 个代码仓库的规模也说明，这一领域已经从"概念验证"走向"工程落地"，大量工作已经有配套的可复现代码。
| 方向 | 代表工作 | 会议/年份 |
|---|---|---|
| 梯度搜索 | DARTS | ICLR 2019 |
| 强化学习搜索 | NASNet, ProxylessNAS | CVPR 2018, ICLR 2019 |
| 轻量化结构 | MobileNetV3, EfficientNet | 2019 |
| 模型量化 | HAQ | ICCV 2019 |
| 超参优化 | Hyperband, PBT | ICML 2018, ICLR 2017 |
| 自动特征工程 | AutoKernel | MLSys 2021 |