ProxylessNAS：无代理神经架构搜索，让AI模型量体裁衣

想象一个场景：你要为一款超轻量级手机开发图像识别模型，但不知道该选什么网络结构——ResNet 太重，MobileNet 勉强能跑但精度不够。传统做法是先设计再测量，或者用代理任务（比如小数据集）模拟。但 MIT 的研究者在 2019 年提出了一个更直接的问题：为什么不能直接在目标硬件和真实任务上，让算法自己决定网络长什么样？ 这就是 ProxylessNAS 诞生的起点。

背景：NAS 的代理困境与 MIT 的突破

神经架构搜索（Neural Architecture Search, NAS）旨在让算法自动设计神经网络结构，取代人工调参。2018 年前的 NAS 方法普遍存在一个根本性问题——代理损失（Proxy Loss）：

1. 任务代理：在小数据集（如 CIFAR-10）上搜索架构，再迁移到大数据集（ImageNet）。这导致搜索结果在小数据上最优，迁移后性能严重退化。
2. 硬件代理：用 FLOPS 或参数量估算延迟，但实际硬件上的延迟受内存带宽、缓存策略、算子实现等多因素影响，FLOPS 低不等于延迟低。MobileNetV2 的理论计算量看起来很美，但在某些嵌入式设备上实际表现却不如 FLOPS 更高的模型。

2019 年 ICLR 会议上，MIT Han Lab 的 Han Cai、Ligeng Zhu、Song Han 三位研究者发表了 ProxylessNAS，核心贡献是提出 Path-level Gradient-based NAS：

• 二值化路径：将候选操作（如卷积核大小、扩展比等）参数化为二值门（0 或 1），训练时只有被选中的路径激活，从而将架构参数和权重参数一起端到端优化。
• 去代理：直接在 ImageNet 上搜索，直接在真实硬件上测量延迟（通过硬件感知的延迟损失函数）。
• 高效性：相比同期 RL-based NAS（如 NASNet）需要 thousands of GPU hours，ProxylessNAS 将搜索成本降低到约 200 GPU hours。

图1：ProxylessNAS 搜索框架。 算法在离散的操作空间中通过梯度下降直接优化，在每个决策点上用二值化门控选择最优路径，实现权重参数和架构参数的联合学习。

核心技术：Path-Level 二值化梯度

ProxylessNAS 的核心创新在于将 NAS 搜索空间从离散的节点空间转换为离散的路径空间，并利用 BinaryConnect 技术实现端到端梯度优化。

搜索空间设计

搜索空间包含以下几个维度的选择：

搜索维度	候选选项
卷积核大小	[3, 5, 7]
扩展比（Expansion Ratio）	[3, 6]
路径是否跳过（Skip）	是 / 否
算子类型	Depthwise Conv, Mobile Inverted Bottleneck, 等

每个 Mobile Inverted Block 内的搜索空间极其庞大——论文中每个 block 有 10+ 个候选操作。通过 BinaryConnect 二值化方法，每个操作前加一个伯努利采样的二值门（0 或 1），最终输出为所有操作的加权和：

output = sum(g_i * op_i(x) for i in range(num_ops))

其中 g_i ∈ {0, 1}，通过 Gumbel Softmax 或straight-through estimator（STE）实现不可导二值变量的梯度传递。

硬件感知搜索

ProxylessNAS 的一大亮点是直接对目标硬件延迟建模。论文中使用延迟查找表（Latency Lookup Table）：

L(w, a) = CrossEntropyLoss(w, a) + λ * Latency(a)

其中 Latency(a) 通过在目标硬件上测量每个算子的实际延迟并查表得到。搜索时，梯度回传中会包含对延迟的感知，从而让算法倾向于选择又快又准的结构。

这就是为什么 ProxylessNAS 搜索出来的 Mobile 版本，在特定手机上能稳定比 MobileNetV2 快——因为它不是在模拟延迟，而是在真实测量延迟。

为什么值得收藏：学术影响与工程价值

ProxylessNAS 的影响力远超论文本身，以下几点值得特别关注：

学术荣誉

• ICLR 2019 正式发表，被引量超过 3000 次（Google Scholar 数据）。
• 衍生工作 Once-for-All（ICLR 2020）获得了 CVPR 2019 & 2020 LPCVC 竞赛第一名，将解耦训练与部署的思想推向极致。
• 后续的 BigNAS、EfficientNetV2 等工作均借鉴了 ProxylessNAS 的无代理搜索理念。

工业落地

ProxylessNAS 已集成到三大 AutoML 平台：

1. PyTorch Hub：一行代码加载预训练模型 torch.hub.load('mit-han-lab/ProxylessNAS', 'proxyless_cpu', pretrained=True)
2. Microsoft NNI：作为内置 NAS 算法之一，支持快速搜索定制化模型。
3. Amazon AutoGluon：在 AutoGluon 的 NAS 模块中直接调用。

这意味着该工作已经从学术论文变成了工业级工具链的一部分。

竞赛成绩

竞赛	名次	备注
Visual Wake Words Challenge (CVPR 2019)	第1名	TF-lite 赛道
Low Power Image Recognition Challenge (CVPR 2019)	第3名	分类赛道

图2：ProxylessNAS 与主流模型在 ImageNet 上的 Top-1 精度与 GPU 延迟对比。 ProxylessNAS (GPU) 比 MobileNetV2 精度高 3.1%，同时延迟降低 20%。

代码解读：核心模块一览

代码库结构清晰，分为三个核心目录：

proxyless_nas/        # 预训练模型定义（PyTorch）
├── layers.py         # 基础算子层（ConvLayer, DepthConvLayer, MBConvLayer 等）
├── nas_modules.py    # NAS 核心模块（ProxylessNASNets 主网络类）
└── model_zoo.py      # 模型动物园（CPU/GPU/Mobile 多种预设）

search/               # 架构搜索代码
├── nas_manager.py    # 搜索配置与训练循环管理
├── imagenet_arch_search.py  # ImageNet 上的搜索入口
└── run_manager.py    # 训练运行管理（数据加载、优化器调度）

training/             # 模型微调代码
└── main.py           # 微调脚本

核心代码逻辑（proxyless_nas/nas_modules.py）：

class ProxylessNASNets(BasicUnit):
    def __init__(self, first_conv, blocks, feature_mix_layer, classifier):
        self.first_conv = first_conv
        self.blocks = nn.ModuleList(blocks)   # 可搜索的 Mobile Inverted Blocks
        self.feature_mix_layer = feature_mix_layer
        self.global_avg_pooling = nn.AdaptiveAvgPool2d(1)
        self.classifier = classifier

    def forward(self, x):
        x = self.first_conv(x)
        for block in self.blocks:
            x = block(x)  # 每个 block 内部有路径选择
        x = self.feature_mix_layer(x)
        x = self.global_avg_pooling(x)
        x = x.view(x.size(0), -1)
        x = self.classifier(x)
        return x

图3：Mobile 设置下 ProxylessNAS 与 MobileNetV2 的性能对比。 在不同延迟约束下，ProxylessNAS 始终优于 MobileNetV2，体现了硬件感知搜索的显著优势。

部署方式与硬件要求

预训练模型一键加载（推荐）

PyTorch Hub 提供了四种预设模型，Python 环境安装 PyTorch 后，两行代码即可使用：

import torch
model = torch.hub.load('mit-han-lab/ProxylessNAS', 'proxyless_cpu', pretrained=True)

四种预设及适用场景：

预设	参数量	Top-1	适用场景
proxyless_cpu	~21M	74.5%	服务器 / 高性能桌面
proxyless_gpu	~21M	75.1%	GPU 服务器（延迟敏感）
proxyless_mobile	~4.2M	73.4%	移动端 / 边缘设备
proxyless_mobile14	~3.4M	72.0%	超轻量场景（延迟小于5ms）

从头搜索自定义架构

如需在特定硬件或数据集上搜索专属架构：

# 1. 准备 ImageNet 数据集
# 2. 修改搜索配置（search/imagenet_arch_search.py）
# 3. 启动搜索（需要多卡 GPU 机器）
python search/imagenet_arch_search.py --target hardware=cpu

搜索过程约 200 GPU hours，ImageNet 全量数据。对于企业内部定制化场景（如特定工业相机的图像分类），这是值得的投入。

硬件要求

场景	GPU	显存	CPU	内存	存储
推理（预训练模型）	可选	2GB+	多核	4GB+	1GB
微调	推荐	8GB+	多核	16GB+	10GB
从头搜索	必须	32GB+（V100 8卡）	多核	64GB+	50GB

图4：ProxylessNAS 与其他 NAS 方法的搜索成本与最终精度对比。 图中可见 ProxylessNAS 在保持 SOTA 精度的同时，大幅降低了搜索计算成本。

局限性与未来方向

ProxylessNAS 虽然开创性地解决了代理损失问题，但仍存在一些局限性：

1. 搜索空间仍然有限：主要聚焦于 MobileNet 风格的 depthwise separable convolution 搜索空间，对于 Transformer、MoE 等新架构的支持需要扩展搜索空间。
2. 硬件建模较为粗糙：延迟查找表需要人工测量每个硬件平台，对于新设备需要重新测量，维护成本较高。
3. 多目标优化受限：论文主要处理精度 vs 延迟双目标，实际应用中往往还有能耗、内存占用、模型大小等多个约束，扩展到多目标优化仍有挑战。
4. 训练不稳定：二值化门控在训练初期梯度方差较大，需要仔细调参（如 Gumbel Temperature）。

这些问题在后续工作（如 Once-for-All、BigNAS、EAT-NAS）中得到了不同程度的解决。

行业意义：从手工设计到自动搜索的范式转变

ProxylessNAS 所在的时间节点（2019 年）恰好是 NAS 领域从小众学术方向走向工业标配的关键时期。它的核心贡献在于：

• 方法论层面：证明了无代理直接搜索是可行的，且比代理搜索更准确。
• 工程层面：提供了可直接使用的 PyTorch 模型，降低了使用门槛。
• 生态层面：被 PyTorch Hub、NNI、AutoGluon 三大主流平台集成，形成了持续的影响力。

图5：针对不同硬件平台搜索专业化架构。 同一算法针对 CPU、GPU、Mobile 三种平台搜索出的结构各有不同，体现了硬件感知搜索的核心价值——专平台专用。

图6：ProxylessNAS 为不同平台搜索出的专业化架构可视化。 可以清晰看到针对不同硬件约束，网络的深度、宽度、连接模式均有显著差异。

结语

ProxylessNAS 代表了一种重要的研究范式：不是从理论出发设计网络，而是从数据出发，让算法在真实约束下自己找到最优解。这种量体裁衣的思路深刻影响了后续 EfficientNet、Once-for-All、BigNAS 等工作，也为零样本 AutoML、硬件-算法联合优化等领域奠定了方法论基础。

对于 AI 爱好者来说，ProxylessNAS 是理解 NAS 思想的一个绝佳入口——代码清晰、文档完善、PyTorch Hub 一键可用。对于 AI 开发者来说，它提供了一套可直接复用的预训练模型，且其搜索框架本身也可作为企业内部 AutoML 系统的参考实现。

---

项目来源：MIT Han Lab / ProxylessNAS (ICLR 2019) | arXiv: 1812.00332