executorch

PyTorch ExecuTorch：让大模型跑在口袋里的端侧AI推理引擎

**想象一个场景：**你在地铁里想用手机和大模型对话，但网络信号时断时续、云端延迟令人崩溃——如果模型能直接在你的手机芯片上本地运行，那该多好。PyTorch团队用ExecuTorch把这个场景变成了现实。

一、背景：为什么需要端侧AI推理？

在ExecuTorch出现之前，把PyTorch训练好的模型部署到手机、手表、摄像头等端侧设备，是一件极其痛苦的事。主流方案有三条路：

• 云端API调用：依赖网络，质量受延迟影响，数据隐私无法保证
• 模型转换中间格式：PyTorch → ONNX → TFLite/MobileNet，每次转换都可能引入精度损失，且不同硬件需要不同工具链
• 手动C++重写：最灵活但也最耗时，需要重新实现每个算子

ExecuTorch的答案是：直接从PyTorch导出，不经过任何中间格式，用原生API在端侧运行。

二、核心技术：AOT编译三步走

ExecuTorch的工作流程分为三步，每一步都有明确的价值：

第一步：Export（导出） 使用PyTorch原生API torch.export.export() 捕获模型计算图，保留PyTorch动态图的语义，同时生成可序列化的中间表示（IR）。与传统的trace/script方式不同，export API能更好地处理动态控制流。

第二步：Compile（编译） 对导出的模型进行量化（8-bit/4-bit）、算子融合、内存规划，并通过分区器（Partitioner）将计算图分配到不同硬件加速器上。例如在Android手机上，可以将矩阵乘法分配给Hexagon NPU，将卷积分配给GPU。最后生成统一的.pte文件。

第三步：Execute（执行） 在目标设备上通过轻量级C++运行时加载.pte文件执行推理。运行时核心仅50KB，经过选择性编译（Selective Build）可进一步裁剪到更小体积。

三、支持的硬件平台：12+加速后端

ExecuTorch的野心是"一处导出，处处运行"。支持的硬件后端覆盖：

平台	加速后端
Android	XNNPACK(通用CPU)、Vulkan GPU、Qualcomm QNN、MediaTek NPU、Samsung Exynos
iOS/macOS	CoreML(Neural Engine)、Metal GPU、XNNPACK
Linux/Windows	XNNPACK、OpenVINO、CUDA(实验性)
嵌入式/MCU	ARM Ethos-U、NXP、Cadence DSP

切换硬件只需修改一行代码中的Partitioner：

# CPU后端
program = to_edge_transform_and_lower(exported, partitioner=[XnnpackPartitioner()])
# iOS后端
program = to_edge_transform_and_lower(exported, partitioner=[CoreMLPartitioner()])
# Android高通后端
program = to_edge_transform_and_lower(exported, partitioner=[QnnPartitioner()])

四、支持的模型：从图像分类到大模型

ExecuTorch支持的模型类型非常广泛：

• 大语言模型（LLM）：Llama 3.2/3.1/3、Qwen 3、Phi-4-mini、Liquid LFM2
• 多模态模型：Llava（视觉-语言）、Voxtral（音频-语言）、Gemma 3
• 视觉模型：MobileNetV2、DeepLabV3、YOLO26
• 语音模型：Whisper、Supertonic

导出LLM模型的命令非常简洁：

python -m executorch.extension.llm.export.export_llm --model llama3_2 --output llama.pte

或使用HuggingFace Optimum工具：

optimum-cli export executorch --model meta-llama/Llama-3.2-1B --task text-generation --recipe xnnpack --output_dir llama_model

五、生产落地：Meta的规模化验证

ExecuTorch不是实验室里的Demo，它已经在Meta旗下多个产品中规模化部署：

• Instagram：实时滤镜和图像增强
• WhatsApp：翻译和语音转文字
• Quest 3：手部追踪和空间感知
• Ray-Ban Meta智能眼镜：语音助手和视觉理解

这些部署的共同特点是：延迟敏感（需本地推理）、隐私敏感（数据不上云）、功耗敏感（需高效运行）。ExecuTorch在这些约束下日均处理数十亿次推理请求，是目前生产验证最充分的端侧AI框架之一。

六、开发者体验：从pip到手机，三步搞定

ExecuTorch的安装和使用非常直观：

# 安装Python包
pip install executorch

# Python端导出模型
from executorch.exir import to_edge_transform_and_lower
from executorch.backends.xnnpack.partition.xnnpack_partitioner import XnnpackPartitioner

model = MyModel().eval()
program = to_edge_transform_and_lower(
    torch.export.export(model, (torch.randn(1, 3, 224, 224),)),
    partitioner=[XnnpackPartitioner()]
).to_executorch()

with open("model.pte", "wb") as f:
    f.write(program.buffer)

iOS/Android开发则使用原生SDK：

// Swift (iOS)
import ExecuTorch
let module = Module(filePath: "model.pte")
let input = Tensor<Float>([1.0, 2.0, 3.0, 4.0], shape: [2, 2])
let outputs = try module.forward(input)

// Kotlin (Android)
val module = Module.load("model.pte")
val inputTensor = Tensor.fromBlob(floatArrayOf(1.0f, 2.0f), longArrayOf(2))
val outputs = module.forward(EValue.from(inputTensor))

七、争议与局限

ExecuTorch并非银弹，以下几点需要理性看待：

1. 部署复杂度依然较高：虽然比手写C++简单很多，但相比TF-Lite一键部署仍有门槛，需要理解buck2编译系统和各平台SDK配置
2. 大模型支持尚在快速演进：Llama等大模型的端侧量化方案（GPTQ/AWQ）尚在完善中，实际运行效果和精度损失需要仔细评估
3. License问题：Meta开源了ExecuTorch本身（BSD License），但将模型导出到特定硬件后端可能涉及芯片厂商的专有SDK许可

八、行业意义：端侧AI的产业化加速

随着ExecuTorch的成熟，端侧AI推理正在从"可行"走向"好用"。其核心价值在于：

• 隐私保护：数据无需离开设备，满足GDPR等合规要求
• 低延迟：本地推理延迟通常在10-50ms级别，显著优于云端
• 离线可用：无网络环境依然工作
• 降低云端成本：将推理负载从云端转移到端侧，节省服务器成本

PyTorch作为全球最流行的深度学习框架，推出ExecuTorch标志着端侧AI推理正式进入"主流框架原生支持"时代。随着移动芯片NPU性能的持续提升和量化技术的进步，可以预期未来1-2年内，端侧运行70B参数大模型将成为现实。

---

本报告基于pytorch/executorch仓库分析生成，数据截至2026年