Qualcomm® AI Hub Apps：让 AI 模型在骁龙设备上跑起来

一瓶"AI 罐头"：把预编译模型装进手机

想象你是一名嵌入式开发工程师，手头有一批骁龙 8 Elite 手机，需要让它们跑起 Stable Diffusion 文生图、Whisper 语音转文字、手势识别等多个 AI 模型。传统的做法是：研究每个模型的量化方案、编写 NPU 驱动适配、反复调试推理延迟……

Qualcomm® AI Hub Apps 解决的就是这个痛点。它不是一个大模型，而是一套开箱即用的 AI 应用合集，由高通官方维护，每个 app 都预先适配了对应的 Snapdragon NPU/GPU 算力单元，开发者只需克隆、构建、部署，省去 80% 的底层适配工作。

出身名门：高通 AI Hub 生态的一环

本仓库由 Qualcomm Technologies, Inc. 官方维护（QAIHM Team），是 Qualcomm® AI Hub 平台的开源组件。AI Hub 提供模型库、SDK 下载和应用部署工具链，ai-hub-apps 则是面向开发者的真实可运行参考实现。

从许可证来看，项目采用 BSD-3-Clause，是完全宽松的开源许可证，可自由集成到商业项目中。仓库默认分支为 release，说明代码经过审核才会合并，版本管理规范。

架构解析：一个 Monorepo 装了 7 个世界

本仓库是一个典型的 Monorepo 结构，顶层包含 7 个子应用：

子应用	平台	运行时	核心模型	功能
chatapp_android	Android	Genie SDK	Llama v3.2-1B/3B	手机端 LLM 对话
image_classification_android	Android	TensorFlow Lite	MobileNet V2	图片分类（ImageNet top-3）
semantic_segmentation_android	Android	TensorFlow Lite	FFNet 系列	实时语义分割
super_resolution_android	Android	TensorFlow Lite	ESRGAN/Real-ESRGAN 等	图像超分辨率
mediapipe_hand_gesture_ubuntu_py	Ubuntu	TensorFlow Lite + MediaPipe	MediaPipe Hand	摄像头手势识别 + Web UI
stable_diffusion_windows_py	Windows	ONNX Runtime (QNN EP)	Stable Diffusion 1.5	文生图（NPU 加速）
whisper_windows_py	Windows	ONNX Runtime (QNN EP)	Whisper (tiny/base)	语音转文字（NPU 加速）

三层运行时抽象

高通在这里设计了一套三层运行时抽象，让同一套模型 API 可以跑在不同硬件上：

1. TensorFlow Lite — 经典移动端推理框架，Android app 主要使用。TFLite 模型预编译为 .tflite 文件，随 APK 的 assets/ 目录打包，推理时直接加载到 Hexagon NPU 执行。
2. ONNX Runtime + QNN EP — Windows app 使用。Whisper 和 Stable Diffusion 以 ONNX 格式分发，通过 Qualcomm NPU（QNN）Execution Provider 直接访问 Hexagon DSP，无需 GPU。
3. Genie SDK — 最上层封装，专为骁龙 AIE（AI Engine）设计。ChatApp 使用 Genie C++ API，Llama 模型通过 Genie 加载，支持 FP16/INT8 混合精度。

这套抽象的精妙之处在于：硬件无关的模型格式（TFLite/ONNX）加上硬件相关的执行提供者（QNN EP / Genie），实现了"一份模型，多处部署"的目标。

代码结构：从 Gradle 到 GStreamer 的全链路

Android App 通用结构

Android app 遵循统一目录规范：

src/main/
  AndroidManifest.xml       # 声明相机权限、USB 设备访问
  assets/
    classifier.tflite       # 预编译模型文件
    htp_config/             # Hexagon HTP 配置文件（指定芯片型号）
  java/com/quicinc/         # Java UI 层
  jni/                      # C++ JNI 层（模型推理调用）

_shared 模块被所有 Android app 共用，包含公共 Gradle 插件（统一版本管理）和 build.gradle 模板。每个 app 的 info.yaml 声明了使用的模型 ID、运行时类型、领域分类（Computer Vision / Generative AI / Audio），这些元数据会被 AI Hub 平台索引。

Ubuntu Python App 的 GStreamer + Web UI 架构

mediapipe_hand_gesture_ubuntu_py 是架构最有趣的 app。它的推理链路是：

摄像头 (GStreamer) → MediaPipe Hand Detection → TensorFlow Lite (LiteRT) 
→ 手势分类 → Flask Web UI (实时流推送)

GStreamer 负责低延迟视频捕获，MediaPipe 负责手部检测和关键点提取，TFLite 运行时在 Hexagon NPU 上执行量化后的手势分类模型，Flask WebUI 通过 multipart 实时流将结果推送到浏览器。整个 pipeline 在 Docker 容器内运行，通过 run_docker.sh 一键启动。

# main.py 中的核心推理循环
def detect_hands(rgb_frame, hand_interpreter):
    input_data = preprocess_hand_x64(rgb_frame)  # 64x64 预处理
    hand_interpreter.set_input(...)              # 设置量化输入
    hand_interpreter.invoke()                   # NPU 推理
    landmarks = hand_interpreter.get_output(...) # 解析关键点

Windows Python App 的 ONNX + QNN 架构

Windows app 使用 ONNX Runtime 的 Qualcomm NPU Provider。以 Whisper 为例：

demo.py / evaluate.py
  → onnxruntime.InferenceSession(model.onnx, providers=['QNNExecutionProvider'])
  → session.run(None, {"input_features": mel_features})

install_platform_deps.ps1 脚本自动化安装 Anaconda、ONNX Runtime（带 QNN 支持）、ffmpeg 等依赖。Stable Diffusion 还额外处理了 VAE 解码器的 NPU 映射问题——这是业界公认的难题，高通在这里给出了参考答案。

模型生态：从 HuggingFace 到 Hexagon NPU

项目中的模型来源分三类：

1. 高通官方模型库 — AI Hub Models 提供的 Llama v3.2-1B/3B、Whisper tiny/base、MediaPipe Hand Gesture 等。这些模型经过高通预处理（量化、编译），可直接在 Hexagon NPU 上运行。
2. 标准开源模型 — MobileNet V2（TensorFlow 官方）、ESRGAN/Real-ESRGAN（GitHub 公开权重）。通过 QAIRT SDK 导入。
3. 私有模型 — 部分模型（如 Llama-3.2-3B 特定量化版本）存储在高通 S3 私有桶 qai-hub-models/release-assets/ 中，需要通过 qai-hub-models CLI 下载。

量化策略：NPU 加速主要使用 INT8/INT16 对称量化，FP16 用于浮点精度优先的场景。量化后的模型体积约为 FP32 的 1/4，推理延迟降低 3-5 倍。

部署体验：硬件门槛是最大的"坑"

本项目的最大特点是硬件强依赖——它只能在高通芯片上运行，这是优势也是限制：

• 支持的芯片：Snapdragon X Elite、X2 Elite、8 Elite Gen 5、8 Elite、8 Gen 3、8 Gen 2 等
• 不支持的设备：Intel/AMD PC、联发科设备、大多数国产 ARM 芯片

部署难度中等，主要挑战在于：

1. 环境准备繁琐（Android 需 ADB + Gradle + JDK；Windows 需 Anaconda + QNN SDK）
2. 物理设备要求（无模拟器支持，NPU 推理必须在真实设备上测试）
3. S3 模型下载可能因网络问题失败

好消息是 Docker 支持大幅简化了 Ubuntu app 的部署——只要有 ARM64 Ubuntu + Docker，一行命令即可运行手势识别 demo。

局限与展望

1. 模型覆盖有限：目前仅支持官方模型库中的模型，添加新模型需要重新编译 NPU 算子。
2. Windows 支持较新：ONNX + QNN EP 在 Windows 上的稳定性和 Linux 仍有差距。
3. 调试工具不足：NPU 推理出错时缺乏有效的 profiling 工具，错误信息不够直观。
4. 生态封闭风险：Genie SDK 是高通专有 SDK，依赖程度高，迁移到其他平台成本大。

行业意义：端侧 AI 的"最佳实践"范本

高通 ai-hub-apps 的核心价值不在于某个具体 app 有多强，而在于它代表了一种端侧 AI 落地的新范式：

• 模型预量化 + 预编译：厂商预先完成 NPU 适配，用户零门槛使用
• 多运行时统一抽象：TFLite / ONNX / Genie 三层架构兼顾兼容性和性能
• 跨平台一致性：同一套模型 API 在 Android / Ubuntu / Windows 上的行为一致

从行业角度看，随着 Snapdragon X Elite 进入笔记本电脑市场，端侧 AI 应用将从手机扩展到 PC，ai-hub-apps 为这一趋势提供了可靠的技术参考。随着 AI Hub 模型库的持续扩充，开发者有望在更多场景下复用这套部署范式。

---

相关链接：Qualcomm® AI Hub · AI Hub Models · Qualcomm AI Engine Direct SDK