DeepGEMM-Ascend：华为昇腾上的极致矩阵乘法性能

背景：矩阵乘法为什么如此重要

在 AI 训练与推理中，矩阵乘法（GEMM）是吞噬算力的绝对主力——Transformer 中的注意力机制、MoE（混合专家）结构中的门控计算，几乎每一层都离不开大规模矩阵运算。一个 LLM 推理引擎的吞吐量上限，往往由其底层 GEMM 实现决定。

DeepGEMM-Ascend 是 DeepSeek 将其明星项目 DeepGEMM（专为 NVIDIA H800 设计的高性能矩阵乘法库）移植到华为昇腾（Ascend）平台的版本，于 2026 年 9 月 30 日正式开源。它并非简单的代码翻译，而是充分利用昇腾 NPU 的硬件特性，在 Ascend 950 系列上实现了高达 99.8% 的硬件算力利用率。

核心设计：轻量 JIT 架构

DeepGEMM-Ascend 的设计哲学极为克制：仅用约 300 行核心代码，通过 Just-In-Time（JIT）编译技术动态生成针对特定矩阵形状的 kernel，替代传统手工优化的静态 kernel 库。

这样做的好处是：当面对推理场景中大量中小尺寸矩阵（Batch=128、Sequence Length 变化）时，JIT 编译器能根据运行时输入的 M/N/K 参数生成最优 tile 策略，而不是受限于预设的几种固定 shape。这意味着同一个库能同时高效服务于不同规模的模型——从 7B 的 decode 到 671B 的 prefill，无需为每种尺寸单独优化。

精度支持：FP4/FP8/FP8×FP4 全覆盖

DeepGEMM-Ascend 支持多种数值精度，这是其最突出的技术亮点：

其中 FP8×FP4 的支持尤为关键——DeepSeek-V3/R1 等模型已大量采用 FP8 量化部署，FP4 作为权重格式可在保持精度的同时将显存占用减半，而两者的混合运算需要精确的 scaling factor 处理，DeepGEMM-Ascend 对昇腾平台的 scaling factor 打包格式做了针对性优化。

场景覆盖：从单 Kernel 到 MegaMoE 全链路

DeepGEMM-Ascend 不仅仅是一个「Dense GEMM 加速器」，它覆盖了 DeepSeek 全系列模型的关键算子：

1. M-Grouped GEMM（MoE 专家计算） DeepSeek MoE 架构中，每个 Token 被路由到多个 Expert（专家），Grouped GEMM 将多个专家的矩阵运算打包为一次计算。DeepGEMM-Ascend 在 8 组专家、8192 Token 的配置下达 856 TFLOPS。

2. MQA Logits（注意力评分） MQA（Multi-Query Attention）是 Lightning Indexer 的核心。Decode 场景下（256 Query / 8192 Key），FP4 量化版仅需 124μs，FP8 版 151μs，即完成全部注意力评分计算。

3. MegaMoE（全链路融合） 这是 DeepGEMM-Ascend 最复杂的融合算子，将 Expert Parallelism 的 dispatch、两个 Grouped GEMM、SwiGLU 激活和 combine 操作融合为单一 kernel。在 EP8（8卡并行）、Top-K=6、384专家、16384 Token 的极限配置下，仍能实现 846 TFLOPS，通信带宽仅 103 GB/s，效率极高。

4. HC Prenorm GEMM（混合连接归一化） 针对 DeepSeek mHC（Manifold-Constrained Hyper-Connections）模块设计，在极窄矩阵形状（M=8192, N=24, K=28672）下达 82 TFLOPS、近 3.5 TB/s HBM 写带宽。

依赖与门槛：谁适合用

DeepGEMM-Ascend 是一个面向企业的底层算子库，使用门槛较高：

必备依赖：

• Huawei Ascend NPU（Ascend 950 系列已验证）
• CANN 9.20 工具包（含 bisheng 编译器）
• torch_npu（PyTorch 昇腾后端）
• tilelang（用于 HC prenorm kernel）
• C++20 编译器 + Python 3.10+

安装方式：

git clone --recursive https://github.com/deepseek-ai/DeepGEMM-Ascend.git
cd DeepGEMM-Ascend
./develop.sh   # 链接头文件 + 编译 C++ 扩展
pip install . --no-build-isolation

不具备的能力：

• ❌ 无 Dockerfile，无法容器化快速部署
• ❌ 无 Web UI，不适合交互式使用
• ❌ 无法在 CPU/NVIDIA GPU 上运行

与 DeepSeek 生态的协同

DeepGEMM-Ascend 与 DeepSeek 近期密集发布的昇腾移植项目形成协同生态：

• FlashAttention-Ascend：注意力机制 CUDA → CANN 移植（FlashInfer 项目昇腾版）
• Triton-Ascend：Triton 编译器昇腾后端
• DeepSeek-V3/R1 昇腾支持：在 DeepSeek-V4 发布时，华为 CANN 已实现 Day 0 支持

这一系列动作的背景是：随着国产算力的普及，中国 AI 开发者对昇腾优化算子的需求急剧增长，DeepSeek 开源这些库大幅降低了在昇腾上复现 SOTA 模型的门槛。

局限性

1. 硬件锁定：仅支持 Ascend NPU，无法跨平台
2. 工具链复杂：需要安装 CANN 工具包，与 PyTorch 环境兼容配置有一定门槛
3. 非开箱即用：需要理解 GEMM 原理和昇腾内存模型才能有效调优
4. 社区资源少：2026年9月才发布，目前仅有官方测试用例，缺乏第三方踩坑记录

行业意义

DeepGEMM-Ascend 的出现标志着昇腾生态在高性能计算库层面的一次重大补全。过去在昇腾上实现接近硬件极限的算子，往往依赖华为官方提供的黑盒优化库，开发者在调优时缺乏透明度和灵活性。DeepGEMM-Ascend 以开源、透明、可读的方式，展示了昇腾平台极致性能优化的可行路径。

对于 AI 基础设施团队而言，它是评估昇腾替代 CUDA 可行性的重要参考；对于昇腾生态开发者而言，它是学习 JIT GEMM 优化和昇腾硬件特性的最佳实践。