AIPerf：NVIDIA 出品的 LLM 推理性能基准测试工具

图1：AIPerf 实时 TUI Dashboard，呈现 LLM 推理全链路性能指标

一、痛点切入：为什么需要 AIPerf？

部署了大语言模型推理服务后，你是否面临这样的困惑：

• 模型在 vLLM、Ollama、TGI 还是 SGLang 上跑得更好？
• 单卡、多卡、还是分布式集群，吞吐量和延迟的取舍边界在哪里？
• 如何量化 KV Cache 复用率、Prefill/Decode 配比、并发上限？ 传统的压测工具（如 wrk、hey）面向通用 HTTP 接口，无法理解 LLM 推理的特殊性——流式输出、Token 生成耗时、首 Token 延迟（TTFT）、Token 间延迟（ITL）等核心指标都需要专门建模。AIPerf 正是 NVIDIA 为解决这一需求而开源的专业工具。

二、项目起源与背景

AIPerf 由 NVIDIA Dynamo 团队 开发和维护（维护邮箱 sw-dl-dynamo@nvidia.com），项目源码中多处可见 Apache-2.0 版权声明。当前版本 0.8.0，发布于 PyPI，支持 Python 3.10+。 NVIDIA 此前已有 Dynamo 推理优化框架（专注于 KV Cache 管理、speculative decoding 等），AIPerf 作为其性能评测基础设施，用于量化不同推理方案的实际表现，形成「优化 → 评测 → 再优化」的正向循环。 项目仓库活跃度高，持续更新，特色分支 add-deepseek-v4 表明其对 DeepSeek 系列模型有专项适配，且直接依赖 HuggingFace transformers 的深度定制版本（git+https://...@add-deepseek-v4）。

三、核心功能与技术架构

3.1 九服务分布式架构

AIPerf 采用 9 个独立服务进程通过 ZMQ 消息总线通信 的分布式架构，分为三层：

• 控制平面：SystemController（总指挥）、Timing Manager（精确调度）、Dataset Manager（数据集管理）、Worker Manager（工作进程管理）
• 数据平面：Workers（实际发送 HTTP 请求）、Inference Server（被测服务）
• 分析平面：Record Processors（并行计算指标）、Records Manager（聚合导出）、GPU Telemetry Manager（GPU 监控） 这种设计实现了真正的水平扩展：增加 Worker 数量即可线性提升负载能力，各服务间无共享可变状态，天然支持分布式部署。

3.2 三大负载生成模式

AIPerf 支持三种基准测试模式，满足不同场景需求：

1. 并发模式（Concurrency）：固定并发请求数，测量系统在压力下的表现
2. 请求率模式（Request Rate）：控制每秒发送请求数，模拟稳定流量
3. 追踪回放模式（Trace Replay）：基于真实生产轨迹（如 Bailian、GPU BurstGPT 数据）重放流量，包括突发流量场景 此外还支持预热阶段（Warmup）、渐进式提升负载（Ramping）、多 URL 负载均衡、请求取消/超时测试等高级特性。

3.3 核心性能指标

AIPerf 输出丰富的时序指标：

• TTFT（Time to First Token）：首 Token 延迟，衡量 Prefill 阶段的效率
• ITL（Inter Token Latency）：Token 间延迟，衡量 Decode 阶段的吞吐
• Request Latency：端到端请求延迟
• Output Token Throughput：输出 Token 吞吐量
• Request Throughput：请求级吞吐量 输出格式支持 CSV、JSON、Parquet 导出，并可配合 Prometheus 指标采集做进一步可视化。

四、多模态与数据集支持

AIPerf 不只是一个 HTTP 压测工具，它还内置了多套权威数据集：

• ShareGPT：真实对话数据，用于通用对话场景测试
• AIMO / NuminaMath：数学推理评测（AIME、CoT、TIR 等子集）
• MMStar / MMVU：视觉语言模型评测基准
• VisionArena：来自 Chatbot Arena 的真实视觉对话
• LLaVA-OneVision：多模态指令跟随数据
• SPEED：速度评测数据集 同时支持自定义 JSONL、CSV 格式数据集，以及 MoonCake trace 格式，覆盖了从纯文本到多模态的主流评测场景。

五、上手体验

5.1 安装方式

pip install aiperf

一行命令即可安装，或通过 Docker 构建自定义镜像：

# 多阶段 Dockerfile，支持 wheel 构建和环境打包
docker build --target wheel-artifact --output type=local,dest=./dist .

5.2 基础用法

aiperf profile \
  --model "granite4:350m" \
  --streaming \
  --endpoint-type chat \
  --tokenizer ibm-granite/granite-4.0-micro \
  --url http://localhost:11434 \
  --concurrency 5 \
  --request-count 10

5.3 三种 UI 模式

• dashboard（默认）：Textual 实现的实时 TUI，彩色进度条 + 实时指标更新
• simple：轻量进度条，适合远程 SSH 场景
• none：完全无头，程序化调用

5.4 插件扩展系统

AIPerf 提供完整的插件机制，通过 YAML 注册扩展支持的端点、数据集、传输协议和指标类型，开源友好。

六、技术栈与代码质量

七、局限性与争议

1. 直接依赖 transformers 定制版：项目使用 git+https://github.com/huggingface/transformers.git@add-deepseek-v4 而非 PyPI 版本，依赖链较深，遇到兼容性问题时排查成本较高。
2. NVIDIA 生态绑定：项目对 NVIDIA GPU 监控（nvidia-ml-py）有强制依赖，虽然非 GPU 场景也能运行，但最佳体验仍在 NVIDIA 硬件上。
3. 复杂度较高：9 服务架构虽然扩展性强，但对于只是想简单测试 API 性能的普通用户，上手门槛不低。
4. 仅支持推理评测：AIPerf 专注于 inference 性能，不支持训练相关基准测试。

八、行业意义

AIPerf 的出现填补了 LLM 推理性能基准测试的开源工具空白。在此之前，业界主要依赖闭源工具或自行开发的简单脚本，缺乏标准化的评测框架。NVIDIA 将内部工具开源，既服务于自身的推理优化工作，也推动了整个 LLM 推理生态的标准化进程。 随着 vLLM、SGLang、TensorRT-LLM 等推理框架的竞争加剧，客观可复现的基准测试工具变得愈发重要——这正是 AIPerf 的核心价值所在。