TEN Framework：让 AI Agent「会说话」的开源框架

想象一个场景： 你正在开发一款智能客服机器人，用户可以通过语音实时咨询问题，AI 不仅能理解你的问题，还能用自然流畅的语音回应——整个过程就像在和一位真人对话，延迟控制在毫秒级别。这不是科幻，而是 TEN Framework 正在实现的事情。

TEN Framework 是一个开源的实时多模态 AI Agent 开发框架，专注于语音、视频、文本的实时交互。目前在 GitHub 上已获得超过 10,600 颗 stars，证明了它在开发者社区中的影响力。该项目由 TEN Framework 团队主导维护，背后有 Agora（声网）这家实时通信领域上市公司的技术背书。

一、核心架构：从「插件」到「图」的设计哲学

TEN Framework 的设计理念用一个词概括：模块化。整个系统由两大核心概念构成——Extension（扩展） 和 Graph（图）。

Extension：积木式的功能单元

每一个 Extension 是一个独立的功能模块，遵循统一的生命周期：

on_init() → on_start() → [process messages] → on_stop() → on_deinit()

Extension 覆盖了 AI 对话链条中的各个环节：

类别	数量	代表扩展
ASR（语音识别）	10+	Deepgram、Azure、AWS、Google
TTS（语音合成）	15+	ElevenLabs、Deepgram、Cartesia
LLM（大语言模型）	8+	OpenAI、Gemini、Qwen、DeepSeek
Avatar（虚拟形象）	5+	HeyGen、Anam、Tavus
工具	8+	Bing搜索、视觉理解、MCP 客户端

每个 Extension 都包含四个标准化文件：addon.py（注册入口）、extension.py（主逻辑）、manifest.json（元数据）和 property.json（默认配置）。这种标准化设计让开发者可以像搭积木一样自由组合功能。

Graph：可视化编排 Agent 行为

Agent 的行为通过 Graph（图） 来定义，本质上是一个有向图结构，描述了各 Extension 之间的连接关系和数据流向。TEN 提供了一个名为 Graph Designer 的可视化工具（运行在 localhost:49483），开发者可以通过图形界面拖拽配置 Agent，而无需手写 JSON。

Graph 支持四种连接类型：

• cmd（命令）：传递命名命令，如 tool_register、flush
• data（数据）：传递命名数据消息，如 asr_result、text_data
• audio_frame（音频帧）：传递 PCM 音频流（16位，单声道，16/24/48 kHz）
• video_frame（视频帧）：传递原始视频帧

传输层：RTC-First 的低延迟设计

TEN 默认使用 Agora RTC 作为传输层，而非 WebSocket。两者差异显著：

维度	RTC（默认）	WebSocket
延迟	50-150ms（UDP）	较高（TCP）
编解码	Opus、VP8、VP9、AV1	仅原始 PCM
带宽适应	内置 FEC	需手动实现
适用场景	实时语音/视频	信令、配置

WebSocket 在 TEN 中并非被弃用，而是降级为信令传输和配置管理，媒体流走 RTC 通道。这种分层设计确保了最低的端到端延迟。

二、技术栈：多语言协同的分布式系统

TEN 是一个典型的分布式系统，涉及四种主要编程语言：

• Python：Extension 主开发语言，90+ 扩展大多数用 Python 实现
• Go：API Server（端口 8080），处理 HTTP 请求和 Worker 管理
• TypeScript/React：Playground Web UI（端口 3000），Next.js 15 + shadcn/ui
• C/C++：Core Runtime（core/ 目录），处理底层音视频编解码和 RTC

Server-Worker 模型是 TEN 的进程架构核心：

1. Go HTTP Server 监听 8080 端口，接收 /start 等 REST 请求
2. 每个用户会话对应一个独立的 Worker 进程（tman run start）
3. Worker 进程内加载 Graph 并运行 Extension 链
4. Worker 通过 Unix Socket 与 Server 通信

三、快速上手：从零到语音助手的完整流程

TEN 提供了 24+ 预置 Agent 示例，覆盖从基础语音助手到唇形同步、数字人等高级场景。以下是最基础的 voice-assistant 示例部署步骤：

前置要求：

• CPU >= 2 核，RAM >= 4 GB（无需 GPU）
• Docker + Docker Compose
• Node.js >= 18
• Go >= 1.21
• API Keys：Agora（App ID + Certificate）、OpenAI、Deepgram、ElevenLabs

部署流程（约 15-30 分钟）：

1. git clone 后 cd ai_agents，复制 .env.example → .env
2. 在 .env 中填入各 API Key
3. docker compose up -d 启动开发容器
4. docker exec -it ten_agent_dev bash 进入容器
5. cd agents/examples/voice-assistant && task install && task run
6. 访问 localhost:49483（Graph Designer）和 localhost:3000（Web UI）

Dockerfile 采用了多阶段构建：第一阶段基于 ghcr.io/ten-framework/ten_agent_build:0.7.14 编译 TypeScript/Go 代码，第二阶段基于 ubuntu:22.04 精简镜像，运行编译产物和 Python 运行时。

四、争议与局限

没有任何框架是完美的，TEN 也不例外：

1. API Key 依赖过重：完整功能需要同时拥有 Agora、OpenAI、Deepgram、ElevenLabs 四家服务的账号和额度，入门门槛不低
2. 文档深度不足：尽管有 L0/L1/L2 分层文档体系，但部分 Extension 的使用细节仍需阅读源码
3. 国内生态薄弱：文档有多语言支持（英/中/日/韩/西/法/意），但中文社区活跃度有待提升
4. RTC 绑定风险：默认强依赖 Agora RTC，如果对 RTC 供应商有顾虑，需要额外开发 WebSocket 适配层

五、行业意义与趋势

TEN Framework 代表着 AI Agent 从「文本交互」向「实时语音/视频交互」演进的技术浪潮。随着 GPT-4o、Claude 3.5 等多模态模型的成熟，市场对低延迟语音交互的需求急剧增长。TEN 通过 Graph-Based 的可视化编排 + Extension 的插件化生态，提供了一条工程化落地路径。

GitHub 10,600+ stars、24+ 示例应用、90+ 扩展插件——这些数字说明 TEN 已经在开发者社区中占据了一席之地。如果你正在构建需要实时语音/视频能力的 AI 应用，TEN Framework 值得深入研究。