dspy

当 Prompt 工程成为历史：DSPy 如何让 AI 系统可编程

想象一下这个场景：你花了三天时间精心调优一个 RAG 系统的 Prompt，结果换了个模型（从 GPT-4 切到 Claude），整个系统效果断崖式下跌，之前的心血几乎归零。这不是你的问题——这是 Prompt 工程 这种工作模式的根本缺陷：它太脆弱、太不可复用、太依赖手工试错。

DSPy 想彻底解决这个问题。它的核心思想一句话概括：用 Python 代码来编程语言模型，而不是用自然语言来提示它。这句话听起来有点绕，但它的意义不亚于从手写汇编到高级语言的飞跃——让 AI 应用开发真正变成一项工程化的、可复用的、可优化的技术活动。

背景：斯坦福 NLP 的十年积累与一个不务正业的 idea

DSPy 由斯坦福大学 NLP 实验室的 Omar Khattab 主导开发，2023 年 10 月正式发布论文，并在 GitHub 上迅速积累超过 3.6 万颗星，成为 AI 应用开发领域最受关注的框架之一。

它的诞生源于一个深刻的观察：few-shot learning 本质上是在手工做机器学习。当你为一个任务写示例时，你实际上在做特征工程；当你调整示例顺序时，你在调超参数。但这两件事，完全可以交给算法自动完成。

DSPy 最初借鉴了斯坦福 NLP 之前的 ColBERT 检索模型经验（Khattab 的博士论文工作），将 late interaction 思想引入 LLM 输出适配层，逐步演化成一个完整的声明式编程框架。

核心理念：给 AI 应用装上编译器

DSPy 的设计哲学可以类比为编译器架构：

• Signature（签名） 相当于函数的类型签名，定义了输入什么、输出什么，但用自然语言描述而非强类型。例如 Signature("question -> answer") 描述了一个输入问题、输出答案的任务。
• Module（模块） 相当于预制件，例如 ChainOfThought（思维链）、ReAct（推理+行动）、ProgramOfThought（程序思维），每个模块封装了一种 LLM 调用策略。
• Predictor（预测器） 负责执行模块，它会根据签名自动决定如何拼接 Prompt、如何解析输出。
• Teleprompter（自动优化器） 是最革命性的部分——给定一个评估指标，它会自动搜索最优的 Prompt 组合、示例选择和参数配置，不需要人工干预。

图1：DSPy 的模块化架构，开发者通过 Python 代码组合不同模块

整个流程是：开发者用 Python 定义任务签名 + 组合模块 -> DSPy 运行时编译成实际 Prompt -> Teleprompter 根据评估反馈自动优化。这就是 DSPy 中 S（Self-improving）的含义：系统会自己变强。

核心功能：三大模块层次

第一层：适配器（Adapters）

适配器决定了 DSPy 如何与不同格式的 LLM API 对话。随着模型生态多样化（OpenAI、Anthropic、Google、DeepSeek、Llama……），每个模型的输出格式各异。DSPy 的 dspy/adapters/ 目录包含：

适配器	适用场景
JSONAdapter	需要结构化 JSON 输出（如工具调用、代码生成）
ChatAdapter	标准对话 API（Chat Completions 格式）
XMLAdapter	模型用 XML 标签包裹输出（GPT-4 常用）
TwoStepAdapter	先推理再回答的两阶段模式
BAMLAdapter	配合 BAML schema 做类型安全生成

适配器通过 dspy/adapters/types/ 定义了 Audio、Document、Code、Tool、Image 等丰富的输出类型，DSPy 能原生处理多模态输入输出。

第二层：预测器模块（Predict / Teleprompt）

dspy/predict/ 包含 20+ 种预测器：

• 基础型：Predict——最简单，直接调用签名定义的任务
• 思维链型：ChainOfThought、ProgramOfThought、MultiChainComparison——让模型分步推理
• 行动型：ReAct、ReAct_v2、CodeAct——在推理过程中调用外部工具或代码执行
• 聚合型：Parallel（并行执行多个路径）、BestOfN（从 N 次生成中选最优）
• 重试型：Retry——自动重试失败的任务，并附带上一轮的反馈信息

dspy/teleprompt/ 则是优化算法的核心库：

• MIPROv2：Multi-Instruction Proposal Optimization，在贝叶斯优化框架下搜索最优 Prompt 组合
• GEPA（2025年7月）：Reflective Prompt Evolution，通过元反思机制进化 Prompt，性能对标 RL
• GRPO：Group Relative Policy Optimization，将强化学习思想引入 Prompt 优化
• Bootstrap / BootstrapFinetune：从少量示例中自动生成更多高质量训练数据
• COPRO / SignatureOpt：基于梯度/扰动的 Prompt 优化方法

第三层：检索器与数据集

dspy/retrievers/ 支持多种向量检索后端（Weaviate、Databricks），而 dspy/datasets/ 内置了 GSM8K（数学推理）、HotpotQA（多跳问答）等标准评测数据集，方便开箱即用地验证系统质量。

图2：DSPy 的自动 Prompt 优化流程

上手体验：5 分钟跑通第一个 RAG

安装只需一行命令：

pip install dspy

示例：构建一个简易 RAG 问答系统

import dspy

# 1. 定义任务签名
class RAGSignature(dspy.Signature):
    context = dspy.InputField(desc="包含相关事实的上下文段落")
    question = dspy.InputField()
    answer = dspy.OutputField()

# 2. 加载预训练语言模型
llm = dspy.LM('openai/gpt-4o-mini')
dspy.configure(lm=llm)

# 3. 加载检索器
colbertv2 = dspy.ColBERTv2(url='http://20.102.90.50:2017/wiki17_abstracts')
dspy.configure(rm=colbertv2)

# 4. 组合模块
class RAG(dspy.Module):
    def __init__(self):
        super().__init__()
        self.retrieve = dspy.Retrieve(k=3)
        self.generate_answer = dspy.ChainOfThought(RAGSignature)

    def forward(self, question):
        context = self.retrieve(question).passages
        return self.generate_answer(context=context, question=question)

# 5. 运行
rag = RAG()
response = rag("What is the capital of France?")
print(response.answer)

没有一行 Prompt！所有如何找到答案的知识都被编码在 ChainOfThought 模块里，由 DSPy 的签名系统统一管理。

性能与局限

真实效果如何？

根据论文和社区反馈，DSPy 在多个任务上显著优于手工调优的 Prompt：

• HotpotQA（多跳问答）：比人工 few-shot 提升约 15% 准确率
• GSM8K（数学推理）：自动优化的 ChainOfThought 配置超越人工设计的 CoT
• 工具调用任务：通过 JSONAdapter + Retry，工具调用成功率大幅提升

局限性

1. Python 依赖陷阱：pyproject.toml 要求 Python >= 3.10, < 3.15，较老的 Python 环境无法使用
2. 调试困难：编译后的 Prompt 对开发者是黑盒，出问题时排查难度较大
3. 模型兼容性问题：不同模型对同一种签名格式的响应质量差异巨大，需要为不同模型微调签名
4. 学习曲线：理解 Signature -> Module -> Teleprompter 三层抽象需要一定时间
5. 无法本地 Web 部署：纯库形式，没有开箱即用的 Web UI 或服务化接口

行业意义：Prompt 工程走向消亡的信号

DSPy 的出现代表了 AI 应用开发范式的一次重要转变：

从手工调参到自动优化：传统做法是写 Prompt -> 测效果 -> 改 Prompt -> 再测，这是一个人力密集型的线性过程。DSPy 把它变成了定义任务 -> 自动搜索最优配置 -> 交付，人力成本降低一个数量级。

从模型绑定到模型无关：由于 Prompt 是由编译器自动生成的，更换底层模型时只需要改一行配置，而不是重写所有 Prompt。这让应用具备了真正的模型可移植性。

研究热度持续攀升：2025 年 7 月最新论文 GEPA（Reflective Prompt Evolution）证明，DSPy 的优化方法已能在某些任务上超越强化学习（PPO）方法，同时实现成本更低。这条技术路线仍在快速演进。

截至 2026 年，DSPy 已发布 v3.2.1，Star 数突破 3.6 万，被广泛应用于 RAG 管道构建、Agent 系统开发、代码生成优化等多个领域。对于希望系统化构建 AI 应用的团队，DSPy 是目前最值得投入学习的框架之一。