prompt-engineering
brexhq/prompt-engineering加载项目详情…
本应用为开源项目,仅供学习研究,请遵守其开源协议。
加载项目详情…
本应用为开源项目,仅供学习研究,请遵守其开源协议。
Brex 公司标志
想象这样一个场景:你是一名财务分析师,面对 GPT-4,需要让它帮你从一份混乱的交易流水里提取所有消费分类。直接丢给它一段文字,它会答非所问;但如果你用特定的格式——比如 Markdown 表格——告诉它「第一列是日期,第二列是金额,第三列是商户名」,它立刻变得精准可靠。这就是提示工程(Prompt Engineering)的魔力:不是训练模型,而是优化提问方式,让 AI 从「随机发挥」变成「稳定输出」。
Brex 是一家专注企业金融的金融科技公司,其产品线大量依赖 AI 来处理发票分类、风险检测、客服问答等任务。2023 年,随着 GPT-4 的发布,Brex 团队决定将 LLM 能力引入整个产品矩阵——但挑战随之而来:如何让 600 多名员工快速掌握在生产环境中使用 LLM 的方法?
在 Brex 内部黑客马拉松「Brexathon」期间,团队将内部积累的提示工程经验整理成了一份系统化指南。2023 年 5 月,Brex 首席工程师 Steve Krenzel 在 LinkedIn 宣布将这份指南开源,立即在技术社区引发热议,登顶 Hacker News 头版,并被 OpenAI 官方 Cookbook 收录为推荐资源。截至目前,该项目已获得超过 9500 颗星、513 个 Fork,成为提示工程领域最具影响力的开源文档之一。
指南首先澄清了一个常见误解:LLM(大语言模型)的本质是一个概率预测引擎——它不是在「理解」你的问题,而是在预测「最可能跟随这个输入的下一个词序列」。这种机制决定了 LLM 的能力上限和固有局限。
Brex 特别指出 GPT-3 到 GPT-4 的关键差异:GPT-4 在复杂推理、多步指令遵循、代码解释等方面实现了质的飞跃。在指南中,Brex 用一个经典的「绘制像素艺术网格」例子对比了两个模型——GPT-3-Davinci 输出混乱且不规则,GPT-4 则能精准生成完整的 3×3 像素网格。
GPT-3-Davinci 输出的像素艺术,形状混乱不规则
GPT-4 输出的像素艺术,精确还原 3×3 网格
这一对比直观揭示了为什么提示工程在 GPT-4 时代变得更加重要:模型能力越强,对输入格式的敏感度越高,一个好的提示可以让模型性能翻倍。
指南将提示工程的核心策略分为两大类,类比为中国古话:授人以鱼(给模型直接答案)和授人以渔(教模型如何推理)。
将用户的自然语言查询转换为精确的数据库检索条件。例如,用户说「找出去年在餐饮上花了超过 5000 元的客户」,LLM 可以被引导输出结构化查询语句,而非直接给出一个模糊的语义回答。Brex 在其财务助手场景中大量使用这一策略,确保 AI 输出可直接被下游系统消费。
结合推理与行动,让模型在每一轮推理后调用外部工具(API、数据库、搜索引擎),再基于工具返回的结果继续推理。这解决了 LLM 知识截止日期和「幻觉」问题——当模型不确定时,它会被引导去「查资料」,而非凭空编造。
这是指南最具实践价值的章节之一。Brex 总结了四种将外部数据喂给 LLM 的方式:
| 方式 | 适用场景 | 示例 |
|---|---|---|
| 简单列表 | 数据量小、字段固定 | 国家级城市列表 |
| Markdown 表格 | 中等规模、结构清晰 | 产品 SKU 表格 |
| JSON | 复杂嵌套结构 | API 响应体 |
| 自由文本 | 非结构化长文本 | 长篇文章摘要 |
Brex 特别强调:数据格式的选择直接影响模型输出的稳定性。在财务场景中,用 Markdown 表格比自由文本的提取准确率高出 40% 以上。
指南详细介绍了 Chain of Thought(思维链)技术:不在提示中直接给出答案,而是引导模型「先想再答」。具体方法包括:
Chain of Thought 引导模型分步推理,降低幻觉率
作为企业级文档,指南用了相当篇幅讨论 LLM 的安全风险:
提示工程领域发展迅速,各类教程多如牛毛,但质量参差不齐。Brex 这份指南的独特价值在于:
对于 AI 爱好者和开发者而言,这是一份从入门到进阶的完整路线图——爱好者可以理解 LLM 的工作原理和提示工程的思维方式,开发者则可以直接将指南中的策略应用到自己的产品中,从语义搜索到 ReAct 代理,每一项技术都有具体的实现思路。