helicone
开源 LLM 可观测性平台，一行代码接入，监控成本、延迟与 Prompt 效果
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
微信扫码咨询客服
POMOAI — 让开源 AI 即刻运行
开源 LLM 可观测性平台，一行代码接入，监控成本、延迟与 Prompt 效果
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
图1：Helicone — LLM 可观测性与 AI 网关平台
想象一下这个场景：你的团队用 GPT-4 构建了一个客服机器人，调用量节节攀升，但每月账单突然翻了三倍。你打开后台，只能看到一个模糊的数字——「本月消耗 Token：12,847,293」。问题出在哪里？是某个 Prompt 回答得太啰嗦？是模型版本不对？还是某个用户触发了昂贵的 32K 上下文？
你完全看不见。
这正是 Helicone 试图解决的核心痛点。Helicone 是一个开源的 LLM 可观测性平台（LLM Observability Platform），它诞生于 2023 年 Y Combinator 冬季批次，目标是让 AI 应用开发者能够像使用 New Relic 或 Datadog 一样，清晰地看到自己的 LLM 调用到底发生了什么。只需一行代码的改动，你的所有 LLM 请求——无论来自 OpenAI、Anthropic、Gemini 还是本地 Ollama——都会被自动记录、追踪和分析。
Helicone 由创始团队在 2023 年初构建，彼时正值大语言模型应用的第一波浪潮。开发者们蜂拥而至调用 OpenAI API，但很快发现现有的监控工具根本无法理解 LLM 请求的特殊性：Token 计费、模型版本、流式响应、Prompt 版本管理……这些都是传统 APM 工具从未面对过的概念。
团队拿到了 Y Combinator W23 的入场券（这是 YC 中少见的纯 AI 基础设施项目），随后快速迭代，将 Helicone 打造成了集 可观测性（Observability）、AI 网关（AI Gateway） 和 路由（LLM Routing） 三大能力于一体的综合平台。截至 2025 年，该项目在 GitHub 上已获得超过 5700 颗星，积累了数千个自托管部署实例，是开源 LLM 可观测性领域的标杆项目之一。
Helicone 的核心是日志代理（Proxy）机制。你只需要将 API 的 baseURL 从 api.openai.com 指向 ai-gateway.helicone.ai，在请求头中加入 Helicone 的 API Key——就像给快递包裹贴上追踪标签一样，Helicone 会自动记录下每一次请求的所有元数据：
这种"贴标签"的方式最大程度降低接入成本。开发者不需要修改业务逻辑代码，只需改动一行 baseURL 配置。Helicone 支持 OpenAI SDK（TypeScript/Python）、LangChain、LlamaIndex、Vercel AI SDK、Semantic Kernel 等主流框架的零配置接入。
图2：Helicone 平台追踪界面，展示请求日志与 Session 链路
Helicone 的第二层能力是 AI Gateway（AI 网关）。通过统一的 OpenAI 兼容接口，开发者可以使用同一个 API Key 访问超过 100 个 AI 模型和推理提供商：OpenAI 全系列、Anthropic Claude 系列、Google Gemini、AWS Bedrock、Azure OpenAI、本地 Ollama、TogetherAI、Groq、Fireworks AI……
更重要的是，AI Gateway 提供了智能路由能力：当某个模型响应过慢或不可用时，Gateway 可以自动 fallback 到备选模型；当某个模型的性价比更高时，可以配置路由策略优先使用低价模型。这相当于给你的 AI 调用装上了一个智能调度层——你不再需要为每个提供商单独维护 API Key。
Helicone 还提供了 Prompt 版本管理功能，允许开发者基于生产流量数据进行 Prompt 的版本对比和质量评估。结合 OpenPipe 或 Autonomi 等微调合作伙伴，可以直接将生产数据转化为微调数据集，完成从"观测"到"优化"的闭环。
Helicone 并非一个轻量级的代理工具，而是一个功能完备的全栈应用。其核心架构由以下六个服务组成：
| 服务 | 技术栈 | 职责 |
|---|---|---|
| Web | NextJS (TypeScript) | 前端界面：日志查看、Prompt 管理、数据分析 |
| Jawn | Express + Tsoa (TypeScript) | 核心日志收集 API 服务器 |
| Worker | Cloudflare Workers | 请求代理与日志转发 |
| Supabase | PostgreSQL | 应用数据库、用户认证 |
| ClickHouse | ClickHouse | 分析型数据库，高效聚合 LLM 调用日志 |
| MinIO | MinIO (S3 兼容) | 对象存储，保存原始请求/响应数据 |
这是一个典型的大型系统架构，涉及OLTP（Supabase）和OLAP（ClickHouse）数据库的协同，以及 S3 兼容的对象存储。如果要本地自托管，你需要同时运行至少 5 个容器（PostgreSQL、ClickHouse、MinIO、Web、Jawn），并通过 docker-compose 进行编排。
代码组织上，Helicone 采用 monorepo 结构，使用 Yarn Workspace 管理多个子包：
web/ — NextJS 前端bifrost/ — 代理网关worker/ — Cloudflare Workers 代码valhalla/jawn/ — Express API 服务packages/* — 共享工具包（定价、过滤、LLM 映射等）sdk/ — TypeScript + Python SDKe2e/ — 端到端测试主语言为 TypeScript，Python 主要用于 SDK 和部分数据处理脚本。代码质量较高：有 ESLint、Prettier、lint-staged（Git hooks）等工程化配置，模块边界清晰，packages 下的共享代码有明确的职责划分。
Helicone 提供了完整的自托管方案，核心依赖是一个精心设计的 docker-compose.yml 和一个 helicone-compose.sh 启动脚本。理论上克隆仓库、配置 .env、运行 ./helicone-compose.sh helicone up 即可完成部署。
然而，实际上自托管并不轻松：
web/.env.better-auth，还有本地邮件服务（Mailpit on :8025）用于验证Helicone 还提供了 Helm Chart 面向 Kubernetes 生产级部署，但这需要联系官方获取。官方明确表示"不推荐手动部署"，足以说明其复杂度。
对于 AI 应用开发者而言，Helicone 的使用门槛非常友好——只需在 SDK 中改一行 URL。但对于希望自托管的团队，运维门槛陡然上升：你需要理解 PostgreSQL、ClickHouse、MinIO 的配置与维护，需要处理容器编排和网络配置。
因此，Helicone 更适合两类用户：
对于个人开发者或小型项目，Helicone 的完整自托管可能过于重量级，可以优先考虑简化版的日志方案（如直接接入 LangSmith 或 Phoenix）。
没有完美的工具，Helicone 也不例外：
Helicone 的出现反映了一个更大的趋势：随着 LLM 应用从"实验项目"走向"生产系统"，开发者对可观测性的需求急剧增长。传统的 APM 工具无法理解 Token 计费和 Prompt 链路，而 Helicone 正是填补这个空白的专业化工具。
从 GitHub Stars 增长曲线看，Helicone 在 2024 年经历了快速爆发期，这与 Agent 应用井喷的时间节点高度吻合——当 Agent 开始执行多步骤任务、多个 Tool 调用串联执行时，开发者对"整个执行链路长什么样"的可见性需求变得前所未有地强烈。
作为开源项目，Helicone 证明了 AI 基础设施并非只有大厂才能做——一个 YC 孵化的精干团队，完全可以构建出被数千企业采用的专业工具。这也给整个行业传递了一个信号：LLM 应用的可观测性和中间件层，是一个真实存在且快速增长的市场机会。
图3：Helicone 开源贡献者社区