lmnr
YC S24 孵化,AI Agent 可观测性平台,一行代码接入 Tracing + Evals + 监控
加载项目详情…
本应用为开源项目,仅供学习研究,请遵守其开源协议。
YC S24 孵化,AI Agent 可观测性平台,一行代码接入 Tracing + Evals + 监控
加载项目详情…
本应用为开源项目,仅供学习研究,请遵守其开源协议。
你刚部署了一个 AI 客服 Agent,API 返回正常,但客户却不断投诉"答非所问"。日志里只有零散文本,你根本不知道 Agent 内部调用了哪几步推理、每次 LLM 调用的 token 消耗是多少、哪一步出了问题。
这就是 AI Agent 调试的核心困境:Agent 的行为黑箱化——不像传统 API 可以打 log、看 trace,Agent 的内部决策过程对开发者完全不透明。
Laminar 正是为了解决这个痛点而诞生的。它是 YC S24 孵化的开源项目,专为 AI Agent 打造可观测性平台,让开发者能够真正"看见"Agent 在想什么、做什么、消耗了多少资源。
图1:Laminar 项目 Banner
Laminar 由 Y Combinator S24 批次孵化,定位是 AI Agent 的 Datadog。与传统 APM 工具不同,Laminar 的核心数据模型围绕 span(跨度) 构建,而非 HTTP 请求或数据库查询。这一设计选择直接来自 Agent 的实际执行模式:一次用户请求会触发多轮 LLM 调用、工具调用和条件分支,每个子步骤都是一个 span。
项目的 GitHub 仓库创建于 2024 年 8 月,不到两年时间已积累近 3000 stars,GitHub Topics 覆盖 agent-observability、llm-observability、evals、evaluation 等多个相关领域,反映出 AI 可观测性这个细分赛道的热度正在快速上升。
Laminar 提供完整的功能矩阵,覆盖 AI 应用的开发全生命周期:
Tracing(链路追踪) 是 Laminar 的核心。通过 OpenTelemetry 原生 SDK,仅需一行代码即可自动接入 Vercel AI SDK、Browser Use、Stagehand、LangChain、OpenAI、Anthropic、Gemini 等主流框架。追踪数据通过 gRPC 高效导出,支持实时查看和全量回溯。
Evals(评估) 模块提供了非侵入式的 LLM 评估框架。开发者可以用自然语言定义评估标准,在本地或 CI/CD 流水线中运行评估任务,并通过 Web UI 可视化对比不同版本的评估结果。这对于需要持续迭代 Agent 质量的团队尤为重要。
AI Monitoring(信号监控) 允许用自然语言描述业务事件(如"用户要求退款"),系统自动追踪这些事件的出现频率和上下文,帮助发现 Agent 的逻辑漏洞和异常行为模式。
SQL Access 内置 SQL 编辑器,支持对所有追踪数据、指标和事件进行自由查询,查询结果可直接批量导出为评估数据集。DBA 和数据分析师也能直接介入 Agent 质量分析。
Dashboards 提供可视化仪表盘构建能力,支持自定义 SQL 查询,将 Agent 的关键指标以图表形式实时展示。
图2:Laminar 追踪界面截图
Laminar 的技术选型体现了明确的性能导向:
app-server(Rust) 是整个平台的核心服务。使用 Actix-web 作为 HTTP 框架,集成了 OpenTelemetry 追踪采集、ClickHouse 时序存储、PostgreSQL 关系数据、Redis 缓存池(deadpool 连接池),以及 S3 兼容对象存储。Rust 的高性能保证了即使在高并发追踪数据场景下也能保持低延迟。项目使用 edition = "2024" 表明积极跟进最新 Rust 特性。
query-engine(Python ≥ 3.13) 负责复杂 SQL 查询能力。基于 SQLGlot(带 Rust 解析引擎)实现跨数据源 SQL 方言转换,通过 gRPC 与 app-server 通信。Python 3.13 的激进版本要求说明团队追求最新语言特性带来的性能收益。
frontend(Next.js 15 + TypeScript) 采用 Turbopack 构建加速开发体验,UI 组件库为 shadcn/ui + Tailwind CSS,代码编辑器使用 CodeMirror 6,图表库为 V2 版本。值得关注的是,前端集成了几乎所有主流 AI SDK(@ai-sdk/* 系列),说明其 UI 本身也在探索如何展示 AI 相关内容。
Laminar 的部署设计非常友好。官方提供多个 docker-compose 配置文件:docker-compose.yml(轻量版,含 postgres + clickhouse + query-engine + frontend)和 docker-compose-full.yml(完整版,额外包含 RabbitMQ 等组件)。
部署步骤极简:git clone && docker compose up -d,访问 http://localhost:5667 即可进入 Web UI。部署难度被评为"简单",硬件需求仅需 4GB RAM + 10GB 磁盘,无需 GPU,适合大多数开发环境。
Laminar 作为一个新兴项目,仍存在一些值得关注的局限。首先,它对 OpenTelemetry 协议的强依赖意味着非标准追踪格式(如纯文本输出)无法直接接入。其次,ClickHouse 作为主要存储引擎在超大规模数据量下表现优秀,但也带来了额外的运维复杂度。最后,评估模块(Evals)的质量高度依赖自然语言描述的精确性,同一评估目标不同描述方式可能产生差异巨大的结果,这需要团队积累评估 Prompt 的最佳实践。
Laminar 的出现折射出一个更大的行业趋势:随着 Agent 应用走向生产环境,"AI Native"的可观测性需求正在爆发。传统 APM 工具(Datadog、New Relic)虽然功能强大,但数据模型设计围绕传统微服务,缺乏对 LLM 调用、Token 消耗、Agent 决策分支等概念的内置支持。Laminar 正是填补这一空白的早期选手之一。
结合 Evals 和 Monitoring 功能,Laminar 实际上在构建一套 Agent 质量保障闭环:追踪发现性能问题 → SQL 查询定位根因 → Evals 评估修复效果 → Dashboard 监控长期趋势。这套闭环对于需要将 Agent 投入生产的企业级用户极具吸引力。