coai
企业级统一LLM网关,200+模型一键接入,内置计费与多租户管理
加载项目详情…
本应用为开源项目,仅供学习研究,请遵守其开源协议。
企业级统一LLM网关,200+模型一键接入,内置计费与多租户管理
加载项目详情…
本应用为开源项目,仅供学习研究,请遵守其开源协议。
想象这样一个场景:一家中型科技公司想为客户提供基于 AI 的 SaaS 服务,技术团队需要在一天之内上线一个支持 GPT-4、Claude、Gemini 等十余种大模型的聊天平台,同时还要对接支付系统、管理多租户账户、控制 API 调用成本。在 CoAI.Dev 出现之前,这可能需要集成七八个不同的 API、分别对接各平台的计费体系,花上一周甚至更长时间才能勉强跑通。而 CoAI.Dev 正是为解决这一痛点而生的——它把原本分散的 AI 能力、计费系统、渠道管理打包成一个开箱即用的商业级平台,让开发者把精力放在产品本身,而不是基础设施的重复造轮子上。
CoAI.Dev(GitHub 仓库 coaidev/coai)由开发者 chatnio 主导构建,定位为面向企业的多租户 AI 一站式商业解决方案。它将自己描述为「Next Web + One API」的合体——前者提供了美观的多端适配 Web UI,后者提供了统一的模型接入能力。项目目前斩获超过 9100 颗 GitHub Stars,位列多个趋势榜单前列。Apache-2.0 许可允许自由商用和二次开发,这对有意基于此构建自有品牌 AI 产品的团队而言极具吸引力。
与市面上的单一功能中转工具不同,CoAI.Dev 的野心明显更大:它不仅仅是一个 API 代理,更是一个完整的商业化平台,内置了用户管理、订阅管理、礼品码/兑换码、多维度计费、渠道健康监控等通常只有商业 SaaS 才具备的功能。开源版与商业版的组合设计也很有意思——开源版提供了完整的前后台功能和大部分核心能力,商业版则在 UI 定制、TTS/STT、RAG 知识库、插件市场、多支付渠道等方面做了进一步企业级增强。
CoAI.Dev 的底层是一个精心设计的统一 LLM 网关,当前支持 200 多个模型,来自超过 35 家服务商。覆盖范围之广在同类开源项目中极为罕见:OpenAI GPT 系列(含 Vision、Function Calling)、Anthropic Claude 系列、Google Gemini/PaLM2、Midjourney(支持 U/V/R 操作)、国产大模型(智谱 ChatGLM、通义千问、腾讯混元、百川、DeepSeek、Moonshot 等)、Groq Cloud、OpenRouter,以及支持 LocalAI/Ollama 的本地模型。每一个模型都通过标准化 OpenAI Chat Completions API 格式暴露,调用方无需关心底层差异。
这种广泛的模型覆盖对于需要灵活切换模型的开发者极具实用价值。不同模型在不同任务上各有优劣,成本也不尽相同——DeepSeek 价格低廉但中文能力强,GPT-4o 综合体验好但成本高,Claude 3.5 在长文本理解上表现突出。CoAI.Dev 让这些切换变成配置层面的修改,而不是代码层面的重写。
对于有规模运营需求的用户,CoAI.Dev 提供了一套完整的渠道(Channel)管理算法,这是其区别于简单中转工具的核心技术能力之一。每个模型可以配置多个上游渠道,每个渠道可以设置优先级(决定调用顺序)和权重(决定同一优先级下的均衡分配概率)。系统支持用户分组、失败自动重试、模型重定向、内置上游隐藏等企业级功能。这意味着即使某个渠道服务异常,系统也可以自动降级到备用渠道,对终端用户透明。
CoAI.Dev 内置了两套完整的计费体系:订阅制(包月/包年套餐)和弹性计费(按实际用量)。弹性计费支持次数计费、Token 计费、不计费等多种模式,还可以设置最小请求点数防止恶意刷接口。对于面向 C 端用户的产品来说,这套计费体系几乎可以直接复用,不需要额外开发支付和对账逻辑。礼品码和兑换码系统则进一步丰富了营销工具箱。
一个容易被忽视但极具价值的功能是模型缓存。当开启缓存后,系统会对相同请求参数(Hash)做缓存命中判断——如果之前已有相同请求,直接返回缓存结果且不计费。这对于调试场景、重复查询、教育类固定问答等场景,可以显著降低 API 调用成本。用户可以精细控制哪些模型需要缓存、缓存时间窗口、每个 Hash 返回几个不同缓存结果等参数。
CoAI.Dev 开箱即用地支持文件解析能力,覆盖 PDF、DOCX、PPTX、Excel、图片等多种格式,OCR 识别也内置集成。联网搜索基于 SearXNG 开源引擎,支持 Google、Bing、DuckDuckGo、Wikipedia、ArXiv 等多个搜索引擎,可配置安全搜索模式和内容截断。这两项功能意味着 AI 助手不仅仅是聊天,还能处理文档和获取实时信息。
从代码结构来看,CoAI.Dev 采用了经典的前后端分离架构。
后端使用 Go 语言编写,以 Gin 作为 HTTP 框架,配合 MySQL(关系数据持久化)和 Redis(缓存/会话)构成数据层。go.mod 显示项目依赖了超过 60 个 GitHub 第三方库,涵盖 WebSocket 通信(gorilla/websocket)、JWT 鉴权、文档解析(go-docx)、图片处理(webp)、MySQL/Redis 客户端等。值得注意的是,项目引入了 claude-api 这一第三方库来处理 Claude 系列的 API 兼容层,说明开发者在模型适配上做了相当的工作。
前端使用 TypeScript + React 构建,UI 遵循 Shadcn UI 和 Tremor Charts 设计规范,提供 PC/Pad/Mobile 三端适配和亮色/暗色多主题切换。国际化支持多语言界面,这对于面向全球用户的产品至关重要。
代码组织上,目录结构清晰:channel/ 处理渠道逻辑,adapter/ 处理模型适配,connection/ 处理与上游的连接管理,manager/ 处理业务逻辑,middleware/ 处理认证和限流,admin/ 是后台管理模块,auth/ 是身份验证模块。这种模块化设计使得各功能之间耦合度较低,便于维护和扩展。
数据库迁移模块(migration/)和配置示例(config.example.yaml)的完整配置,也体现了项目的工程成熟度。配置文件包含了 MySQL、Redis、邮件服务、搜索服务等完整的连接参数,默认管理账号为 root / chatnio123456。
CoAI.Dev 在部署上的设计非常友好,提供了三种难度递减的部署路径:
Zeabur 一键部署是最省心的方式。Zeabur 平台提供一定免费额度,只需点击按钮、绑定域名,几分钟内平台自动完成环境配置。这适合不想碰服务器、希望快速验证产品的团队。
宝塔面板一键部署适合有服务器但希望图形化管理的技术人员。宝塔面板的 Docker 管理界面可以直接搜索安装 CoAI,整个过程无需敲命令。
docker-compose 手动部署适合有 Docker 经验的用户。项目提供了两套 compose 文件:开发版使用 MySQL/Redis latest,适合快速迭代;稳定版(docker-compose.stable.yaml)固定 MySQL 5.7.44 + Redis 8.2.1,适合生产环境。Dockerfile 使用 golang:1.20-alpine 多阶段构建,最终镜像体积优化良好。
部署后约需 10 分钟完成初始化(主要是 MySQL 数据库初始化),无需 GPU 资源,普通 2 核 2GB 服务器即可流畅运行。
优势方面,CoAI.Dev 最大的亮点是一站式——它真正做到了一套系统解决从模型接入到商业变现的全部需求,不需要东拼西凑。模型覆盖广度和渠道管理粒度在开源同类中几乎没有对手。UI 体验优秀,Shadcn UI 的设计语言符合现代审美。多租户架构天然适合 B 端和 C 端混合场景。Apache-2.0 许可对商业使用友好。
局限方面,开源版在某些高级功能上仍有缺失,比如缺乏 TTS/STT、缺乏 RAG 知识库、没有插件市场。对于完全不想自己运维的团队,仍然需要投入服务器资源和一定技术能力进行部署和运维(尽管已大幅降低门槛)。由于对接的是各平台官方 API,上游服务商的可用性和定价策略仍然是不受 CoAI.Dev 控制的风险因素。
CoAI.Dev 的出现,折射出 AI 应用层的一个明确趋势:AI 能力的商品化基础设施正在快速成熟。一年前,要搭建一个支持多模型的商业 AI 平台,可能需要数周时间整合各种工具;现在,一个熟练的开发者借助 CoAI.Dev 可以在半天内完成这件事。这种基础设施的民主化,将加速 AI 应用层的创新——更多小团队可以低门槛地推出 AI 产品,探索垂直场景的商业化路径。
从增长曲线看,项目 Star 数持续攀升,Issues 活跃度高(34 个 open issues),社区参与积极。这些信号表明项目处于健康活跃状态,未来的功能迭代和维护有较好保障。