freellmapi
tashfeenahmed/freellmapi加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
微信扫码咨询客服
POMOAI — 让开源 AI 即刻运行
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
凌晨两点，独立开发者李明在调试一个新项目。Claude Code 每小时都在烧 token，而他的 OpenAI 账户余额早已见底。付费？不划算。关掉？项目还要继续。他打开 FreeLLMAPI 的本地 Dashboard，把 Groq 的 Gemini-2.0-flash 拖到 Fallback Chain 顶端，顺手加上了 Google AI 和 Mistral 两张备牌——三路冗余，429 算力耗尽自动切换，全免费。Claude Code 继续跑，李明的信用卡安静地躺在抽屉里。
这个场景正在全球数十万开发者的机器上重复上演。FreeLLMAPI 正是为这种"白嫖式生产力"而生的。
FreeLLMAPI 的作者是 Tashfeen Ahmed，来自孟加拉国的独立开发者。项目起步于 2024 年，初衷非常简单：把所有能薅到的免费大模型 API 羊毛汇总到一个 OpenAI 兼容的本地代理后面——一个统一入口，三十四套 API 密钥，用一个 freellmapi-... 的 Bearer Token 打天下。
截至 2026 年，FreeLLMAPI 聚合了 34 家免费大模型提供商、474 个模型系列、635 个免费端点，每月可用推理量约 74 亿 Token。这个数字背后，是 Google、Groq、Cerebras、Mistral、HuggingFace 等平台免费层的叠加——对个人开发者来说，这相当于拥有了一张无限额度的算力信用卡。
项目采用 MIT 许可证，目前 GitHub Stars 超过 19,800，仓库未被归档，持续活跃维护。
图 1：FreeLLMAPI 主界面，Models 页面展示每月 Token 预算消耗情况
FreeLLMAPI 内部有一个路由器（Router），维护着每家提供商、每个模型的实时评分：速度（TTFT）、能力（Capability）、可用性（Reliability）三个维度。每当你发起一个请求，路由器根据这些分数选择最优模型；当模型返回 429（限流）或 5xx（服务端错误）时，自动切换到备选链的下一个，直到请求成功。
路由策略支持六种模式：从"速度优先"到"能力优先"，从"均衡模式"到"自定义链"，可以在 Dashboard 随时调整，也可以在请求中通过 auto:<profile> 参数指定。
FreeLLMAPI 暴露的是标准的 OpenAI 兼容端点：
/v1/chat/completions — 最常见的对话接口/v1/responses — Codex CLI 需要的 Responses API/v1/completions — 编辑器自动补全/v1/images/generations — 图像生成/v1/audio/speech、/v1/audio/transcriptions — 语音合成与转录/v1/embeddings — 向量嵌入/v1/models — 模型列表还支持 Anthropic Messages API /v1/messages，意味着 Claude Code 和官方 Anthropic SDK 也能直连这套免费算力池。此外还有原生的 Gemini /v1beta 接口，以及可选的 Ollama 模拟层（服务于 Zed、JetBrains AI 等本地模型客户端）。
请求虚拟模型 fusion，路由器会并行向多个不同的免费模型发送同一 prompt，各模型返回草稿答案后，由一个裁判模型综合整理成最终回复。这个思路类似于"集体智慧"——多个模型互补弱点，提升回答质量上限。
你往 FreeLLMAPI 里塞进了 34 家平台的 API Key，但对外只暴露一个 freellmapi-... Bearer Token。所有 Provider Key 在 SQLite 数据库中以 AES-256-GCM 加密存储，仅在内存中按需解密，进程外完全不可读。
路由器每 12 小时从 freellmapi.co 拉取一次签名模型目录，自动同步新上线模型、额度变更、兼容性修复，无需手动更新。免费安装每 30 天同步一次（社区模型目录），付费版（$19/年）则与线上目录完全同步。
图 2：FreeLLMAPI 功能全景，支持对话、图像、视频、语音、嵌入等多种模型类型
Docker 方式（推荐，一行搞定）：
curl -fsSL https://freellmapi.co/install.sh | bash
脚本会自动在 ~/freellmapi 创建配置目录、生成加密密钥、拉取 Docker 镜像并启动容器。重启机器后容器自动恢复（restart: unless-stopped）。访问 http://localhost:3001 即可打开 Dashboard。
本地开发（Node.js）：
git clone https://github.com/tashfeenahmed/freellmapi.git
cd freellmapi
cp .env.example .env
npm install
npm run dev
需要 Node.js ≥ 20.18.0（项目使用 .nvmrc 指定），推荐使用 nvm 管理版本。Monorepo 包含 4 个 workspace：shared（共享类型/工具）、server（核心路由引擎）、client（React Dashboard）、cli（命令行工具）。
Desktop 桌面应用：
从 Releases 下载 macOS .dmg 或 Windows .exe 安装包，应用以菜单栏/系统托盘常驻进程，带有悬浮气泡展示实时请求统计。
FreeLLMAPI 是一个全 TypeScript 项目，主体架构：
| 模块 | 技术选型 | 职责 |
|---|---|---|
| 核心路由 | TypeScript + Node.js | 请求分发、模型评分、限流追踪 |
| 持久化 | SQLite + better-sqlite3 | 加密存储 API Key、请求日志、模型目录 |
| 前端 UI | React | Dashboard 管理界面，60 语言国际化 |
| 桌面端 | 原生应用 | macOS/Windows 桌面客户端 |
| 容器化 | Docker multi-stage build | 体积优化，仅运行时依赖 |
| 部署架构 | SQLite 单文件 + Docker | 任意 Node.js 环境均可运行 |
数据库架构围绕"每 Provider × 每模型 × 每 Key"的用量追踪设计（RPM/RPD/TPM/TPD），路由器据此确保任何请求都不超出免费层上限。响应缓存支持可选开启，减少重复请求的 token 消耗。
依赖管理使用 npm workspaces，Monorepo 根目录统一管理 Lock 文件，CI 由 GitHub Actions 驱动。
门槛低的方面：
npx freellmapi setup-claude 等）门槛存在的方面：
各家平台的免费层都有 RPM 和 TPM 上限。当大量用户同时使用同一个模型时，免费层的可用性会显著下降。FreeLLMAPI 的路由策略虽然能自动切换，但切换本身有延迟，高频场景下用户体验不稳定。
作者在 README 中明确说明："Personal experimentation only"。对于企业级应用，缺少 SLA、监控告警、水平扩展等生产特性。如果你的应用对响应时间有严格要求，免费层路由不是答案。
API 请求数据会经过 FreeLLMAPI 本地服务器再转发到各家 Provider。虽然数据不经过第三方云服务，但请求内容会出现在 Provider 的日志中。涉及敏感商业数据或隐私信息的场景，需要自行评估。
"薅免费层"的做法在开发者社区有争议。免费层本来就是平台吸引开发者的获客手段，FreeLLMAPI 聚合了数十个平台的免费额度，可能加速平台调整免费层政策。作者本人也承认这一点，在 README 中提供了关闭和反思的链接。
FreeLLMAPI 的出现，是个人开发者对抗 AI 成本焦虑的一个缩影。
当 OpenAI 的 GPT-4 每 1000 Token 收费数美分、Claude Code 每小时消耗数美元时，全球数百万独立开发者和学生根本无法承受 AI 辅助编程的代价。FreeLLMAPI 代表的思路是：把免费层的碎片化算力聚沙成塔，用路由层的智能调度换取接近付费体验的效果。
从增长曲线看，GitHub Stars 从 2025 年的数千增长到 2026 年的近两万，年增长率超过 300%，且仍在持续上升。Desktop 客户端和移动端（Android Termux）的推出，降低了非技术用户的上手门槛，有望进一步扩大用户基数。
FreeLLMAPI 是一个解决"真实痛点"的项目：它不是学术研究，不是基础设施竞赛，而是无数开发者"想用 AI 但付不起钱"这一朴素需求的产物。
如果你是一个 AI 爱好者，想在预算有限的情况下体验 Claude Code、Gemini CLI 等工具；或者是一个 AI 开发者，需要在多个模型之间快速切换进行调试——FreeLLMAPI 值得一试。
但请记住：免费层不是银弹，它适合实验和探索，不适合生产级、高可靠性的业务场景。了解边界，才能用好工具。