Harbor：一键搭建本地大模型工作站

你有没有过这样的经历：想在本地跑一个大模型，搜了一晚上教程，发现要装 Ollama、配 Open WebUI、装 SearXNG 做搜索、还要自己写 docker-compose 把这些服务连起来——等你真正跑起来的时候，已经是第二天早上了。

Harbor 解决的就是这个问题。它是一个本地大模型（LLM）命令行工具，只需要一条命令，就能把整个 AI 技术栈（推理后端 + Web 界面 + 搜索服务 + 语音服务）一次性启动起来，所有服务之间自动配对好，不需要手动写任何配置文件。

---

一、背景：为什么需要 Harbor

本地运行大模型这几年越来越火，主要有几个原因：隐私不用担心数据外传、API 费用是零（不限制调用次数）、还可以用消费级显卡跑量化模型。但现实很骨感——本地部署一套可用的大模型环境，涉及 Docker 编排、服务互联、API 端点对接等多个环节，每一步都可能踩坑。

开发者 av 在搭建本地 AI 工作站的过程中，积累了大量 docker-compose 配置和服务互联的经验，最终把这些沉淀成 Harbor：一个用 Bash 脚本驱动的 CLI 工具，通过模块化的 compose 文件组合，让用户可以像搭积木一样组合服务。该项目在 GitHub 已有超过 3000 颗星，社区活跃度高，Discord 频道成员超过千人。

图1：Harbor App 主界面，可视化操作台

---

二、核心功能：一行命令启动完整 LLM 栈

Harbor 的设计哲学是零配置即可用。默认情况下，一条 harbor up 就会启动 Ollama（推理后端）和 Open WebUI（对话界面），两者自动互联，你打开浏览器就能对话。

如果需要更多功能，只需要加参数：

• harbor up searxng — 启动私有化搜索引擎，自动连接到 Open WebUI，做本地 Web RAG
• harbor up comfyui — 启动 ComfyUI 图像生成界面，配合 FLUX 模型
• harbor up speaches — 启动语音服务，支持语音输入和 TTS
• harbor up dify — 启动可视化工作流编排平台

所有这些服务都在同一个 Docker 网络中，Harbor 自动处理服务发现、环境变量注入和端口映射，用户不需要懂 Docker Compose 语法。

图2：Harbor App 支持的各类服务，覆盖前端、后端、工具链

---

三、支持的模型与后端

Harbor 目前支持 20+ 推理后端，覆盖主流开源推理引擎：

• Ollama：最流行，一键拉取 GGUF 模型
• llama.cpp：高效量化，省显存
• vLLM：PagedAttention，适合高吞吐
• SGLang：结构化输出优化
• lmdeploy：腾讯 TurboMind 引擎
• KTransformers：夸父量化支持
• MLX / oMLX：Apple Silicon 原生加速

支持的模型包括 Llama 3、Qwen、Mistral、Gemma、Phi 等主流开源模型，也支持通过 HuggingFace 下载自定义 GGUF 权重。

图3：Harbor 内置 Ollama 模型管理，支持一键拉取主流开源模型

---

四、配套前端与工具生态

Harbor 的前端生态同样丰富：

• Open WebUI：最推荐的对话界面，支持 RAG、语音、工具调用
• AnythingLLM：专注文档问答
• ComfyUI：AI 图像生成
• SillyTavern：角色扮演对话
• LibreChat / Lobe Chat / Chat Nio 等 17+ 个 UI

工具链方面，Harbor 支持 80+ 辅助服务（Satellites），包括：

• 搜索：SearXNG、Perplexica、Morphic
• 工作流：Dify、n8n、LangFlow、Flowise
• 编码助手：OpenCode、OpenClaw、Aider、gptme、OpenHands
• Agent 框架：Agent Zero、Hermes Agent、Browser Use
• RAG：Qdrant、Kotaemon、Khoj、RAGLite
• 监控：LangFuse、Netdata、Traefik

图4：Harbor 可一键部署 Agent 生态服务，支持 OpenCode、OpenClaw 等编码工具

---

五、Harbor Boost：AI 工作流脚本

Harbor 的 Boost 模块是一个轻量级的 AI 脚本框架，支持用 Bash 编写工作流。用户可以定义 prompt 模板、调用多个 LLM 协作、循环执行任务等，适合做自动化评测、数据处理和复杂推理场景。

Boost 支持 Markov 链生成、概率采样、推理增强（g1 策略）等高级功能，同时提供 Web UI 监控执行状态。

图5：Harbor Boost 脚本框架，支持多步骤 AI 工作流编排

---

六、部署体验与上手门槛

安装过程：Harbor 提供 install.sh 一键安装脚本，Linux/macOS 均可使用。安装后 CLI 在 $PATH 中，可直接调用 harbor 命令。

部署时间：默认 Ollama + Open WebUI 栈，首次拉取镜像约 3-5 分钟，后续启动约 30 秒。

硬件需求：

• CPU 推理：2 核 4GB RAM 可运行 Ollama 量化模型
• GPU 推理：建议 NVIDIA 显卡，vLLM / SGLang 等后端需要 CUDA
• 磁盘：基础栈约 5-10GB，含模型后取决于模型大小

必要前提：Docker + Docker Compose（核心依赖）。

CLI 界面：Harbor 同时提供 Tauri 构建的桌面 App（支持 macOS），有图形化界面方便不熟悉命令行的用户操作。

图6：Harbor 桌面客户端，提供图形化操作界面

---

七、行业意义与局限

Harbor 代表了本地 AI 部署工具的一个重要方向：从单点工具走向平台化编排。它不重复造轮子，而是把社区中分散的工具（Ollama、ComfyUI、SearXNG）用统一的方式串联起来，降低了本地 AI 实验的门槛。

优势：

• 一键启动，上手极简
• 130+ 服务的庞大生态
• 活跃的社区更新（v0.4.x 持续迭代）
• 支持编码工具链（OpenCode、Claude Code、Copilot 等自动接线）

局限：

• 核心依赖 Docker，不适合完全不想接触容器技术的用户
• 主要面向有技术背景的用户（开发者、AI 爱好者）
• 模型性能完全取决于用户硬件，Harbor 本身不优化推理速度
• harbor tunnel 暴露到互联网的功能有安全警告，需用户自行评估风险

图7：Harbor 服务架构示意，CLI 统一编排 Docker Compose 组合

---

总结

Harbor 是本地大模型部署领域的一款高完成度工具链。它解决了「配置地狱」的问题——用户不需要懂 Docker Compose、不需要记服务端口、不需要手动配 API 互通，只需要一个命令，整个 AI 工作站就起来了。对于想快速在本地实验大模型、构建 RAG 系统、尝试 AI 图像生成或搭建智能体工作流的开发者来说，Harbor 是一个值得一试的起点。