Lilium AI：让 AI 像人类一样操控你的电脑

图：Lilium AI 的 Web 管理界面，用户可直接在浏览器中与 AI 智能体对话

---

故事：从"对话"到"行动"的跨越

清晨，你匆忙赶地铁，突然想起今天要检查 GitHub 上有没有新 Issue，整理发给同事——但你腾不出手。这种"想要 AI 帮我做事而不是仅仅回答问题"的渴望，正是 Lilium AI 诞生的初衷。

Lilium AI 是一个开源的个人 AI Agent 框架，核心目标只有一个：让大语言模型真正接管你的电脑。它不是聊天机器人，而是你的数字替身——自动浏览网页、操作文件、执行 Shell 命令、在各个平台上收发消息。GitHub 数据显示该项目已有 95 颗星、11 个 Fork、MIT 许可证，主分支持续活跃更新。

背景：为什么我们需要"操控型"AI Agent？

当前的 AI 助手（ChatGPT、Claude 等）本质上是"回答者"——你问，它答。但对于"帮我查这个商品在京东和天猫的价格并告诉我哪个便宜"这类需要多步骤操作的任务，传统的对话式 AI 显得力不从心。

Lilium AI 填补了这一空白。它的设计哲学是：AI = 大脑 + 四肢。LLM 负责思考和决策，而框架负责执行——打开浏览器、点击链接、读写文件、调用 API。两者结合，AI 就能像人类一样完成端到端的任务链。

核心架构：模块化的"乐高式"设计

从源码结构来看，Lilium AI 采用高度模块化的 Node.js/TypeScript 架构：

• src/agent/：Agent 大脑核心，包含 loop.ts（主循环）、memory.ts（记忆管理）、skills.ts（技能调度）、tools/（工具集：浏览器、Shell、文件、数据库等）
• src/providers/：LLM 提供商适配层，目前支持 OpenAI（GPT-3.5/4 系列）、Ollama（本地模型，如 Qwen、Llama）和 Failover 容灾机制
• src/channels/：渠道管理层，集成 10+ 种通信渠道：Web（Express 服务器）、Telegram、Discord、WhatsApp、飞书、钉钉、微信（via Wechaty）、邮件、Slack、QQ 等
• src/db/：数据持久化，支持 SQLite（会话记忆）和 LanceDB（RAG 知识库）
• src/bus/：消息总线，实现渠道与 Agent 之间的异步解耦通信
• plugins/：轻量插件目录，放入 JS 文件即可扩展新技能，无需修改核心代码
• python/：内置 runner.py 和 validator.py，支持 Python 脚本集成

关键技术栈一览

类别	技术选型
语言框架	TypeScript + Node.js v18+
Web 服务	Express v5 + pino 日志
LLM	OpenAI API / Ollama（本地）
浏览器自动化	Playwright（Puppeteer 风格）
向量数据库	LanceDB（本地 RAG）
关系数据库	SQLite（better-sqlite3）
通信渠道	discord.js / Telegram Bot API / Wechaty / 飞书 SDK / 钉钉 Stream SDK
语音转录	Whisper（本地 via Xenova/Transformers）
构建打包	pkg（跨平台可执行文件）

核心功能详解

1. 浏览器自动化——AI 替你"上网"

Lilium AI 内置 Playwright 浏览器驱动，Agent 收到指令后会自动启动无头浏览器，完成导航、搜索、点击、表单填写、数据抓取等操作。典型场景：

"帮我登录 GitHub，查看 beidald/liliumai 仓库的最新 Release，提取更新日志发到我的飞书。"

2. 多渠道接入——用你习惯的方式与 AI 对话

项目独特之处在于对全渠道的支持。无论你习惯用微信、飞书、钉钉、Telegram 还是 Discord，甚至是邮件，Lilium AI 都能接入。这对于需要"随时随地唤醒 AI"的场景非常有价值。

3. 本地优先——隐私有保障

相比调用商业 API 的方案，Lilium AI 支持 Ollama 本地模型，聊天记录、文件、账号信息全部存储在本地设备上。配合 Whisper 本地语音转录，用户数据不会离开自己的服务器。

4. 记忆与知识库——让 AI 越用越聪明

• 短期记忆：SQLite 存储对话上下文，支持压缩（compressContext）以节省 token
• 长期记忆：LanceDB 向量数据库 + RAG，按需检索历史经验
• 任务队列：内置异步任务系统（TaskPoller），支持派生子智能体（SubAgent）并行处理

5. 定时任务与 Cron——让 AI 主动出击

通过 cron-parser 和 node-cron，Lilium AI 可以设定"每天早上 9 点自动执行"的工作流。例如："每天 9 点检查我的邮件，把重要邮件摘要发到微信。"

上手体验：部署难度低，但配置项多

部署步骤（10~20分钟）

git clone https://github.com/beidald/liliumai.git
cd liliumai
pnpm install
cp config.example.json config.json
# 编辑 config.json 填入 API Key 和渠道 Token
pnpm start

然后访问 http://localhost:3000 即可使用 Web UI。

配置复杂度

config.json 是整个系统的核心，配置项较多，涵盖：LLM 提供商（支持多模型 failover）、多渠道 Token、Shell 执行权限、浏览器路径、日志级别、Token 窗口大小等。首次配置需要仔细阅读文档，但 README_CN 提供了中文引导。

注意：微信渠道依赖 Wechaty 和 Puppet 协议，存在封号风险，项目文档建议使用"小号"测试。

硬件需求

非常友好——无需 GPU，普通电脑（2GB+ RAM、500MB+ 磁盘）即可运行。主要是 Node.js 运行时。

局限与争议

1. 微信/WhatsApp 封号风险：通过非官方协议（Wechaty Puppet）连接微信，项目免责声明中明确指出可能违反平台服务条款，用户需自行承担风险。
2. 无容器化支持：缺少 Dockerfile 和 docker-compose，对于习惯容器部署的用户不够友好，不符合"一键部署"的现代化标准。
3. no test 指定：package.json 中 test 脚本仅输出错误信息，无实际测试用例，代码质量依赖人工 Review。
4. 中文社区资源有限：目前主要文档和社区贡献以英文为主，中文用户可能需要更多时间摸索。
5. 商业级安全风险：Agent 具有系统级 Shell 执行权限，若配置不当（restrictToWorkspace: false），存在被恶意指令利用的风险。

行业意义：个人 AI Agent 的轻量化标杆

Lilium AI 代表了 AI Agent 从"通用大模型 API"向"本地化、可编程个人助手"演进的趋势。它证明了：

• 端侧 AI 可行：通过 Ollama + Whisper，AI 完全可以在个人设备上运行，不依赖云端
• 全渠道是刚需：用户希望在自己常用的 IM 工具中唤醒 AI，而不是额外安装 App
• 插件生态是关键：通过 plugins/ 目录降低技能扩展门槛，有助于社区共建

技术建议

对于想参与贡献的开发者：

• 建议优先补充 Jest/Vitest 测试用例，提升代码质量可维护性
• 建议增加 Dockerfile，支持 Docker 一键部署
• Web UI（public/ + Express）的代码质量较高，可作为前端独立项目拆分，降低维护复杂度