Lilium AI：让 AI 像人类一样操控你的电脑

Lilium AI Web 界面

图：Lilium AI 的 Web 管理界面，用户可直接在浏览器中与 AI 智能体对话

故事：从"对话"到"行动"的跨越

清晨，你匆忙赶地铁，突然想起今天要检查 GitHub 上有没有新 Issue，整理发给同事——但你腾不出手。这种"想要 AI 帮我做事而不是仅仅回答问题"的渴望，正是 Lilium AI 诞生的初衷。

Lilium AI 是一个开源的个人 AI Agent 框架，核心目标只有一个：让大语言模型真正接管你的电脑。它不是聊天机器人，而是你的数字替身——自动浏览网页、操作文件、执行 Shell 命令、在各个平台上收发消息。GitHub 数据显示该项目已有 95 颗星、11 个 Fork、MIT 许可证，主分支持续活跃更新。

背景：为什么我们需要"操控型"AI Agent？

当前的 AI 助手（ChatGPT、Claude 等）本质上是"回答者"——你问，它答。但对于"帮我查这个商品在京东和天猫的价格并告诉我哪个便宜"这类需要多步骤操作的任务，传统的对话式 AI 显得力不从心。

Lilium AI 填补了这一空白。它的设计哲学是：AI = 大脑 + 四肢。LLM 负责思考和决策，而框架负责执行——打开浏览器、点击链接、读写文件、调用 API。两者结合，AI 就能像人类一样完成端到端的任务链。

核心架构：模块化的"乐高式"设计

从源码结构来看，Lilium AI 采用高度模块化的 Node.js/TypeScript 架构：

src/agent/：Agent 大脑核心，包含 loop.ts（主循环）、memory.ts（记忆管理）、skills.ts（技能调度）、tools/（工具集：浏览器、Shell、文件、数据库等）
src/providers/：LLM 提供商适配层，目前支持 OpenAI（GPT-3.5/4 系列）、Ollama（本地模型，如 Qwen、Llama）和 Failover 容灾机制
src/channels/：渠道管理层，集成 10+ 种通信渠道：Web（Express 服务器）、Telegram、Discord、WhatsApp、飞书、钉钉、微信（via Wechaty）、邮件、Slack、QQ 等
src/db/：数据持久化，支持 SQLite（会话记忆）和 LanceDB（RAG 知识库）
src/bus/：消息总线，实现渠道与 Agent 之间的异步解耦通信
plugins/：轻量插件目录，放入 JS 文件即可扩展新技能，无需修改核心代码
python/：内置 runner.py 和 validator.py，支持 Python 脚本集成

关键技术栈一览

类别	技术选型
语言框架	TypeScript + Node.js v18+
Web 服务	Express v5 + pino 日志
LLM	OpenAI API / Ollama（本地）
浏览器自动化	Playwright（Puppeteer 风格）
向量数据库	LanceDB（本地 RAG）
关系数据库	SQLite（better-sqlite3）
通信渠道	discord.js / Telegram Bot API / Wechaty / 飞书 SDK / 钉钉 Stream SDK
语音转录	Whisper（本地 via Xenova/Transformers）
构建打包	pkg（跨平台可执行文件）

核心功能详解

1. 浏览器自动化——AI 替你"上网"

Lilium AI 内置 Playwright 浏览器驱动，Agent 收到指令后会自动启动无头浏览器，完成导航、搜索、点击、表单填写、数据抓取等操作。典型场景：

"帮我登录 GitHub，查看 beidald/liliumai 仓库的最新 Release，提取更新日志发到我的飞书。"

2. 多渠道接入——用你习惯的方式与 AI 对话

项目独特之处在于对全渠道的支持。无论你习惯用微信、飞书、钉钉、Telegram 还是 Discord，甚至是邮件，Lilium AI 都能接入。这对于需要"随时随地唤醒 AI"的场景非常有价值。

3. 本地优先——隐私有保障

相比调用商业 API 的方案，Lilium AI 支持 Ollama 本地模型，聊天记录、文件、账号信息全部存储在本地设备上。配合 Whisper 本地语音转录，用户数据不会离开自己的服务器。

4. 记忆与知识库——让 AI 越用越聪明

短期记忆：SQLite 存储对话上下文，支持压缩（compressContext）以节省 token
长期记忆：LanceDB 向量数据库 + RAG，按需检索历史经验
任务队列：内置异步任务系统（TaskPoller），支持派生子智能体（SubAgent）并行处理

5. 定时任务与 Cron——让 AI 主动出击

通过 cron-parser 和 node-cron，Lilium AI 可以设定"每天早上 9 点自动执行"的工作流。例如："每天 9 点检查我的邮件，把重要邮件摘要发到微信。"

上手体验：部署难度低，但配置项多

部署步骤（10~20分钟）

git clone https://github.com/beidald/liliumai.git
cd liliumai
pnpm install
cp config.example.json config.json
# 编辑 config.json 填入 API Key 和渠道 Token
pnpm start

然后访问 http://localhost:3000 即可使用 Web UI。

配置复杂度

config.json 是整个系统的核心，配置项较多，涵盖：LLM 提供商（支持多模型 failover）、多渠道 Token、Shell 执行权限、浏览器路径、日志级别、Token 窗口大小等。首次配置需要仔细阅读文档，但 README_CN 提供了中文引导。

注意：微信渠道依赖 Wechaty 和 Puppet 协议，存在封号风险，项目文档建议使用"小号"测试。

硬件需求

非常友好——无需 GPU，普通电脑（2GB+ RAM、500MB+ 磁盘）即可运行。主要是 Node.js 运行时。

局限与争议

微信/WhatsApp 封号风险：通过非官方协议（Wechaty Puppet）连接微信，项目免责声明中明确指出可能违反平台服务条款，用户需自行承担风险。
无容器化支持：缺少 Dockerfile 和 docker-compose，对于习惯容器部署的用户不够友好，不符合"一键部署"的现代化标准。
no test 指定：package.json 中 test 脚本仅输出错误信息，无实际测试用例，代码质量依赖人工 Review。
中文社区资源有限：目前主要文档和社区贡献以英文为主，中文用户可能需要更多时间摸索。
商业级安全风险：Agent 具有系统级 Shell 执行权限，若配置不当（restrictToWorkspace: false），存在被恶意指令利用的风险。

行业意义：个人 AI Agent 的轻量化标杆

Lilium AI 代表了 AI Agent 从"通用大模型 API"向"本地化、可编程个人助手"演进的趋势。它证明了：

端侧 AI 可行：通过 Ollama + Whisper，AI 完全可以在个人设备上运行，不依赖云端
全渠道是刚需：用户希望在自己常用的 IM 工具中唤醒 AI，而不是额外安装 App
插件生态是关键：通过 plugins/ 目录降低技能扩展门槛，有助于社区共建

技术建议

对于想参与贡献的开发者：

建议优先补充 Jest/Vitest 测试用例，提升代码质量可维护性
建议增加 Dockerfile，支持 Docker 一键部署
Web UI（public/ + Express）的代码质量较高，可作为前端独立项目拆分，降低维护复杂度