maxun

Maxun：把整个互联网变成你的结构化数据库

你可能有过这样的经历：每天要打开同一个网站，把当天的数据复制到 Excel 里，手动整理、分析。一两次还好，日复一日呢？这不仅是枯燥的重复劳动，更是一种对时间的慢性消耗。

Maxun 正是为解决这类痛点而生。它是一个开源的无代码网页数据平台，能够将任意网站转化为结构化、可编程的 API 接口——你不需要写一行代码，只需要告诉它你想抓什么，它就会帮你自动化完成。

故事：从"手工活"到"自动化流水线"

Maxun 的诞生源于创始人每日面对的爬虫噩梦。在公司内部，数据团队经常需要从各类网站提取结构化数据：竞品价格、社交媒体评论、招聘职位信息……每次网站改版，现有的爬虫脚本就会失效，数据团队就得重新花时间修复，苦不堪言。

"为什么要花 80% 的时间维护爬虫，只有 20% 的时间真正用数据？"这个灵魂拷问推动了 Maxun 的诞生。项目于 2023 年底开源，迅速在 GitHub 上获得了超过 16,000 颗星，成为网页数据采集领域最受关注的开源项目之一。

核心能力：四种机器人，覆盖所有采集场景

Maxun 将数据采集封装为四种类型的"机器人"（Robot），每种对应不同的使用场景：

1. Extract（提取）—— 最智能的结构化数据采集

Extract 是 Maxun 的核心能力，提供两种工作模式：

• Recorder 模式：像录屏一样，你在浏览器里浏览网页、点击、选择数据，Maxun 自动记录你的操作轨迹，并将其转化为可重复执行的提取流程。比如，你想提取 Airbnb 上 10 套房源的名称、价格、评分，只需在浏览器里示范一遍，Maxun 就能自动处理剩余页面。这种"所见即所得"的体验大幅降低了使用门槛。
• AI 模式（LLM Extraction）：用自然语言描述你想提取的数据结构，Maxun 通过大语言模型理解语义，自动识别页面中的相关信息。例如输入"提取 IMDb 前 50 部评分最高的电影名称、评分和时长"，Maxun 会自动识别并返回结构化数据，无需任何规则配置。

2. Scrape（抓取）—— 快速获取网页内容

Scrape 专注于将整个网页转换为干净的 Markdown、HTML 格式，并支持截图。这是 AI 工作流的理想选择：开发者可以让 AI Agent 直接读取 Maxun 抓取的 Markdown 内容，进行摘要、问答或进一步处理，而无需处理原始 HTML 的复杂性。

3. Crawl（爬取）—— 全站级数据采集

Crawl 支持整站爬取，自动发现页面链接并控制爬取范围（可以限制爬取深度、最大页数等）。数据团队在需要对某行业网站进行批量采集时非常有用：比如监控某电商平台上所有某品类商品的价格和评论。

4. Search（搜索）—— 主动发现数据来源

Search 功能让 Maxun 主动搜索网络，找到与特定查询相关的所有页面，并自动抓取内容。这对于舆情监控、市场研究等场景非常实用。

技术架构：前端 React，后端 Node.js + Playwright

从代码结构来看，Maxun 采用了典型的前后端分离架构：

• 前端：TypeScript + React + Vite 构建，单页应用，通过 Socket.IO 与后端实时通信
• 后端：Node.js (Express) + TypeScript，使用 Sequelize ORM 操作 PostgreSQL，存储 MinIO（兼容 S3 协议的对象存储）管理文件
• 浏览器自动化：核心基于 Playwright（playwright-core 1.57.0），同时集成了 @cliqz/adblocker-playwright（反反爬）和 idcac-playwright（更高级的反检测），配合 fingerprint-generator/fingerprint-injector 实现浏览器指纹随机化，显著提升隐蔽性
• AI 集成：支持 Anthropic Claude (@anthropic-ai/sdk 0.71.2)，也支持 Ollama 本地模型，通过 Model Context Protocol (MCP) 实现 LLM 驱动的提取
• 数据处理：集成了 tesseract.js（OCR）、PaddleOCR（本地 OCR）、pdf-parse、mupdf（PDF 解析），支持从图片和 PDF 中提取文字
• 定时任务：使用 node-cron + cron-parser 实现灵活的定时采集配置
• 数据导出：支持导出到 Airtable、Google Sheets、Webhook、OpenClaw 等多种目标

整个系统通过 Docker Compose 一键部署，后端内存限制 6GB，共享内存（shm）2GB，专为 Playwright 浏览器渲染优化。

五种使用方式：从零代码到开发者友好

Maxun 的设计理念是"同一套引擎，多种接入方式"：

1. Web UI（无代码）：通过浏览器可视化操作，创建机器人、配置任务、查看结果
2. SDK：npm 包 @maxun/sdk，开发者可在 Node.js 应用中编程控制 Maxun
3. MCP (Model Context Protocol)：配置后即可在 Cursor、Claude Desktop 等 AI 工具中直接调用 Maxun 的提取能力
4. REST API：完整的 HTTP API，支持通过 curl 或任何 HTTP 客户端调用
5. CLI：命令行工具，适合 DevOps 和自动化脚本场景

部署：Docker 一键启动，内存需求较高

Maxun 提供开箱即用的 Docker Compose 配置，包含 4 个核心服务：PostgreSQL（数据持久化）、MinIO（文件存储）、Backend（Node.js API + Playwright）和 Frontend（Vite SPA）。

最简部署只需三步：

1. 复制 docker-compose.yml 和 .env 配置文件
2. 运行 docker-compose up -d
3. 访问 http://localhost:5173

硬件需求：由于集成了无头浏览器 Playwright，Maxun 对 CPU 和内存要求较高。官方配置建议后端至少 8GB 内存、4 核 CPU，并预留 10GB+ 存储空间（PostgreSQL + MinIO + 浏览器缓存）。GPU 不是必需的。

局限与挑战

没有完美的工具，Maxun 也有其局限性：

• 内存占用高：每个浏览器实例都会消耗大量内存，官方设置 6GB 后端内存上限。在资源受限环境下（如 4GB RAM 的小主机），运行可能会遇到 OOM。
• 反爬对抗有限：虽然集成了 adblocker 和指纹随机化，但对于 Cloudflare Bot Management、PerimeterX 等高级反爬系统，仍可能被检测拦截。
• 许可协议：Maxun 采用 AGPL-3.0 许可证，商业使用需注意传染性条款。
• 定时任务精度：基于 node-cron，定时精度为分钟级，对于需要秒级触发的场景不适用。

行业意义：开源正在颠覆数据采集行业

Maxun 的崛起代表了网页数据采集领域的一个趋势转变：传统爬虫框架（如 Scrapy）需要专业编码能力，而 Maxun 将这个能力民主化，让非技术人员也能构建复杂的数据采集流程。

截至目前，Maxun 在 GitHub 上拥有超过 16,000 颗星、600+ Fork，Discord 社区活跃，被收录于 Trendshift 的热门项目列表。它不仅是一个工具，更是一个生态——通过 MCP 协议与 AI Agent 深度集成，拥抱了"AI 时代的数据基础设施"这一定位。

如果你厌倦了手工复制粘贴，又不想学复杂的爬虫框架，Maxun 值得一试。