IOPaint：开源AI修图神器，让"去除"和"替换"变得如此简单

场景切入：修图师的一天

想象你是位婚礼摄影师，刚完成一场外景拍摄，却发现照片角落有根突兀的路灯、电线杆从新娘头顶穿过、背景里一位路人正对着镜头做鬼脸。传统的修图流程需要打开 Photoshop，用仿制图章一点点涂抹——一张照片可能要花上十几分钟。

现在，有了你只需要用鼠标"涂"一下不想要的部分，按下回车，AI 就会自动分析周围画面内容，生成自然、合理的填补效果。路人消失了，路灯不见了，背景变得干净整洁，整个过程不到10秒。这就是 IOPaint 正在做的事情。

图1：修图效果演示

背景：为什么需要开源的AI修图工具？

图像修复（Image Inpainting）并不是一个新概念。Photoshop 自 2002 年起就有"内容感知填充"功能。但传统算法的效果往往经不起细看——填补区域会出现明显的模糊、色差或接缝，尤其是在处理大面积区域时。

真正让 AI 修图发生质变的，是 2021 年以来扩散模型（Diffusion Model）的快速成熟。以 LaMa、Stable Diffusion Inpainting、PowerPaint 为代表的新一代模型，能够真正"理解"图像上下文，生成视觉上完全自然、语义上合理的内容。

然而，这些模型通常是独立的推理代码，普通用户难以直接使用。IOPaint 的核心价值，就是把业界最前沿的修图模型，统一封装成一个开箱即用的工具，同时提供美观的 Web 界面，让任何人都能轻松上手。

项目起源：从 Lama Cleaner 到 IOPaint

IOPaint 最早由开发者 Sanster（GitHub: Sanster）创建，经历了从 Lama Cleaner 到 IOPaint 的品牌演进。项目的核心定位始终如一：提供一个完全免费、开源、本地部署的 AI 修图平台。

项目主页为 https://www.iopaint.com/，同时在 HuggingFace 上托管了在线体验空间。截至目前，GitHub 仓库已获得超过 23,000 颗星，被 fork 2,400+ 次，反映了社区对这款工具的高度认可。项目采用 Apache-2.0 开源许可证，支持 CPU、GPU 和 Apple Silicon（M系列芯片）运行，覆盖了主流硬件平台。

核心功能：不仅仅是"涂抹消除"

IOPaint 提供了丰富的 AI 修图能力，可以分为三大类：

1. 擦除类模型（Erase Models）

针对不需要的物体、水印、人物进行智能消除。内置 LaMa 等高性能擦除模型，用户只需涂抹选中区域，AI 自动生成填补内容。这是最常用的功能，适合清理旅游照片中的路人甲、去除商品图中的水印、修复老照片中的污渍等场景。

图2：老照片修复效果

2. 扩散模型（Diffusion Models）

支持多种 Stable Diffusion 家族的修图模型，包括：

• SD 1.5 / SDXL Inpainting：标准扩散模型修图
• PowerPaint / PowerPaintV2：专门针对物体替换和图像扩展训练
• BrushNet：精细化修图控制
• AnyText：在图像中生成自然嵌入的文字
• Realistic Vision 等社区模型

3. 图像扩展（Outpainting）

将图像边界向外延伸，AI 根据现有内容自动"想象"并生成扩展画面。这项功能常用于将竖版照片扩展为横版构图，或为截断的画面补充完整背景。

技术架构：前后端分离的现代设计

从代码结构来看，IOPaint 采用了清晰的前后端分离架构：

后端（Python）：

• 核心推理逻辑在 iopaint/ 包中，包含 model/ 子模块（各 AI 模型的封装）、plugins/（插件系统）、api.py（API 暴露）、installer.py（模型下载安装）等关键模块
• 使用 FastAPI 作为 Web 服务框架，提供 REST API 供前端调用
• 模型推理基于 PyTorch + Diffusers 库，兼容 HuggingFace 模型生态
• CLI 入口基于 Typer（类 Click），支持命令行操作
• 支持插件机制扩展功能（iopaint plugins 命令管理）

前端（React + TypeScript）：

• web_app/ 目录包含完整的 React + TypeScript 前端
• 使用 Vite 作为构建工具，TailwindCSS 进行样式管理
• UI 组件库选用了 Radix UI（无样式 headless 组件），配合 Tailwind 实现一致的设计语言
• 状态管理使用 Zustand，表单验证使用 React Hook Form + Zod，整体技术栈现代化
• 前后端通过 Socket.IO 进行实时通信，实现模型推理进度的实时推送

容器化：

• 提供 docker/CPUDockerfile 和 docker/GPUDockerfile 两套镜像定义，分别针对 CPU 和 NVIDIA GPU 环境优化
• 基础镜像选用 nvidia/cuda:11.7.1-runtime-ubuntu20.04（GPU版）和 python:3.10.11-slim-buster（CPU版）
• 通过 pip install lama-cleaner 安装核心包，Dockerfile 逻辑简洁高效

上手门槛：从"一键安装"到"零配置体验"

最简单：Windows 一键安装包

对于 Windows 用户，项目提供了 官方一键安装程序，下载后双击运行，无需配置任何环境变量或命令行操作。

pip 安装（适合开发者）

pip install lama-cleaner
lama-cleaner --model lama --device cuda --port 8080

Docker 部署（适合服务器环境）

# GPU 版本
docker build -f docker/GPUDockerfile -t iopaint-gpu .
docker run --gpus all -p 8080:8080 iopaint-gpu

# CPU 版本
docker build -f docker/CPUDockerfile -t iopaint-cpu .
docker run -p 8080:8080 iopaint-cpu

服务启动后，通过浏览器访问 http://localhost:8080 即可看到 Gradio 驱动的 WebUI。

硬件需求

模式	显存	内存	说明
GPU (推荐)	6GB+ (8GB+)	8GB+	NVIDIA GPU，CUDA 11.7+
CPU	N/A	8GB+	速度较慢，适合轻量使用
Apple Silicon	N/A	8GB+	PyTorch MPS 后端支持

局限与争议

1. 显存占用：扩散模型推理对显存要求较高，6GB 以下显卡可能无法运行某些复杂模型
2. 速度瓶颈：CPU 模式下推理速度较慢，一张 1024×1024 图片可能需要数分钟
3. 文字生成质量：AnyText 等文字生成模型仍有局限性，复杂文字场景可能出现字符形变或错位
4. 模型版权：部分扩散模型在商业使用上存在版权争议，使用前需注意各模型的许可证

行业意义：开源的力量

IOPaint 的出现，代表了 AI 图像处理工具从"云端垄断"向"本地民主化"的转变。传统上，类似功能被 Adobe Firefly、Adobe Generative Fill 等商业产品垄断，用户需要订阅付费才能使用。而 IOPaint 让任何人都能在自己的电脑上，以完全免费、无限次数的方式获得同等——甚至在某些场景下更好的——AI 修图能力。

从技术角度看，IOPaint 也是一个优秀的"模型聚合平台"：它不是一个单独的 AI 模型，而是一个集成框架，将 LaMa、PowerPaint、BrushNet、AnyText 等多个前沿研究模型的推理能力统一封装。这种"模型即插即用"的设计哲学，对于推动 AI 研究成果的落地应用具有重要参考价值。

图3：狐狸图片示例