Krita AI Diffusion: 用画笔指挥AI生成图像的专业插件

想象这样一个场景：你是一名专业数字插画师，正在为一部小说绘制封面。画面主体已经完成，但背景和光影还需要大量细节工作。传统做法是用Photoshop一点点绘制，可能需要数小时。而现在，你只需要选中一片区域，用画笔简单勾勒几笔线条，AI在几秒内就能自然生成出来。这就是 Krita AI Diffusion 正在做的事。

一个插件，让专业画家真正用上AI

Krita是一款深受欢迎的开源数字绘画软件，在全球拥有大量专业插画师、概念艺术家和漫画创作者用户。然而，当AI图像生成技术从2022年底开始爆发时，Krita用户面临一个尴尬的局面：主流AI工具都是独立的画布，你需要离开Krita，导出草图、生成、再导回来——这个来回切换严重破坏了创作流。

Krita AI Diffusion正是为解决这个痛点而生。它的核心思路是：AI不应该是另一个画布，而应该是Krita画布上的一个工具。选中工具，选中区域，生成，结果直接出现在画布上。整个过程不需要离开工作环境，不需要切换软件，不需要导出导入。

图1: 局部重绘示例——选中区域后，AI自动理解上下文并填充内容

精准控制: 告别抽卡的玄学

用过AI图像生成工具的人，大多有过这样的体验：输入Prompt，疯狂点击生成，祈祷哪一次能出满意的结果。这个过程被戏称为抽卡。Krita AI Diffusion选择了完全不同的策略：以视觉控制为主，文本为辅。

它支持完整的ControlNet控制体系，包括Scribble（涂鸦）、Line Art（线稿）、Canny边缘、Pose（姿态）、Depth（深度图）、Normals（法线图）、IP-Adapter（风格迁移/人脸替换）等。用户可以用图层定义不同区域（Region功能），每个区域赋予独立文字描述，AI会理解各区域之间的关系生成完整连贯的图像。

图2-4: 不同ControlNet控制模式效果展示

Live Painting: 实时看见AI的思考过程

最令人惊艳的功能之一是Live Painting（实时绘制）。当你用画笔在画布上涂抹时，AI实时读取笔触，在几秒钟内渲染出可能的视觉效果，就像有一个虚拟助手在实时配合你工作。这个过程不需要输入任何文字，只需要动笔。在创意探索阶段，这种手把手式的交互方式比反复修改Prompt效率高得多。

技术架构: 插件+ComfyUI后端的双层设计

从代码结构来看，Krita AI Diffusion采用了清晰的双层架构。

前端（Krita插件）: 纯Python开发，运行在Krita内置的Qt5 Python环境中。负责UI交互、图像处理、图层管理、选区处理等。所有UI组件都通过 ai_diffusion/ui/ 模块组织，遵循Krita插件规范。

后端（ComfyUI Server）: 插件不直接调用AI模型，而是通过WebSocket/HTTP与独立的ComfyUI服务通信。这种解耦设计有两大好处：其一，ComfyUI是目前最强大的开源AI生成引擎，支持自定义工作流；其二，后端可部署在高性能机器上，前端只需要在Krita所在机器运行，两者可以不在同一台机器。

ComfyUI工作流的管理通过 ai_diffusion/backend/comfy_workflow.py 实现，包括工作流的序列化（JSON/ZLIB压缩）、节点注入、参数传递等核心逻辑。支持Flux 2、Z-Image、Stable Diffusion 1.5、SDXL、Illustrious等多种主流模型，以及CLIP、VAE、ControlNet等节点。

本地AI推理依赖非常丰富: diffusers+transformers处理模型加载与推理，accelerate做多卡加速，peft支持LoRA微调，kornia提供计算机视觉操作，mediapipe处理姿态估计，opencv-python做图像处理，gguf支持量化模型读取。

图5: 图像精修——局部添加细节并迭代优化

除了本地部署，项目还支持接入云端ComfyUI服务（cloud_client.py），用户可以在没有强大GPU的情况下通过API调用远程算力，降低了使用门槛。

适用场景与局限

最适合的场景: 专业数字绘画工作流中的AI辅助创作，特别是插画、概念设计、漫画分镜等领域。对于已经在使用Krita的用户，这是目前将AI融入工作流最无缝的方案。

需要注意的门槛:

1. 硬件要求不低: 本地生成至少需要6GB VRAM的NVIDIA显卡，或者Apple Silicon Mac。没有独显的用户体验会非常痛苦（CPU模式极慢）。

2. 学习曲线存在: ControlNet的各种控制模式需要一定学习成本，理解不同控制层的作用并正确使用它们本身就是一项技能。

3. 不是独立Web服务: 这是Krita插件，必须在安装了Krita 5.2.0+的桌面环境运行。没有服务器部署方案，无法作为SaaS使用。

4. ComfyUI是隐含依赖: 虽然插件会引导用户安装，但出了问题需要用户具备一定的ComfyUI调试能力。

行业意义: 开源工具链的又一次进化

Krita AI Diffusion的出现代表了AI生成工具发展的一个重要方向: 工具应该融入创作者的工作流，而不是让创作者去适应工具。在它之前，AI绘画工具的主流形态要么是独立的Web界面（需要切换软件），要么是本地部署的复杂WebUI（配置繁琐）。而Krita插件的形式，让AI第一次真正成为了专业绘画软件中一个普通的工具选项。

这个项目的开源属性也值得关注: 它支持本地运行所有开源模型（Stable Diffusion、Flux、ControlNet），不强制用户上传数据到云端，在AI工具普遍云化的趋势下，这种对本地优先的坚持显得尤为珍贵。截至目前，该项目已在GitHub获得超过10,000颗星，充分说明了专业创作者群体对这类工具的强烈需求。

随着Stable Diffusion 3、FLUX等更新更强的模型陆续开源，以及ComfyUI生态的持续丰富，Krita AI Diffusion这类深度集成工具的价值将会进一步凸显。