Palette：图到图扩散模型的 PyTorch 非官方实现

一、痛点场景：修图师的一天

凌晨两点，某位设计师正对着客户发来的黑白老照片发愁——照片是祖辈留下的珍贵影像，但已经泛黄、破损、局部缺失。传统修图软件需要数小时的精细操作：手动选区、克隆图章、填充内容……每一步都在考验耐心与技巧。而即便如此，最终效果往往仍显生硬——边缘过渡不自然、缺失区域的纹理不合理、色调难以统一。

如果有一款工具，能够"理解"图像缺失部分应该长什么样，自动填补缺失内容，并且结果自然得像是 original 一直如此呢？这正是 Palette 项目想要解决的问题。

Palette 是 Google Research 在 ICCV 2021 发表的论文（Oral）提出的统一图像到图像翻译框架，本仓库是其在 PyTorch 下的非官方实现，目前已在 GitHub 斩获 1,830 Stars，受到 AI 图像处理社区的广泛认可。

图1：Palette 项目封面（来源：GitHub 仓库封面图）

二、背景科普：扩散模型的崛起与 Palette 的诞生

要理解 Palette，首先要理解它背后的技术脉络。扩散模型（Diffusion Models）自 2020 年 DDPM 论文以来，逐渐成为生成式 AI 的核心技术之一。与 GAN 相比，扩散模型训练更稳定、不容易出现模式崩溃（mode collapse），生成样本质量更高——但早期扩散模型的推理速度极慢，一次生成需要数千步迭代。

Palette 的核心创新在于：将条件扩散模型引入图像到图像翻译任务，用一个统一框架同时解决了四大经典任务：

任务	描述	示例场景
着色（Colorization）	将灰度图像转换为彩色图像	老照片修复、历史影像上色
填充（Inpainting）	智能填充图像缺失/被遮挡区域	物体移除、划痕修复、创意合成
扩展（Uncropping）	扩展图像边界，自然延伸画面内容	构图调整、画布扩充
JPEG 修复（JPEG Restoration）	修复压缩伪影和JPEG伪块	老旧数码照片降噪

Google 团队在论文中证明：Palette 在所有四项任务上均超越了同期最强的 GAN 方法（如 CoModGAN、DeepFillv2），且无需任何任务专属的超参数调优或辅助损失函数。这种"大一统"的架构设计，是 Palette 最令人印象深刻的地方。

图2：Palette 非官方实现仓库（来源：Janspiry GitHub）

三、类比解释：扩散模型如何"修补"图像

可以将扩散模型理解为一个极其耐心且记忆力超群的画家。当你要修复一张破损的老照片时，这位"画家"的思考过程大致如下：

正向扩散（加噪）：画家先在脑海中将清晰的参考图像逐步模糊——从清晰到模糊、从模糊到噪点，最终变成纯粹的高斯噪声。这个过程是确定性的、可以数学精确描述的。

逆向去噪（生成）：画家从一团纯噪声开始，根据对"这幅画应该如何修复"的理解（即输入的条件图像），一步一步反向推理——从噪声中逐渐还原出应该存在的结构、纹理和色彩。每一步都会参考条件图像的信息，逐步将缺失内容"变"出来。

Palette 的关键之处在于：它的 UNet 去噪网络在每一步都会"看"到条件图像（cond_image）和当前噪声图（noisy image）的拼接结果，从而精准理解"我需要在哪些区域填补什么内容"。

四、核心功能：架构设计与四大任务实现

4.1 网络架构

本实现采用了两套 UNet 去噪骨干，由配置文件决定使用哪个模块：

骨干模块	来源	特点
sr3_modules	SR3（Image Super-Resolution via Iterative Refinement）	更轻量，适合低分辨率任务
guided_diffusion_modules	Guided Diffusion（OpenAI）	更大容量，生成质量更高，项目默认推荐

UNet 架构中集成了 self-attention 机制（在 16×16 低分辨率特征图上），这在论文中被证明是保证高质量生成的关键设计。代码还支持 EMA（指数移动平均） 模型参数平滑，训练稳定性更强。

4.2 条件编码设计

Palette 对时间步的编码做了特殊设计：不同于原始 DDPM 直接编码时间步 t，Palette 编码的是 γ（即累积噪声水平 α 的乘积），并通过仿射变换（affine transformation）嵌入到网络中。这一细节使得模型对不同噪声水平的拟合更加精准。

4.3 四大任务配置

仓库中每个任务都有对应的独立配置文件，通过 JSON 定义网络结构、数据路径、训练参数等。以下是核心配置对比：

任务	数据集	默认 batch size	训练 epochs	mask 策略
Inpainting	CelebaHQ	3/gpu	200	hybrid（中心+随机）
Inpainting	Places2	3/gpu	16	center 128×128
Uncropping	Places2	3/gpu	8	边界扩展
Colorization	ImageNet	3/gpu	待完成	无

推理阶段（eval.py）使用 clean-fid 库计算 FID 分数，并调用 inception_score 计算 IS 分数——这些都是图像生成质量的标准评估指标。

五、上手门槛：命令行驱动的深度学习训练框架

优势在于：作者提供了 Google Colab 笔记本，Inpainting 任务可以直接在浏览器中零配置运行，适合快速体验。对于有 PyTorch 经验的开发者，标准的训练流程如下：

pip install torch torchvision numpy pandas tqdm tensorboardX scipy opencv-python clean-fid
python run.py -p train -c config/inpainting_celebahq.json
python run.py -p test -c config/inpainting_celebahq.json

门槛在于：该项目是一个纯命令行工具，不提供 Web 界面，需要开发者具备基本的深度学习环境配置能力和 GPU 资源。此外，数据集（CelebaHQ、Places2）需要自行下载，高质量模型权重也需要从零训练或从 Google Drive 链接获取。

六、争议与局限

6.1 推理速度

扩散模型的固有缺陷：即便使用 DDPM，单张图像的推理仍需要数百次迭代。CelebaHQ Inpainting 任务跑了 200 epochs（930K iterations），对普通研究者而言硬件门槛较高。

6.2 非官方实现的差异

本仓库对原始 Palette 论文做了若干实现细节调整：采用了 Guided Diffusion 的 UNet 架构而非论文原始设计、对时间步 γ 的编码方式有差异。这些调整提升了生成质量，但也意味着与原始论文的具体数值结果可能不完全对齐。

6.3 任务覆盖不完整

Colorization 和 Uncropping 任务在 README 中标记为"uncertain"状态，意味着这两个功能模块的实际效果未经充分验证。

七、行业意义与趋势

Palette 的出现代表了扩散模型从"无条件图像生成"向"可控图像编辑"的关键一步。Palette 所展示的统一框架思路，直接影响了后来 ControlNet、InstructPix2Pix 等项目的设计哲学。

从技术演进角度看，Palette 揭示了几个重要趋势：

1. 大一统模型架构：一个模型架构通过不同条件适配多种任务，而非为每种任务单独设计模型。
2. 扩散模型在图像编辑领域的统治力：超越 GAN 成为图像修复/编辑的首选技术路线。
3. 开放评估协议的重要性：Google 团队倡导在 ImageNet 验证集上统一评估，为后续研究提供了可靠的基准。

---

项目速览：Janspiry/Palette-Image-to-Image-Diffusion-Models | ⭐ 1,830 | Python | MIT License

一句话亮点：PyTorch 非官方实现的 Palette 图到图扩散框架，一个模型搞定着色/填充/扩展/JPEG修复四大任务。

适合人群：有深度学习基础的图像处理研究者、PyTorch 开发者、AI 修图工具爱好者。