SkyPaint-AI-Diffusion

一款让 AI 学会「中英双语」画画的开源文生图模型

如果让一个只会说英语的人突然用中文创作，他一定会感到束手无策——但 Stable Diffusion 曾经就面临这样的困境。2022 年，大多数文生图模型对中文提示词的理解能力几乎为零，用户必须先将中文翻译成蹩脚的英文才能勉强出图。由奇点智源（Singularity-AI）开发的 SkyPaint 正是为了解决这个痛点而生：它基于 Stable Diffusion 1.x 架构进行优化，让 AI 能够原生理解中英文双语提示词，生成具有现代艺术风格的高质量图像。

这个项目的核心价值不仅在于绘画本身，更在于其背后的 SkyCLIP 技术——一种高效蒸馏多语言 CLIP 模型的方法，可以让任何拥有普通算力的开发者训练出自己的中英双语 CLIP 模型。项目在 GitHub 已获得 646 Stars，HuggingFace 模型下载量持续增长，成为中文 AIGC 领域的重要开源资产。

图1：天工巧绘 SkyPaint 在线体验界面（来源：GitHub README）

---

技术原理：从 CLIP 到 SkyCLIP 的蒸馏之路

SkyPaint 的技术架构由两个核心组件构成：提示词文本编码器（基于 SkyCLIP）和扩散生成模型（基于 Stable Diffusion）。理解 SkyCLIP 的设计思路，是掌握 SkyPaint 精髓的关键。

2.1 为什么需要 SkyCLIP？

原始 Stable Diffusion 使用 OpenAI-CLIP 作为文本编码器，CLIP 的文本编码器基于 Transformer（GPT-2 架构），天然只支持英文。当用户输入中文时，CLIP 完全无法理解，导致生成的图像与预期不符。

解决这一问题的常规思路是训练一个全新的多语言 CLIP 模型，但这样做有两个显著缺点：

• 数据门槛高：训练 CLIP 需要数十亿级别的图文对数据，普通团队无法承受
• 算力消耗大：原始 CLIP 训练需要庞大的计算资源，90% 以上的开源团队没有这个能力

SkyCLIP 另辟蹊径，采用知识蒸馏策略：用已训练好的 OpenAI-CLIP 作为「教师模型」，仅训练一个多语言 BERT 作为「学生模型」，通过让学生模型的输出逐渐逼近教师模型来实现多语言能力的迁移。

2.2 SkyCLIP 的训练方法

SkyCLIP 的训练方法可以用一句话概括：冻结教师模型，训练学生模型，同时用翻译任务辅助对齐中英文。

具体来说：

1. 教师模型：直接使用 OpenAI-CLIP 的 text_encoder，参数冻结不变
2. 学生模型：采用和教师模型相同大小的多语言 BERT（使用 BERT-base-chinese 架构）
3. 损失函数：英文输入通过教师模型获取 hidden state (t_en)，英文和中文分别通过学生模型获取 hidden state (s_en 和 s_zh)，使用 L1、L2、cos 距离等构造损失，使 s_en/s_zh 逼近 t_en
4. 翻译任务辅助：由于平行语料中中文和英文长度天然不对等，训练时额外添加中文解码器，将学生模型的中英文 hidden state 作为解码器输入，通过翻译任务（中→英、英→中）来强化中英文语义对齐

这种方法的核心优势在于数据门槛大幅降低：训练数据只需要文本层面的中英文平行语料（不需要图文对），主要包括：

• 中英文机器翻译平行语料
• 联合国官方文档中英对照
• LAION 和 Wukong 数据集中的图文描述
• 古诗词中英文翻译
• AI-Challenger 翻译大赛数据集

图2：SkyCLIP 技术框架（来源：GitHub README）

根据论文中的 Flickr30K-CN 零样本图文检索评测，SkyCLIP 在 R@1 指标上达到 58.8%（Text-to-Image），综合检索得分（MR）84.04，虽然略低于 CN-CLIP 的 87.87，但在训练数据量和算力消耗上具有显著优势。

2.3 SkyPaint 的扩散模型优化

在文本编码器优化完成后，SkyPaint 团队进一步优化了扩散模型本身。优化方向主要有两个：

• 现代艺术风格注入：通过在特定艺术风格数据集上的微调，使模型能够生成更具艺术感的图像，而非单纯的写实照片
• 保留 SD 生态兼容性：优化后的模型仍兼容 Stable Diffusion 1.x 的生态，可以使用 SD 社区的所有 LoRA、ControlNet 等插件

用户只需在提示词前加上 sai-v1 art, 前缀，即可激活模型的现代艺术风格生成能力。

---

快速上手：5 行代码实现中文文生图

SkyPaint 的使用方式与标准 Stable Diffusion 完全兼容，核心依赖为 HuggingFace 的 diffusers 库。如果用户已有 SD 模型的运行经验，上手 SkyPaint 几乎零门槛。

from diffusers import StableDiffusionPipeline

device = 'cuda'
pipe = StableDiffusionPipeline.from_pretrained("path_to_SkyPaint_model").to(device)

prompts = [
    '机械狗',
    '城堡 大海 夕阳 宫崎骏动画',
    '花落知多少',
    '鸡你太美',
]

for prompt in prompts:
    prompt = 'sai-v1 art, ' + prompt
    image = pipe(prompt).images[0]  
    image.save("%s.jpg" % prompt)

图3：城堡 大海 夕阳 宫崎骏动画

图4：花落知多少

图5：半鸡半人，强壮

图6：鸡你太美

---

部署环境要求与硬件配置

SkyPaint 作为基于 Stable Diffusion 的文生图模型，对硬件有明确要求：

配置项	最低要求	推荐配置
GPU	NVIDIA GPU（4GB+ VRAM）	RTX 3090 / A100（8GB+ VRAM）
内存	8GB RAM	16GB+ RAM
存储	5GB+	10GB+
Python	3.8+	3.10
CUDA	11.6+	11.8 / 12.x

由于模型以 HuggingFace 权重形式发布，本地部署需要用户自行从 HuggingFace 下载约 4-5GB 的模型权重。对于没有足够硬件条件的用户，官方提供了两个替代方案：

1. 在线 Web UI：访问 https://sky-paint.singularity-ai.com/ ，在浏览器中直接体验
2. 微信小程序：扫描 README 中的二维码，在微信内使用

---

项目亮点与局限性

核心亮点

• 原生中英双语：无需翻译，直接输入中文提示词即可生成符合预期的图像，中英文混合输入也完全支持
• 低训练门槛的 CLIP 蒸馏方法：SkyCLIP 的训练方法仅需文本平行语料，算力消耗比原始 CLIP 减少 90% 以上，为中文多语言 CLIP 的研究提供了新思路
• 生态兼容：兼容 Stable Diffusion 1.x 社区的所有插件和 LoRA 模型
• 艺术风格强化：通过 sai-v1 art 前缀激活现代艺术风格生成，产出图像具有更强的艺术美感
• 完全开源：模型权重和 SkyCLIP 技术方案均已开源

局限性

• 依赖 HuggingFace：模型推理依赖 diffusers 库，需要稳定的网络环境访问 HuggingFace（国内可能需要代理）
• 无容器化部署：项目未提供 Dockerfile 或 docker-compose，本地部署需要手动配置 Python 环境、CUDA 驱动等
• SD 1.x 架构局限：基于 SD 1.x 架构，在高分辨率生成、多概念组合控制等方面不如 SDXL 和 Flux 等新一代模型
• 无 LoRA 训练代码：虽然模型兼容 LoRA，但仓库本身不包含 LoRA 训练流程

---

行业意义与未来展望

SkyPaint 的出现填补了中文开源文生图领域的一个重要空白。在其发布之前，中文用户如果想用 AI 生成符合中文语境的图像，通常需要依赖付费商业 API（如 Midjourney 中文版、文心一格等）或自行训练模型。SkyPaint 让普通开发者也有机会部署自己的中文文生图服务。

更重要的是，SkyCLIP 的训练方法具有更广泛的应用价值。知识蒸馏的思路可以被复制到其他语言对（如中日、中韩、中法等），为构建多语言多模态模型提供了可落地的工程方案。

奇点智源作为国内 AIGC 领域的重要参与者，除了 SkyPaint 之外，还在持续推进大模型、视频生成等多个方向的产品化。SkyPaint 作为其开源代表作之一，既是技术能力的展示，也是对开源社区的积极贡献。

---

本报告基于 GitHub 仓库 v1.0 版本分析，模型最新权重请参考 HuggingFace 官方页面。