InfiniteYou：字节跳动的 ICCV 2025 Highlight 工作，让 AI 生成的照片永远是你

想象一下这样的场景：你手里只有一张证件照，但需要一整套「数字分身」——不同场景、不同穿搭、不同背景、不同风格。传统方法要么换脸痕迹明显，要么丢失了「你自己」的关键特征，最终生成的照片看起来根本不是你。

这就是 AI 图像生成领域长期存在的 身份保持（Identity Preservation）难题。字节跳动智能创作团队在 2025 年 ICCV 会议上发表的工作 InfiniteYou（简称 InfU） 正是瞄准这一痛点，提出了一套优雅的解决方案，并被评为 ICCV 2025 Highlight 论文。

背景：为什么身份保持这么难？

在 Stable Diffusion 时代，社区已有一些身份保持方案（如 LoRA、IP-Adapter）。但当 FLUX 这样更强大的 Diffusion Transformer（DiT）架构出现后，旧方案的问题被进一步放大：

• 身份相似度不足：生成的人脸与原始照片差异大，尤其在侧脸、遮挡、夸张表情下
• 文本-图像对齐差：输入提示词描述「穿西装的男性」却生成了女性，或者背景与描述不符
• 生成质量低：画面有伪影、模糊、比例失调，看起来「假」
• 人脸 copy-pasting：最尴尬的问题——直接把原图的脸「复制粘贴」到新场景里，背景纹理和光照完全不对

InfiniteYou 的核心贡献，就是系统性解决上述全部问题。

核心原理：InfuseNet + 多阶段训练

InfiniteYou 的技术核心是 InfuseNet——一个即插即用的残差连接模块。它的设计思路非常直观：

传统的 DiT（如 FLUX）在处理图像生成时，模型本身负责从噪声中重建完整图像。InfuseNet 的做法是在 DiT 的多层之间注入身份特征——通过残差连接将人脸识别网络（FaceNet）提取的身份信息融合进生成过程，让模型在生成每个区域时都能「参考」原始人脸的细节。

这样做的好处是双重的：既增强了身份保持的相似度，又不会完全接管生成过程，保留了 FLUX 强大的文本理解和图像美学能力。

训练策略采用多阶段方案：

1. 预训练阶段：使用合成单人多样本（SPMS）数据，让模型学会从少量参考图中提取泛化的身份特征
2. 监督微调（SFT）阶段：进一步提升文本-图像对齐能力，改善画面质量和避免 copy-pasting 问题

作者还提供了两个版本——aes_stage2（默认，文本对齐和美学质量更好）和 sim_stage1（身份相似度更高），用户可通过 --model_version 参数切换。

功能体验：从命令行到 Web UI

InfiniteYou 提供了两种使用方式：

Gradio Web UI（推荐新手）：运行 python app.py 即可启动本地 Web 界面，上传人脸照片，输入文本描述，点击生成。界面支持身份图上传、可选控制图参考、采样步数、CFG 强度等参数调节，还可选 Realism（写实风格）和 Anti-blur（防模糊）两个 LoRA 插件。

命令行脚本（适合批量处理）：运行 python test.py --id_image path/to/face.jpg --prompt 'A man in a suit'，适合集成到自动化流程中。

模型从 HuggingFace 自动下载（ByteDance/InfiniteYou + black-forest-labs/FLUX.1-dev），需要提前在 HuggingFace 上申请 FLUX.1-dev 的访问权限。

图1：InfiniteYou 技术架构总览。InfuseNet 以残差连接方式注入身份特征，兼容 FLUX DiT 架构。

对比评测：超越所有基线方案

作者在多个维度上对比了 InfiniteYou 与现有方法（IP-Adapter-FLUX、FaceCraft、FLUX.1-dev Canny 等）。InfiniteYou 在身份相似度、文本对齐、图像美学质量上全面领先，尤其在复杂提示词场景下优势明显。

图2：InfiniteYou 与现有方法的对比。可以看到 InfU 在身份保持、文本对齐和整体观感上均优于基线方法。

即插即用：与其他方法的兼容性

InfiniteYou 的另一个亮点是模块化设计：InfuseNet 作为一个独立的残差模块，可以与现有的 FLUX 生态工具组合使用——无论是 ControlNet、Canny 还是其他 LoRA 风格插件，InfuseNet 都可以无缝接入。此外，官方还提供了 ComfyUI 插件（ComfyUI_InfiniteYou），对习惯 ComfyUI 工作流的设计师非常友好。

图3：InfiniteYou 与 ControlNet、Canny 等现有工具的即插即用组合效果。

局限性与风险

InfiniteYou 的训练数据来自合成数据和公开人脸数据集（InsightFace），需要注意的是：

• 商业使用限制：模型使用 Apache 2.0 许可证，但依赖的 FLUX.1-dev 和 InsightFace 有各自的许可条款，混合使用时的法律边界需用户自行评估
• VRAM 需求较高：完整版本需要约 35GB 显存，虽然提供了量化方案（optimum-quanto）可降至 16-24GB，但入门门槛仍不低
• 生成速度：在 A100 上约需 30 步推理，每次生成约 30-60 秒（取决于分辨率和硬件）
• 伦理风险：与所有换脸/身份生成技术一样，存在被滥用于虚假信息的风险，官方明确要求用户遵守 Creative Commons NC 协议，禁止非商业滥用

行业意义

InfiniteYou 的意义不只在于刷新了 SOTA 数字，更在于它验证了一个重要方向——DiT 架构下身份保持问题的可行解。FLUX 取代 Stable Diffusion 成为主流生成模型的趋势已不可逆，但 DiT 的强大学习能力也让旧方法失效。InfiniteYou 证明了在 DiT 时代，通过精心设计的注入模块和训练策略，身份保持与高质量生成可以兼得。

同时，其即插即用的设计理念也为开源社区提供了一个可复用的模块——ComfyUI 插件、LoRA 风格包等后续生态正在快速生长。作为 ICCV 2025 Highlight 论文，InfiniteYou 的技术贡献和工程完成度都达到了相当高的水准，是 2025 年图像生成领域不可忽视的重要工作。