视觉自回归生成：从 GPT 到 Sora 的像素级革命

想象一下，你正在看一部电影——每一帧画面都是 AI 模型根据前一帧"猜"出来的下一个像素块。这不是想象，而是 2024 年以来 AI 视觉生成领域的真实写照。ChatGPT 证明了语言可以自回归生成，Sora 证明了视频同样可以，而 Autoregressive-Models-in-Vision-Survey 正是这场变革的完整地图。

ARV = Awesome Autoregressive Vision，这是港大、清华、杜克、罗切斯特、苹果等机构 20 位研究者共同维护的论文综述库，已被 TMLR 2025 接收。

为什么这篇综述值得一读？

2024 年 11 月之前，如果你问"自回归模型能生成图片吗"，大多数人的回答是"No，图片生成是 Diffusion 的天下"。但这篇综述用约 250 篇论文告诉你：自回归从未缺席，它只是换了一条路。

NLP 中的自回归很好理解：模型逐 token 生成文本，每个 token 依赖前面所有 token。但视觉数据是二维的、层次化的——一个像素的变化会影响整张图片。那么自回归如何处理？

综述将视觉自回归分为三类策略：

• Pixel-based（像素级）：从 PixelCNN（2016）到 ImageGPT（2020），逐像素预测。效果不错但速度极慢。
• Token-based（Token 级）：用 VQ-VAE 等 tokenizer 把图片压缩成离散 token 序列，再做自回归生成。VQGAN、MAGVIT、Open-MAGVIT2 是代表。这是目前最主流的方案。
• Scale-based（尺度级）：多尺度逐级生成，从低分辨率到高分辨率。DiT（Diffusion Transformer）虽然名字带 Diffusion，但也可以归入此类。

核心应用场景：图像、视频、3D、多模态

综述覆盖的 250 篇论文分布在以下方向：

图像生成：从 PixelCNN、PixelCNN++、PixelSNAIL 等早期工作，到 VQGAN、MAGVIT、Open-MAGVIT2 等 tokenizer 方案，再到 2024 年的 TokenFlow、RandAR 等最新进展。Token 化的关键是让图片"说 LLM 的语言"——离散 token 序列，然后就可以用 GPT 式的下一个 token 预测来生图了。

视频生成：Sora、Pika、Gen-3 等都大量借鉴了自回归思想。综述收录了包括 unconditional video generation、conditional video generation 在内的多个子方向，以及具身 AI（Embodied AI）这一前沿应用——让 AI 模型学会在 3D 环境中"看"和"动"。

3D 与医学：Point cloud 生成、3D 医学影像（CT/MRI）生成是近年来增长最快的子方向之一。多模态统一理解与生成（Unified Multimodal LLM）更是将自回归推向了 AGI 的终极目标。

综述的独特价值：分类体系与演进时间线

这篇综述最大的贡献不只是论文列表，而是分类体系。作者将 2016 年到 2025 年的视觉自回归工作按应用场景、技术路径两条线索组织，清晰呈现了从"像素级慢速生成"到"Token 级快速生成"的演进路径。

值得注意的是，2024 年下半年出现了两个关键转折：

1. 随机顺序自回归（RandAR）：不再强制从左上到右下的固定顺序，模型自己学最佳生成顺序。
2. 统一多模态模型：将图像、视频、文本统一到同一个自回归框架下。

作者在 2025 年 11 月宣布项目进入维护模式（maintenance mode），理由是"当前分类体系已无法覆盖新出现的统一多模态和自回归 Diffusion-forcing 视频生成趋势"。这是一个诚实而有价值的决定。

上手建议：如何用好这个 repo

对于 AI 爱好者：直接读 README 的目录结构即可。论文按图像生成→视频生成→3D 生成→多模态→Benchmark→安全→加速等方向分类，每篇论文都附有 Paper 链接和 Code 链接。可以当作视觉生成领域的"维基百科"。

对于开发者：重点关注有 Code 链接的论文。Open-MAGVIT2（腾讯ARC）、OmniTokenizer（FoundationVision）是目前开源生态最完善的两个工作，值得深入研究。

注意事项：这是一个综述仓库（Survey Repo），不是代码库。README 本身就是完整的论文内容，约 9.3 万字。无需安装任何依赖，浏览器打开 GitHub 即可阅读。

局限与未来方向

综述作者坦承了几个核心挑战：

1. 计算成本：Token 序列长度随分辨率平方增长，1024×1024 图片对应 1024 个 16×16 的 patch，远超 LLM 的上下文窗口。
2. 生成速度：即便用上 Flash Attention，自回归生成仍比单步 Diffusion 慢几个数量级。
3. 语义对齐：Token 到语义的映射不够精确，导致复杂提示词（multi-object, spatial relationship）生成效果不稳定。

这些问题也是当前研究的热点。可以预见，未来 1-2 年会有更多"Diffusion + AR 混合架构"出现。

一句话总结：Autoregressive-Models-in-Vision-Survey 是目前视觉自回归领域最全面的综述，覆盖 250 篇论文、TMLR 2025 同行评审通过，是 AI 爱好者建立全局认知和开发者追踪前沿进展的必备资源。