CogView4：国产 60 亿参数文生图模型，让 AI 画中文字成为现实

开场：一个让设计师"失业"的技术突破

2025 年 3 月，一则新闻在 AI 圈炸开了锅：智谱 AI 发布了 CogView4，这是全球首个支持在图像中生成汉字的开源文生图模型。消息一出，国内众多设计师和创意工作者炸了锅——以往用 Midjourney、Stable Diffusion 生成一张带中文的海报，简直比登天还难，出来的字不是错别字就是乱码。而 CogView4 轻轻一笔，一幅"无敌炒面"海报就出来了，字迹工整得让人怀疑这是不是 AI 画的。

这背后，是一支来自清华、智谱的团队，用整整三年的技术迭代，将中国文字理解能力嵌入了扩散模型的最核心。

背景：从 CogView1 到 CogView4，三年磨一剑

CogView 系列是智谱 AI（MOSS 团队）的招牌图像生成模型家族，演进路径清晰：

• CogView（2021）：初代，NLP+Diffusion 融合的早期探索
• CogView3（ECCV 2024）：引入 Relay Diffusion（接力扩散）级联架构
• CogView3-Plus（2024.10）：升级为 Diffusion Transformer（DiT）架构，3B 参数
• CogView4（2025.03）：6B 参数，首个支持生成汉字的开源模型，DPG-Bench 综合排名第一

CogView4 是智谱 AI "2025 开源年" 发布的第一款模型，采用 Apache 2.0 开源协议。仓库同时托管了 CogView3 和 CogView3-Plus 的代码，包含三条技术路线的演进积累。

技术解析：Diffusion Transformer + GLM-4 双语编码器

1. 替换文本编码器：从 T5 到 GLM-4

CogView3-Plus 使用 Google 的 T5-XXL 编码器（纯英文），CogView4 大胆换上了具备双语能力的 GLM-4-9B 大语言模型作为文本编码器。提示词长度上限从 224 Tokens 跃升至 1024 Tokens。

2. 任意分辨率混合训练

支持 512×512 到 2048×2048 范围内任意分辨率生成（H×W ≤ 2²¹，H 和 W 均为 32 的倍数）。位置编码采用 2D RoPE（二维旋转位置编码）。

3. CogKit 微调框架

2025 年 3 月底，团队进一步开源了 CogKit，支持 CogView4、CogVideoX 系列微调和推理，配合低显存优化技术，在单张 RTX 4090 上即可完成 LoRA/SFT 微调。

上手体验：Gradio WebUI + CLI 两种方式

在线体验（零配置）

访问 HuggingFace Space：CogView4 主站 或 ModelScope 魔搭社区 镜像。

本地推理（需 GPU）

pip install -r inference/requirements.txt
pip install diffusers transformers accelerate
python inference/gradio_web_demo.py

显存优化方案

Benchmark 表现：多项 SOTA

中文文字准确率是 CogView4 相比竞品的核心优势，F1 得分 0.6168，远超快手 Kolors 的 0.288。

局限与争议

1. 仅支持 BF16/FP32 推理：无 INT8/INT4 原生支持，社区 ComfyUI 方案有额外量化选择。
2. 文字生成仍不稳定：复杂生僻字有错字概率，官方建议配合 LLM 进行提示词优化。
3. 开源的是推理代码，训练代码未公开：对研究复现不够友好。
4. 生态尚处早期：相比 SD 系列数百插件，CogView4 目前生态有限。

行业意义

CogView4 选择 Apache 2.0 协议，让"中文文字精准生成"从商业闭源模型专属能力，变成开源社区人人可用的公共资产。国内广告、电商、游戏行业的企业可低成本合规使用文生图技术。

快速参考

本报告由 PIFS 分析引擎自动生成 | 数据来源：GitHub、智谱 AI 官方文档、新京报、智东西等媒体报道