CozyClay：在浏览器里先"排练"，再让 AI 视频模型照着拍

一、写在前面：一次失败要真金白银

想象一个真实的制片现场。导演手里有一句话："一个孩子跑过雨中的天桥，镜头缓缓推近"。他把这句话丢给 Sora、Veo 或者可灵，模型吐出一段 5 秒的片子——构图不对，人物在画面右侧三分之一，镜头是平的，没有推近。导演皱着眉说"再来一版"。

每生成一次，账单上就多一笔。而"再来一版"往往意味着再来三版、五版。

问题的根源在于：一句提示词承载不了一整个场景。谁站在哪、怎么动、镜头在哪、什么时候切——这些是空间和时间上的硬约束，靠文字描述必然漂移。

传统影视行业的解法叫"预演"（previs）：用 Blender 或 Unreal 的 Sequencer 搭一个粗灰盒，把演员走位、机位、焦段、剪辑点全部定下来。但这条路的学习曲线极陡，而且预演产出的数据跟 AI 视频模型的输入格式完全对不上——你精心排的机位，模型根本看不见。

CozyClay 想做的事，就是把"预演"这件事搬进浏览器，并且让它的输出直接就是 AI 视频模型能吃的格式。

二、它长什么样：Stage / Move / Shoot / Export 四步

CozyClay 的工作流被切成了四个阶段，节奏非常像真正的片场流程。

Stage（搭景）：从立方体、圆柱等基本几何体开始搭布景。角色可以选带骨骼的绑定角色（可摆姿势、可做 IK），也可以用胶囊替身——只有一个"站/坐/躺"的姿态，适合只关心走位不关心肢体的场景。顶视图还能驱动角色的二维路径点。

Move（运动）：这是 CozyClay 最特别的一环。你不用手动 K 帧，而是用自然语言描述动作——"角色走到球边，用双手把球推开"。Agent 面板里的 LLM 会把这句话翻译成一份 motion spec，然后由浏览器内的确定性编译器逐帧烘焙。烘焙完还有一套 QA：碰撞检测、脚底滑步（foot slide）、伸手可达性、双手接触点，全在生成之前就检查一遍。

注意这里的分工非常关键：LLM 只负责把自然语言翻译成规格，动作本身是代码算出来的。这跟"让视频模型直接生成运动"是完全不同的思路——可控性来自确定性，而不是来自概率。

Shoot（拍摄）：时间线上放镜头，顶视图上画推轨（dolly rail），设定速度、高度、摇臂，通过镜头监视器看效果。每一个镜头都带一个目标模型标签（Seedance 2.5、Kling 2、Veo 3、自托管 MiniMax-H3），当剪辑时长超出该模型的限制时，会明确标红提示你。

Export（导出）：一次导出打包所有 AI 视频模型需要的东西——首尾关键帧、灰盒参考片、相机 JSON、结构化提示词、深度图与法线图、contact sheet、以及给剪辑软件的 OTIO 剪辑表。

最有分量的是那个灰盒参考片。Seedance 2.5 的官方文档明确写着："Use the white-model reference video as the sole guide for camera movement, pacing, framing, subject motion, and blocking"——白模参考视频是控制运镜、节奏、构图、主体运动和走位的唯一依据。CozyClay 生成的灰盒 RGB 片段，正好就是这个角色。MiniMax H3、Wan 3.0、LTX Desktop、fal 的 render-to-real 也吃同一种片。

对比图是理解这个项目价值的最快路径：左边是灰盒，右边是成片。构图、运镜节奏、人物位置基本一致——这就是"把预演变成模型输入"的意义。

三、类比：它像是给 AI 视频模型的"分镜台 + 场记板"

如果非要用一个生活化的比喻：CozyClay 就是给 AI 视频模型准备的分镜台。

传统流程里，导演在纸上画分镜、在监视器里看预演，然后凭记忆和感觉给摄影下指令，摄影再凭经验还原——中间每一环都有损耗。CozyClay 把这个链条压成一条：你排的每一帧，就是模型收到的每一帧。不存在"还原"这一步。

另一个比喻是它的名字本身——Cozy（舒适）+ Clay（黏土）。灰盒子就是黏土，粗糙、简陋、便宜，但足以承载意图。

四、三种"用 AI 驱动它"的方式

CozyClay 不只是"用了 AI"，它本身也是一个 AI Agent 可以操作的 3D 工具。同一个场景有三个实时驱动入口：

入口	启动方式	适合
内嵌 Agent 面板	Cmd/Ctrl+B	在 Studio 里聊天。可用 ChatGPT 账号登录，或自带 Anthropic / OpenAI / Gemini / MiniMax / OpenRouter / CLIProxyAPI 的 key
MCP 服务器	npx -y cozyclay mcp	Claude Desktop、Claude Code、Cursor 等任意 MCP 客户端
终端 CLI	cclay live status --wait	编码 Agent 驱动正在运行的 Studio，JSON 进 JSON 出

MCP 服务器甚至支持无编辑器模式：场景、相机、提示词、项目文件相关的工具纯内存执行，不需要浏览器、不需要 GPU、不需要构建步骤。

还有一个容易被忽略的能力：从视频或照片里捕捉动作。丢进一段 clip 或一张静态图，GPU 机器上跑 GVHHR 做人体运动捕捉，结果回传到角色身上，带稳定化、接触修正和质量门禁。

五、上手门槛：比想象的低，但有硬性要求

npx cozyclay

这就是全部安装。需要 Node.js 22.19+ 和一个 Chromium 系浏览器。不需要 GPU、不需要 Python、不需要下载模型。 Studio 会在 http://127.0.0.1:5180/app/ 打开。

从源码跑也行：git clone → npm install → npm run dev。

这是相当激进的产品决策——浏览器里跑 Three.js + React Three Fiber 的完整 3D 编辑器，还要做确定性运动编译、IK、contact sheet、OTIO 导出，所有计算都在客户端。好处是零后端、零部署成本、隐私天然留在本地；代价是重型场景的性能完全依赖用户的显卡，而且 npm 包会把构建产物直接分发（files 里明确排除了 dist/media/*.mp4 和 qa 脚本）。

六、争议与局限

1. AGPL-3.0-or-later 是一道商用门槛。 项目明确写明"修改后的网络服务必须向用户提供对应源码"。对独立创作者无碍，但如果一家公司的核心流程依赖它并对外提供服务，许可证合规需要法务认真过一遍。

2. 默认开启 PostHog 匿名遥测。 官网 cozyclay.org 使用 PostHog（US Cloud）采集使用分析，虽然无 Cookie、无会话录制，标识符只存 localStorage 且可清除，但数据出境美国这一点对国内团队是实实在在的合规项。好消息是 cclay telemetry off 可以关掉，文档也写清了具体采集哪些事件（都是分桶计数值，不含具体命令、文本或按键内容）。

3. 依赖链在快速演进。 12.6MB 的 JavaScript、631 个 src 源文件、712 个测试文件、@earendil-works/pi-* 三个包还锁在 1.4.0 的固定版本——这是典型的"每天都在动"的项目。CHANGELOG 已经 69KB，最新提交是 2026-11-01 升级 three 0.187。踩坑风险偏高。

4. 生态仍是早期。 项目 2026-07-28 创建，三个月攒到 1.38k stars、164 forks，11 位贡献者——绝大多数是单一作者（Doyun / HaD0Yun）主导。速度惊人，但也意味着巴士因子接近 1。

5. "预演→模型"链路并不保证结果。 灰盒参考片提升了构图与运镜的可控性，但材质、光照、角色外观、表演细节仍然由模型自由发挥。把它当成"确定性的构图控制"是准确的，把它当成"确定性的成片"就超出了它的能力边界。

6. 硬件依赖分层。 基础预演纯 CPU/浏览器即可，但动作捕捉（GVHMR）、运动生成（Kimodo bridge）、NVIDIA ARDY 这些都需要一台独立的 GPU 机器，npm run dev 需要 CCLAY_KIMODO_HOST 指向它。所以"不需要 GPU"这句话只在预演层面成立。

七、行业意义：AI 视频缺的不是模型，是"上游"

过去一年多，AI 视频模型的能力提升是爆炸式的——但所有人都注意到了同一件事：提示词工程的天花板到了。模型再强，你也无法用自然语言精确描述"摄影机在这个高度以这个速度沿这条轨道推过去，在第 47 帧切到另一个机位"。

CozyClay 代表了一种思路的转变：与其继续榨取提示词的上限，不如把导演的工作前置到一个可视化、可计算、可导出的中间表示层。这个中间表示层就是 3D 场景 + 相机轨迹 + 时间线——人类最擅长的空间表达方式。

从数据看这个方向正在被市场确认：项目 2026 年 7 月底才建，两个多月就破 1.4k stars，官网直接做"Previs software compared"和"Seedance 2.5 camera control"的对比页，说明团队清楚自己的价值锚点在哪——不做生成模型，做模型的输入层。

---

结论：CozyClay 是目前开源预演工具里，唯一把"浏览器内 3D 预演"和"AI 视频模型输入格式"原生打通的方案。部署门槛极低（一条 npx 命令），技术选型现代（Three.js + React Three Fiber + Vite），代码质量在开源同类里相当突出（631 个源文件配 712 个测试文件，含浏览器 QA 测试与 knip 未用代码检查）。主要风险在 AGPL 许可证、默认遥测、快速迭代导致的版本不稳定，以及单一作者主导的维护集中度。

对于需要稳定产出 AI 视频的团队，它值得作为"构图与运镜控制层"进入工具链试评估。