🎬 VibeFilming：让 AI 当导演，一句话出专业级短片

你有没有过这样的困扰：看到一段很酷的 AI 视频，也想模仿着做一个同款，却发现要写 Prompt、调参数、拆镜头、保证角色一致性……每一道工序都是门槛，做出来的东西离"专业"二字差得远。

VibeFilming 解决的就是这个问题——你不需要懂任何视频制作知识，只需要说一句话，它就能端到端地把短片做出来，从剧本、角色、镜头、拍摄、AI 审片、返工重拍，到剪辑拼接、配乐字幕，全链路自动完成，直接交付一个可以直接发布的 final.mp4。

这不是普通的 AI 生成视频工具，而是一个有判断力的 AI 导演 Agent——它会自己审片、自己返工、同一个坑不踩第二次。

一、从"给你素材"到"给你成片"

传统的 AI 视频工具（比如 Midjourney + Runway 组合）本质上是一种"素材生成器"——它们能帮你生成一段视频片段，但后续的镜头拆分、角色一致性控制、剪辑节奏、配乐选择，都需要你手动完成。这些工作恰好是视频制作中最耗时、最考验经验的部分。

VibeFilming 的核心思路是：把导演的判断力注入 AI 流程。它的 Agent 不是简单调用模型出图出视频就完了，而是有一个完整的"导演主循环"——规划脚本 → 拆解分镜 → 建立角色参考 → 逐镜拍摄 → AI 审片 → 不合格就返工重拍 → 拼接成片 → 配 BGM。

用大白话说：别人给你一块生肉，VibeFilming 给你一盘端上桌的菜。

二、技术架构：Agent 主循环 + 技能沉淀双引擎

VibeFilming 的架构可以分为三层：

1. Agent 主循环（agent_loop.py）

这是整个系统的"大脑"，负责调度 LLM 判断 + 执行工具 + 管理多轮对话状态。核心是一个基于 Generator 的协程主循环，支持：

• 工具调度：通过 BaseHandler 将 LLM 的 function calling 分发到对应工具（do_* 方法），支持插件扩展
• 多轮对话：支持最多 40 轮（默认）的 Agent 自主推理，每 10 轮重置一次工具描述避免上下文膨胀
• 截断恢复：若模型输出达到 max_tokens 被截断，自动从断点继续而非重新开始
• Hook 机制：支持 plugins/hooks.py 注册前置/后置钩子，可插入日志、监控、自定义逻辑

2. LLM 调用层（llmcore.py）

统一封装了火山方舟 Ark API 的调用逻辑，支持多种模型协同工作：

模型	用途
DeepSeek V4 Pro	Agent 推理、脚本规划、分镜拆解
Seed-Pro VLM	看图审片，判断角色/场景/情绪
Seedream	生成角色三视图、场景图、关键帧
Seedance	多镜头视频生成、参考图驱动拍摄
BigMusic	自动生成整片 BGM

这里有一个设计亮点：系统默认不出音轨，BGM 在成片生成后统一追加，避免生成阶段的声音干扰视频内容判断。

3. 导演经验技能库（skills/）

VibeFilming 把"如何当导演"的经验写成一篇篇 SKILL.md 文件，内核按需读取这些技能。修改拍摄思路不需要改代码——改 md 文件，下次对话即生效。这种"经验即代码"的沉淀方式，让系统越用越聪明。

图1：工作流画布实时展示每个节点的执行状态与产物

图2：多视角参考包帮助 AI 理解空间关系，避免镜头跳戏

三、本地 Web UI：全程可视化，不再黑盒等待

VibeFilming 启动后同时运行两个本地 Web 服务：

• VibeFilming Studio（http://127.0.0.1:8764/）：左侧对话 + 右侧实时工作流画布，剧本、编导方案、角色参考、故事板、视频渲染、AI 审片结果——每个节点随进度自动刷新
• Canvas 看板（http://127.0.0.1:8765/canvas.html）：纯看板视图，适合旁听 Agent 工作状态

核心 Web 服务基于轻量级 Python 框架 bottle 实现，无需额外依赖。

四、六个关键能力，告别"AI 出图靠抽卡"

🧙 不写 Prompt，说人话就行

VibeFilming 在调用生成模型之前，有一个"Prompt 补全"步骤，由 DeepSeek V4 Pro 自动补齐：主体定义、镜头语言、动作顺序、四层质感框架、情绪微表情链路。内置四层质感框架专门针对几个高频翻车点：多主体分不清、角色中途变样、给了三视图却只写名字。

🧊 多镜头不跳戏

每个场景强制建立多视角参考包 + blocking 走位图，把站位、动线、门内外关系画清楚再开拍；站位不对时用图 + 文字双通道纠正——图锁空间、文字锁语义。

🧐 AI 自审片，不靠抽卡

每张图、每段视频、每版成片都进 AI 审片（Seed-Pro VLM）。如果发现"该出现的角色/道具根本没出现"，不是删参考硬凑，而是自动回补资产、更新方案再重拍。

✏️ 改片也说人话

"第二镜慢一点"、"结尾字幕去掉"、"整体调暖一点"——Agent 自己判断重生成哪一镜、该编辑还是重画、要不要重拼。

⚡ 适合拆的并行拍

适合拆镜头的片子，自动拆镜头、并行拍、并行审；只有真要承接上一段画面才走串行。

🎧 BGM 走后期，不脑补

整片 BGM 在最后一步统一生成（火山 BigMusic），避免中途生成声音对判断造成干扰。

五、部署体验：3 步搞定，门槛极低

# 1. 克隆 + 一键安装
git clone https://github.com/wangzai-double-milk/Vibefilming.git
cd Vibefilming && bash setup.sh

# 2. 填 Key：编辑 vibefilming.config.json
# 填入火山方舟 ark.api_key

# 3. 启动
source .venv/bin/activate
python3 agentmain.py

环境要求：Python 3.10~3.13、ffmpeg、火山方舟 Ark API Key。

六、局限与注意事项

1. 全流程依赖火山方舟 API：不支持 OpenAI、Anthropic 等其他模型提供商
2. ffmpeg 需手动安装：setup.sh 不包含 ffmpeg，需要系统级包管理器安装
3. 无 Docker 支持：没有 Dockerfile 或 docker-compose，不支持容器化快速部署
4. BGM 服务需单独开通：火山 BigMusic 需要在控制台开通"音乐生成"服务

七、行业意义：从"AI 工具"到"AI 员工"的跨越

VibeFilming 最有价值的地方，不是用了什么模型，而是把 AI 从一个被动工具变成了一个有判断力的主动执行者。传统 AI 工具是：你给输入，它给输出，你来决定好不好。VibeFilming 是：你给目标，它自己规划、自己执行、自己审片、自己返工，你只需要说"可以"或"再改改"。

这种"AI 导演 Agent"的模式，代表了 AI 应用从单点工具向端到端自动化流程演进的趋势。技能库可热更新的设计，让领域经验可以像代码一样版本管理和共享，为专业视频创作领域的 AI 辅助提供了一个可复用的框架。

---

一句话总结：VibeFilming 是一个基于火山方舟生态的 AI 导演 Agent，一句话输入，专业短片输出，带实时可视化画布和对话式改片能力，适合想要零门槛做 AI 短片、且对成片质量有要求的创作者。