vertex-ai-creative-studio
Google Cloud 官方多模态 AI 媒体工作室，一站式覆盖图像、视频、音乐、语音生成
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
微信扫码咨询客服
POMOAI — 让开源 AI 即刻运行
Google Cloud 官方多模态 AI 媒体工作室，一站式覆盖图像、视频、音乐、语音生成
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
想象一个场景：你是一个独立创作者，想把脑海中的一个 MV 概念变成现实——你手里只有一句歌词。传统流程中，这需要找作曲、录音棚、AI 绘图、AI 视频剪辑，至少横跨 4-5 个工具、3-4 个平台，账号注册、API key 配置、数据导出就耗掉半天。
GenMedia Creative Studio 把这一切收敛到了同一个 Web 界面里。你在浏览器里点点鼠标，就能调用 Google Vertex AI 上的 Veo 3（视频生成）、Lyria（音乐生成）、Gemini Image（图像生成）和 Chirp 3 HD（语音合成），配合 Character Consistency、Shop the Look 等预设工作流，完成从创意到成品的全流程。
这既是 Google 展示自家生成式 AI API 能力的" showroom"（展示厅），也是一个真正可以动手创作的生产力工具。项目在 GitHub 上已有 1100+ stars，核心用户是 AI 创作者、创意工作室和需要快速原型验证的营销团队。
这个项目由 GoogleCloudPlatform 官方团队维护，是 Google Cloud 上生成式媒体 API 的官方参考实现。它的设计目标非常明确：成为 Vertex AI 生成媒体能力的端到端使用范例，涵盖：
代码库本身还是 Google Cloud 上 Mesop 框架（Google 内部自用的 Web UI 框架）最大的生产级参考项目。Mesop 类似于 Flask，但专为零基础前端知识的 Python 开发者设计，可以让后端工程师快速构建交互式 Web 界面，无需写 HTML/CSS/JS。
项目采用 FastAPI 后端 + Mesop 前端 的架构模式，底层跑在 Uvicorn/Gunicorn 上，通过 Docker 容器化部署到 GCP Cloud Run。
main.py (入口，路由注册)
├── app_factory.py (FastAPI app 创建 + Mesop 集成)
├── routers/
│ └── veo_router.py (Veo API 路由)
├── services/
│ ├── veo_service.py (Veo 服务封装)
│ └── c2pa_service.py (内容凭证/C2PA 元数据)
├── models/ (23 个模型封装文件)
│ ├── gemini.py
│ ├── veo.py
│ ├── lyria.py
│ ├── chirp_3hd.py
│ ├── gemini_tts.py
│ ├── image_models.py
│ └── ... (每种媒体类型一个文件)
├── pages/ (40 个 Mesop 页面文件)
│ ├── home.py
│ ├── banana_studio.py (Gemini Image 主页面)
│ ├── veo.py
│ ├── lyria.py
│ ├── chirp_3hd.py
│ ├── character_consistency.py
│ ├── shop_the_look.py
│ └── ... (每个功能一个页面)
└── components/ (43 个 Mesop 可复用组件)
├── gemini_image/
├── veo/
├── lyria/
└── ... (每个 UI 元素独立封装)
关键设计亮点：每个 AI 模型都有独立的 models/xxx.py 封装文件（如 models/veo.py、models/lyria.py），统一封装 API 调用逻辑、参数校验和错误重试，使 pages/ 中的业务逻辑保持简洁。
Mesop 是 Google 内部工具，最大的优势是 Python 开发者友好——你只需要写 Python 函数来定义 UI，Mesop 负责渲染成 HTML/CSS/JS。这对快速构建 AI 应用的 demo 界面非常高效。
但 Mesop 也有一些局限：
对于习惯 FastAPI + React 的团队，理解 Mesop 的"Python-first"哲学是上手的关键。
| 依赖 | 版本要求 | 作用 |
|---|---|---|
| Python | >= 3.14, <3.15 | 必须用 3.14（项目 lock 文件） |
| mesop | >= 0.14.1 | Google 自研 Web UI 框架 |
| fastapi | >= 0.115.12 | API 网关 |
| google-cloud-aiplatform | >= 1.79.0 | Vertex AI API |
| google-genai | >= 1.63.0 | Gemini API |
| firebase-admin | >= 6.6.0 | Firestore 数据库 |
| moviepy | >= 2.0.0 | 视频处理（mp4→gif） |
| opencv-python | 最新 | 图像处理 |
| librosa + praat-parselmouth | 最新 | 音频分析 |
| gunicorn + uvicorn | 最新 | ASGI 服务器 |
| uv | 最新 | 包管理器（pip 的替代品，比 pip 更快） |
项目用 uv（Rust 写的 Python 包管理器）替代了传统的 pip，pyproject.toml 配合 uv.lock 实现确定性安装。本地开发只需 uv sync，构建 Docker 镜像时 RUN pip install uv && uv sync，速度比 pip 快 10 倍以上。
项目使用 ruff（Rust 写的 Python linter，速度比 flake8 快 100 倍）做静态检查，覆盖 Pyflakes、Pycodestyle、isort 等 30+ 规则类别。测试框架为 pytest。代码规范较为严格，整体代码质量评分约 8.3/10。
Gemini Image 是这个项目的主打功能之一，提供了两个版本：
实测中，Flash 版本生成一张 1024x1024 图片通常在 5-10 秒内完成。值得注意的是，Gemini Image 背后调用的是 Gemini 多模态模型的图像生成能力，与纯图像生成模型（如 Imagen/DALL-E）相比，它对文本理解更强，能够更准确地执行复杂的图像指令。
Veo 是 Google DeepMind 的视频生成模型，Studio 中支持三个版本：
生成一个 5 秒 720p 视频通常需要 30-60 秒（取决于队列繁忙程度）。项目还实现了 mp4→gif 的自动转换，方便用户直接分享到社交媒体。
Lyria 是 Google 的音乐生成模型，可以根据文本描述生成音乐片段。适合作为视频背景音乐、配乐素材，或创意灵感触发。生成一段 30 秒音乐大约需要 20-40 秒。
| 特性 | Chirp 3 HD | Gemini TTS |
|---|---|---|
| 音质 | 专业配音级，多音轨 | 端到端神经网络，更自然 |
| 语言支持 | 40+ 种语言 | 支持多语言 |
| 适用场景 | 企业宣传片配音 | 交互式语音助手 |
项目内置了多个预设工作流，降低用户的使用门槛：
项目提供了完整的 Dockerfile，基于 python:3.14-slim，安装 OpenCV 依赖（libgl1, libglib2.0-0），通过 uv 安装依赖，最终用 gunicorn + uvicorn worker 启动。步骤：
.env（PROJECT_ID、GCP 凭据、各模型区域）docker build -t creative-studio .docker run -p 8080:8080 --env-file .env creative-studio本地部署的关键障碍：必须拥有 GCP 项目 + Vertex AI 服务账号 + 各 API 开启权限。没有 GCP 账号就无法运行。
项目提供 cloudbuild.yaml，完整支持 GCP Cloud Build 自动化构建 + Cloud Run 部署流程：
gcloud builds submit → 构建 Docker 镜像gcloud run deploy → 部署到 Cloud Run自动替换 build.json 中的 commit SHA 和时间戳，实现版本可追溯。
项目不需要本地 GPU，所有 AI 推理都在 Google Cloud 的服务器上完成。客户端只需要能运行 Python 3.14 + Docker 的普通机器，内存 4GB+ 即可。但需要稳定的互联网连接（API 延迟直接影响使用体验）。
GenMedia Creative Studio 反映了 2025-2026 年生成式 AI 的几个重要趋势：
如果你在 Google Cloud 生态内，需要快速验证某个 AI 媒体创意，或者想学习如何在 Mesop 中构建复杂的 AI Web 应用，这个项目都是极佳的参考。其代码结构清晰、文档完整，且所有 API 调用的参数说明都很详细。
但如果你的团队不在 GCP 生态内，或者对成本控制要求严格，可能需要寻找不依赖商业 API 的开源替代方案。