VideoLucy：深度记忆回溯——长视频理解的新范式

想象这样一个场景：你花了两个小时看完一部纪录片，现在朋友问你"片中主角第一次出场是在哪个时间点"，你能在不看回放的情况下准确回答吗？人类在处理长视频时，往往只能记住"粗粒度的概貌"，而忽略大量细节。但恰恰是这些被忽略的细节，才是回答精确问题的关键。

VideoLucy 正是为解决这一难题而生。

从粗到细：人类回忆的算法复刻

VideoLucy 的核心灵感来自人类的回忆过程——我们总是先想起"大概发生了什么"，再逐步回溯到"具体细节"。项目提出了层级记忆结构（ Hierarchical Memory Structure），将视频理解分为两个粒度：

• 粗粒度记忆（Coarse Memory）：以低分辨率帧采样，捕捉视频的整体叙事脉络，快速生成全局摘要
• 细粒度记忆（Fine Memory）：在粗粒度基础上，针对相关时间段进行高分辨率帧采样，挖掘隐藏细节

这种由粗入精的设计大幅降低了计算开销——模型无需对整部长视频保持高分辨率注意力，只需在需要时"回溯"到关键片段。

基于 Agent 的迭代回溯机制

仅有层级结构还不够，VideoLucy 还引入了基于 Agent 的迭代回溯机制（Agent-based Iterative Backtracking）。整个推理流程如下：

1. 粗记忆提取：用视觉-语言模型（VLM）从低分辨率帧中提取粗粒度叙事
2. 置信度判断：LLM 基于粗记忆回答问题，判断答案置信度
3. 时间过滤：若置信度不足，基于问题类型（如"什么时候"、"第几次"）筛选相关时间段
4. 细记忆回溯：对筛选出的时间段提取高分辨率细粒度记忆，再次回答
5. 迭代直到收敛：重复步骤 2-4，直到模型给出高置信度答案

这一机制让模型能够主动"发现自己的知识边界"，而非被动等待用户指定关注区域。

技术栈解析

代码结构清晰，核心分为三个模块：

• VLMs/vlm_roles.py：VLM 调用、帧采样、图像处理
• LLMs/llm_roles.py：LLM API 封装、记忆摘要、问答逻辑
• utils.py：日志、答案解析、时间段过滤等工具函数

EgoMem Benchmark：首个超长视频理解评测基准

VideoLucy 团队同步开源了 EgoMem 评测基准，专门针对**超长第一人称视频（Ego-life Video）**设计，数据来源为 EgoLife 数据集。评测重点考察两方面能力：

• 复杂事件理解：跨越数十分钟乃至数小时的时序事件推理
• 细粒度细节捕获：对字幕、文字、物体细节的精准识别

部署体验：Demo 开箱即用

项目提供了一个开箱即用的 demo.py，默认使用 B 站视频链接 + 预设问题进行演示。用户只需：

1. 填写 VLM 模型路径（如 Qwen/Qwen2.5-VL-7B-Instruct）
2. 申请火山引擎 Ark API Key
3. 安装 you-get 用于视频下载
4. 运行 python demo.py

项目还贴心地在 demo_cache 中预置了中间结果缓存，可直接跳过后续推理，加速体验流程。

局限与思考

• 依赖外部 API：Demo 默认使用火山引擎 Ark API 调用 DeepSeek，切换其他 LLM 需要修改代码
• VLM 需本地部署：Qwen2.5-VL-7B 对显存要求较高（建议 16GB+），非消费级显卡难以流畅运行
• 目前仅支持 B 站视频：视频下载模块基于 you-get，对其他平台视频需要自行扩展
• Demo 推理较慢：长视频多帧采样 + 多次 LLM 调用，端到端耗时较长

行业意义

VideoLucy 被 NeurIPS 2025 接收，标志着长视频理解正在成为多模态 AI 的新战场。与传统"全量注意力"方案相比，层级记忆 + 主动回溯的范式在计算效率上具有显著优势。随着 VLM 和 LLM 能力的不断提升，这种"按需深挖"的设计思路有望成为长视频理解的标准架构。

项目链接：https://github.com/worldbench/VideoLucy
论文：arXiv:2510.12422
主页：https://videolucy.github.io