上海交大 LLM4AD：自动驾驶的大语言模型知识库航母

想象一下：你是一名自动驾驶算法工程师，正在研究如何在端到端自动驾驶中让视觉-语言模型(VLM)理解复杂的交通场景语义。你打开Google Scholar一顿猛搜，发现论文分散在arXiv、IEEE、顶级会议各处，还要手动整理作者、机构、数据集链接——光是收集文献就花了两天。这是2024年以前无数研究者的真实困境。

2023年11月，上海交通大学ReThinklab实验室发布了一个持续更新的Awesome列表项目——Awesome-LLM4AD（LLM for Autonomous Driving），试图用一份精心维护的GitHub README，将LLM在自动驾驶领域的前沿研究全部串联起来。短短一年半，收获1847颗星，成为该领域最具影响力的资源聚合仓库之一。

图1：LLM4AD概念全景图，展示了大型语言模型如何与自动驾驶感知-决策链路融合。

一、项目背景与维护团队

该项目由上海交通大学ReThinklab实验室（Thinklab-SJTU）主导维护，核心联系人是杨振捷（yangzjie@sjtu.edu.cn）和贾松松（jiaxiaosong@sjtu.edu.cn）。实验室同时发布了该领域的综述论文（arXiv:2311.01043），被引用次数持续增长。

LLM4AD的核心目标是构建一个统一的框架，涵盖三类技术路线：

• LLM4AD：纯语言模型在自动驾驶决策中的应用
• VLM4AD（Vision-Language Models for AD）：视觉-语言多模态模型，理解场景图像并输出语言描述或决策
• VLA4AD（Vision-Language-Action Models for AD）：端到端的视觉-语言-动作模型，直接输出控制指令

这三个方向构成了从感知理解到动作执行的完整技术栈。

二、收录内容与数据规模

截至2026年中，该项目已收录数百篇论文，涵盖以下核心分类：

分类	说明
Perception	感知任务：目标检测、语义分割、场景理解
Prediction	轨迹预测：行人、车辆意图识别与轨迹预测
Planning	规划决策：路径规划、行为决策、运动控制
Simulation	仿真环境：世界模型、仿真器、数据集构建
VLA/World Model	视觉-语言-动作模型与世界模型前沿
Evaluation	基准评测：数据集、评估指标、排行榜

每篇论文的条目格式严格，包含：作者、机构、arXiv链接、代码仓库、数据集、发布时间、核心摘要、关键指标。读者无需跳转即可获取论文全貌。

数据集资源

除了论文，项目还收录了自动驾驶领域的主流数据集：

• nuScenes：最广泛使用的多模态自动驾驶数据集，覆盖激光雷达、相机、雷达等多传感器数据
• NAVSIM：英伟达推出的导航仿真基准，侧重闭环规划评测
• nuPlan：规划任务专项数据集，提供大量真实驾驶场景
• Bench2Drive：上海交大自研的闭环驾驶评测基准
• PotentialRiskQA：专门针对「看不见的风险预判」场景的视觉问答数据集
• CAR-Scenes：语义VLM数据集，5000+帧标注，28类语义知识库
• IEDD：交互增强驾驶数据集，解决VLA模型中多模态对齐稀疏的问题

三、技术趋势：从感知到世界模型

通过梳理项目中的论文脉络，可以清晰看到2024-2026年LLM4AD领域的三代技术演进：

第一代：LLM作为规划器（2023-2024）

以GPT4Drive、LLM-Driver为代表，让大语言模型直接输出驾驶决策（如「减速」「左转」）。优点是具备可解释的推理链，缺点是缺乏真实世界感知能力，容易产生幻觉。

第二代：VLM感知+LLM推理（2024-2025）

以DriveLM、PromptDrive为代表，用视觉编码器提取图像特征，LLM进行场景理解和规划。关键创新在于将3D检测、轨迹预测等感知任务与语言推理对齐，形成多任务统一框架。

第三代：VLA端到端（2025-2026）

以SparseWorld、DriveWAM为代表，使用视频扩散Transformer直接建模「感知→决策」端到端链路。DriveWAM将预训练视频扩散模型改造为自回归视频-动作策略，保持视频生成架构用于动作生成，在NAVSIM达到SOTA。

四、代表性工作详解

SparseWorld：稀疏世界模型的开山之作

（arXiv:2605.24354）提出稀疏世界模型概念：传统世界模型预测全场景，而SparseWorld只预测关键场景元素（道路边界、行人、车辆意图），通过Sparse Dreamer+时空联合注意力实现未来预测，nuScenes开环规划碰撞率仅0.05%。

TPS-Drive：对抗VLM幻觉

（arXiv:2605.27038）针对VLM自动驾驶中常见的「空间幻觉」和「表征干扰」问题，提出任务引导表征净化框架TPS-Drive。通过代理中心tokenizer（Agent-Centric Tokenizer）+任务引导向量量化，将有限的codebook容量从静态背景重新分配给动态目标，在NAVSIM达到SOTA安全性能。

PEDESTRIANQA：行人意图预测新范式

（arXiv:2605.24562）将行人意图预测重新定义为视觉问答任务，提供了大规模视频QA数据集，证明在PEDESTRIANQA上微调VLM可显著提升意图分类和轨迹预测准确率。

DriveWAM：视频扩散动作策略

（arXiv:2605.28544）将预训练视频扩散Transformer改造为自回归视频-动作策略，引入了场景演化驾驶引导（frozen VLM生成语义意图）和选择性KV记忆（有限长时horizon rollout），在NAVSIM和PhysicalAI-Autonomous-Vehicles达到强规划性能，数据Scaling实验证实了Scaling潜力。

五、项目定位与使用建议

适合谁使用？

• 自动驾驶研究方向的学生/研究员：快速了解领域全貌，避免重复造轮子
• AI产品经理/投资人：把握LLM+自动驾驶赛道的技术成熟度
• 工业界算法工程师：查找特定任务的主流方案和数据集

如何使用？

该项目本质上是Markdown格式的静态页面，无需安装任何依赖：

1. 直接访问GitHub页面浏览
2. Ctrl+F搜索关键词（如特定数据集、任务类型）
3. 按时间线排序查看最新论文
4. 通过论文内嵌的arXiv/代码链接跳转到原始资源

局限性

1. 非实时更新：依赖维护者手动PR，论文更新存在延迟
2. 缺乏搜索功能：纯Markdown无法按任务/数据集/精度等维度筛选
3. 中文资料少：论文解读以英文为主，中文读者可能需要额外翻译

六、行业意义

Awesome-LLM4AD的出现，标志着LLM4AD从「学术单点突破」走向「系统工程化整合」。项目所聚合的论文网络，展示了三个关键趋势：

1. 多模态融合是必由之路：纯语言模型的规划能力远不如VLM，而VLA端到端正在成为新范式
2. 世界模型从游戏走向物理世界：视频扩散Transformer在自动驾驶闭环控制上展现了Scaling潜力
3. 安全可解释性成为核心竞争力：从黑盒预测到「看见潜在风险」（PotentialRiskQA），可解释的安全推理是下一阶段重点

对于想要进入自动驾驶AI领域的研究者和开发者，Awesome-LLM4AD是目前最全面的「地图」——它不教你造车，但它告诉你这条路上有哪些里程碑式的论文、哪些关键数据集值得使用，以及整个领域正往哪个方向演进。