视觉语言大模型与自动驾驶

视觉语言大模型（Vision-Language Model, VLM）正在深刻改变自动驾驶技术的研究范式。传统感知管线依赖封闭词汇的目标检测与分类，而 VLM 通过将视觉理解与自然语言推理能力统一到一个模型中，赋予自动驾驶系统前所未有的语义理解能力、常识推理能力和可解释性。本页面系统介绍 VLM 在自动驾驶领域的核心技术、代表性工作和部署挑战。

1. 开篇介绍

1.1 为什么需要 VLM

传统自动驾驶感知管线采用模块化设计：目标检测输出边界框和类别标签，语义分割输出像素级分类，车道线检测输出几何拟合曲线。这些模块在预定义类别空间内工作良好，但面对真实世界的开放性和长尾性时暴露出根本局限：

• 封闭词汇：检测器只能识别训练集中出现过的类别（行人、车辆、自行车等），面对"散落在路面的家具"、"倒伏的树木"、"施工路障的非标准摆放"等从未见过的物体时无能为力
• 缺乏常识推理：传统管线无法理解"前方学校区域放学时段需要格外谨慎"或"婚礼车队可能集体停车"等需要社会常识的场景
• 不可解释：端到端模型的控制输出对于乘客和安全审计人员而言是完全不透明的"黑盒"
• 长尾场景处理能力不足：罕见但安全攸关的场景（逆行车辆、行人突然倒地、动物横穿）在数据分布中占比极低，传统模型在这些场景下性能严重退化

视觉语言大模型（VLM） 通过在海量图文数据上预训练获得的世界知识和推理能力，为解决上述问题提供了新的技术路径：

• 开放词汇感知：不受预定义类别限制，可以用自然语言描述任意物体和场景
• 常识推理：利用预训练获得的世界知识进行因果推理和风险预判
• 可解释决策：以自然语言输出驾驶决策的理由，支持事后审查和乘客沟通
• 长尾泛化：利用语言的组合性理解从未见过的场景组合

1.2 VLM 与传统感知管线的对比

维度	传统感知管线	VLM 驱动的感知
类别体系	封闭词汇（固定类别数）	开放词汇（自然语言描述）
推理能力	仅模式匹配	具备常识和因果推理
输出形式	结构化（边界框、分数）	结构化 + 自然语言解释
长尾处理	依赖数据覆盖	语言泛化 + 零样本推理
实时性	毫秒级（10–50 ms）	秒级（500–2000 ms）
确定性	高（同输入同输出）	较低（存在生成随机性）
可验证性	可量化评测	难以形式化验证

---

2. 基础模型概述

2.1 Vision Transformer（ViT）

Vision Transformer（ViT） 是 VLM 视觉编码器的基础架构。ViT 将输入图像分割为固定大小的图像块（Patch），将每个 Patch 线性投影为 Token，再经过标准 Transformer 编码器处理：

给定输入图像 \(\mathbf{I} \in \mathbb{R}^{H \times W \times 3}\)，将其分割为 \(N = \frac{HW}{P^2}\) 个大小为 \(P \times P\) 的 Patch，经线性投影得到 Patch 嵌入：

\[\mathbf{z}_0 = [\mathbf{x}_{cls};\ \mathbf{E}\mathbf{x}_1;\ \mathbf{E}\mathbf{x}_2;\ \ldots;\ \mathbf{E}\mathbf{x}_N] + \mathbf{E}_{pos}\]

其中 \(\mathbf{E} \in \mathbb{R}^{D \times (P^2 \cdot 3)}\) 为 Patch 投影矩阵，\(\mathbf{E}_{pos}\) 为位置编码，\(\mathbf{x}_{cls}\) 为可学习的分类 Token。

Transformer 编码器的核心是多头自注意力机制（Multi-Head Self-Attention, MHSA）：

\[\text{Attention}(\mathbf{Q}, \mathbf{K}, \mathbf{V}) = \text{softmax}\!\left(\frac{\mathbf{Q}\mathbf{K}^T}{\sqrt{d_k}}\right)\mathbf{V}\]

其中 \(\mathbf{Q} = \mathbf{z}\mathbf{W}_Q\)，\(\mathbf{K} = \mathbf{z}\mathbf{W}_K\)，\(\mathbf{V} = \mathbf{z}\mathbf{W}_V\) 分别为查询、键、值矩阵，\(d_k\) 为键的维度。自注意力使每个 Patch Token 能够关注图像中所有其他 Patch 的信息，建立全局上下文感知。

2.2 CLIP：对比学习实现视觉-语言对齐

CLIP（Contrastive Language-Image Pre-training） 是 OpenAI 于 2021 年提出的视觉-语言对齐模型，是绝大多数 VLM 的视觉编码器基础。CLIP 使用对比学习在 4 亿图文对上训练，使匹配的图文对在嵌入空间中距离更近，不匹配的图文对距离更远。

CLIP 的训练目标为对称交叉熵对比损失（InfoNCE Loss）：

\[\mathcal{L}_{CLIP} = -\frac{1}{2N}\sum_{i=1}^{N}\left[\log\frac{\exp(\text{sim}(\mathbf{v}_i, \mathbf{t}_i)/\tau)}{\sum_{j=1}^{N}\exp(\text{sim}(\mathbf{v}_i, \mathbf{t}_j)/\tau)} + \log\frac{\exp(\text{sim}(\mathbf{t}_i, \mathbf{v}_i)/\tau)}{\sum_{j=1}^{N}\exp(\text{sim}(\mathbf{t}_i, \mathbf{v}_j)/\tau)}\right]\]

其中 \(\mathbf{v}_i\)、\(\mathbf{t}_i\) 分别为第 \(i\) 个图像和文本的嵌入向量，\(\text{sim}(\cdot,\cdot)\) 为余弦相似度，\(\tau\) 为温度参数。

CLIP 在自动驾驶中的应用场景： - 开放词汇目标检测：无需重新训练即可识别"施工锥桶"、"轮椅"等非标准类别 - 场景分类：判断"高速公路"、"学校区域"、"施工路段"等场景类型 - 异常检测：通过衡量场景与"正常道路"描述的语义距离，检测异常状况

2.3 LLaVA / InternVL 架构

现代 VLM 普遍采用视觉编码器 + 投影层 + 大语言模型（LLM）的三段式架构。以 LLaVA（Large Language and Vision Assistant） 为代表：

输入图像
    │
视觉编码器（CLIP ViT-L/14）
    │
视觉 Token 序列（N 个 Token）
    │
线性投影层（MLP Projector）
    │
映射到 LLM 的词嵌入空间
    │
与文本 Token 拼接
    │
大语言模型（LLaMA / Vicuna）
    │
自然语言输出

InternVL 进一步优化了视觉编码器的规模和分辨率，采用 InternViT-6B（60 亿参数视觉编码器）和动态分辨率策略，支持高达 \(448 \times 448\) 乃至更高分辨率的输入，对自动驾驶中的远距离小目标识别尤为关键。

2.4 多模态 Token 化与跨模态注意力

VLM 的核心设计理念是将视觉和语言统一到同一 Token 空间进行联合推理。跨模态推理通过 Transformer 的交叉注意力实现：

\[\text{CrossAttn}(\mathbf{Q}_{text}, \mathbf{K}_{vis}, \mathbf{V}_{vis}) = \text{softmax}\!\left(\frac{\mathbf{Q}_{text}\mathbf{K}_{vis}^T}{\sqrt{d_k}}\right)\mathbf{V}_{vis}\]

这使得语言 Token 在生成时可以"看到"视觉信息，从而将视觉内容描述为语言、用语言回答关于图像的问题。在自动驾驶场景中，这一机制使模型能够将"前方红色八角形标志"映射到"停车让行"的语义理解。

---

3. 场景理解与描述

3.1 驾驶场景描述（Scene Captioning）

VLM 可以生成对当前驾驶场景的自然语言描述，将复杂的视觉信息压缩为结构化的语义摘要。与传统感知模块输出的目标列表不同，场景描述能够捕捉场景级语义：

传统感知输出:
  - 检测目标: {car: 3, pedestrian: 1, traffic_light: red}
  - 车道线: {left: solid_white, right: dashed_white}

VLM 场景描述:
  "当前车辆行驶在双向四车道城市道路上，前方约 30 米处红灯亮起，
   有三辆车排队等候。右侧人行横道上一名行人正准备过街，手中
   提着大件行李，步行速度较慢。左侧为实线，禁止变道。"

场景描述提供了传统感知无法表达的信息维度：行人意图推断（"正准备过街"）、物体属性细节（"手中提着大件行李"）、交通规则解读（"禁止变道"）。

3.2 上下文感知的标志与信号识别

传统交通标志识别系统依赖分类器输出标志类别，但无法理解标志与当前驾驶上下文的关系。VLM 能够实现上下文感知的语义理解：

• 识别"前方学校区域，限速 30 km/h"的同时判断当前是否为上学/放学时段
• 理解"此路段施工，限速 20 km/h"与周围施工设备的一致性
• 解读非标准标志（手写的临时指示牌、地面涂写的箭头）

3.3 道路拓扑与布局理解

VLM 对道路结构的理解超越了传统的车道线检测。模型可以推理出：

• 路口类型（十字路口、丁字路口、环形交叉路口）及通行规则
• 匝道入口/出口的合流区域和加速车道长度
• 非结构化道路（乡村道路、工地临时便道）的可通行区域

3.4 异常场景识别

长尾异常场景是 VLM 最具价值的应用场景之一。传统检测器在以下场景中通常完全失效，而 VLM 利用预训练知识可以进行合理推断：

异常场景	传统方案表现	VLM 方案表现
道路坍塌	无法识别（不在训练类别内）	可描述并判断风险等级
消防车横停封路	可检测车辆但无法理解意图	理解封路意图并规划绕行
行人举牌指挥交通	仅检测为行人	理解指挥手势含义
动物群横穿公路	部分可检测	判断群体行为和等待策略
积水路段反光	可能误检为路面标线	识别积水并评估深度风险

3.5 代表性工作

DriveGPT4（Xu et al., 2023）： 基于多模态大模型对驾驶视频进行细粒度理解，能够回答关于驾驶场景的自由形式问题，输出包含场景描述、风险分析和驾驶建议的结构化文本。

Talk2BEV（Dewangan et al., 2023）： 将 VLM 与 BEV 感知结合，允许用户用自然语言查询 BEV 地图上的信息（如"距离最近的可用停车位在哪里？"），并在 BEV 视图上可视化回答。

---

4. 基于 VLM 的决策与规划

4.1 语言作为中间表征

传统规划系统的中间表征为数值化的代价图（Cost Map）或轨迹集合，而 VLM 驱动的规划系统使用自然语言作为中间表征。这一范式转变的核心优势在于：

• 可解释性：决策推理过程以人类可读的文字呈现，支持事后审计和实时监控
• 组合泛化：语言的组合性使模型能够处理从未见过的场景组合（如"施工区域内的逆行电动车"）
• 跨域迁移：语言描述的驾驶策略可以跨越不同地理区域和交通法规体系

4.2 链式推理（Chain-of-Thought）驾驶决策

思维链推理（Chain-of-Thought, CoT） 要求模型在输出最终控制指令前显式输出中间推理步骤：

\[\text{Image} \xrightarrow{\text{VLM}} \underbrace{\text{场景描述} \to \text{风险评估} \to \text{决策意图} \to \text{行动计划}}_{\text{可审查的推理链}} \xrightarrow{\text{Planner}} \text{轨迹}\]

典型的 CoT 推理输出示例：

[场景描述] 当前行驶在城市主干道右车道，前方 50m 处公交车靠站停车，
          左侧车道有持续车流。
[风险评估] 公交车可能长时间停车，后方乘客可能从车前方横穿道路。
          左侧车道车流密度中等，存在变道窗口。
[决策意图] 等待左侧车流间隙后变道至左侧车道，绕过停靠的公交车。
[行动计划] 先减速至 25 km/h，打左转向灯，在安全间隙出现时变道。

4.3 代表性工作

DriveVLM（Tian et al., 2024）： 采用"慢思考-快执行"双系统架构：

• 慢系统（VLM）：理解复杂场景语义，生成高层驾驶决策描述（约 500 ms–1 s）
• 快系统（轨迹网络）：将文字决策编码为条件向量，输入高效的轨迹生成网络，输出毫秒级可执行轨迹

这一设计解耦了语义理解（允许较高延迟）和运动控制（必须实时），是目前最具工程可行性的 VLM 驾驶架构。

GPT-Driver（Mao et al., 2023）： 将运动规划建模为自然语言生成任务。给定当前场景的文字描述和历史轨迹的 Token 序列，GPT-3.5 直接生成未来轨迹的 Token 序列：

\[\text{Trajectory} = \text{LLM}(\text{Prompt}_{scene},\ \text{Tokens}_{history})\]

轨迹 Token 被设计为离散化的航路点坐标（\(x, y\) 量化为字符串），LLM 以自回归方式逐步生成。GPT-Driver 在 nuScenes 数据集上证明了 LLM 具备运动规划的基本能力，但其推理延迟（>1 s）远超实时要求。

LanguageMPC（Sha et al., 2023）： 将 LLM 用于高层决策，输出模型预测控制（MPC）的参数调整指令，而非直接输出轨迹。LLM 的输出形如"增大跟车距离权重，降低变道倾向"，由下游 MPC 控制器执行，实现了语言与经典控制的结合。

LMDrive（Shao et al., 2023）： 端到端的多模态驾驶模型，支持自然语言导航指令输入。模型接受多视角摄像头图像和 LiDAR 点云作为感知输入，同时接受自然语言导航指令（如"在下一个路口右转"），直接输出控制指令。

---

5. 数据标注与闭环

5.1 VLM 辅助自动标注

数据标注是自动驾驶开发中最昂贵的环节之一。VLM 可以大幅降低标注成本和提升标注质量：

场景级标签生成： VLM 自动为每一帧驾驶数据生成场景标签（"市区拥堵"、"高速自由流"、"雨天施工区"），支持后续的场景检索和数据均衡采样。

开放词汇目标标注： 利用 VLM 的零样本检测能力，自动标注传统标注流程中遗漏的非标准物体（路面碎片、非机动车上的超大货物、临时路障）。

标注质量审核： VLM 可以作为"标注审核员"，检查人工标注的一致性和完整性：

• 检测漏标：VLM 发现图像中存在人工标注未覆盖的目标
• 检测错标：VLM 与人工标注的类别不一致时触发复核流程
• 语义完整性：检查标注的属性信息是否与视觉内容一致（如速度标注与运动模糊程度是否匹配）

5.2 困难样本挖掘

VLM 可以通过语义理解进行智能的困难样本挖掘（Corner Case Mining）：

\[\text{Difficulty}(x) = \alpha \cdot H_{VLM}(x) + \beta \cdot D_{semantic}(x, \mathcal{X}_{normal}) + \gamma \cdot \mathbb{1}[\text{VLM disagrees with detector}]\]

其中 \(H_{VLM}(x)\) 为 VLM 对场景 \(x\) 的描述困惑度（Perplexity），\(D_{semantic}\) 为场景与正常数据的语义距离，最后一项为 VLM 与传统检测器结果的不一致指标。高难度样本被优先选入下一轮训练集。

5.3 主动学习闭环

VLM 驱动的主动学习构成完整的数据闭环：

量产车队实时数据流
        │
VLM 在线语义分析（边缘端或云端）
        │
    ┌───┴───┐
 正常场景   困难/异常场景
 （丢弃）    │
         优先回传至数据中心
              │
         VLM 自动标注 + 人工复核
              │
         加入训练集，更新模型
              │
         OTA 推送至量产车队
              │
         新一轮数据采集

---

6. 人机交互

6.1 自然语言导航指令

VLM 使自动驾驶系统能够理解自然语言形式的导航指令，超越传统的地址输入或地图点选：

指令类型	示例	技术挑战
地标参照	"在星巴克旁边的路口左转"	需要识别商铺并定位
相对方位	"停在前面第二个红色建筑前"	需要序数理解和视觉定位
条件指令	"如果前面堵车就走辅路"	需要实时交通状态判断
模糊指令	"找个安全的地方靠边停车"	需要综合判断安全性
偏好表达	"走风景好的路线"	需要主观审美理解

6.2 决策解释与乘客沟通

VLM 可以实时向乘客解释自动驾驶系统的行为决策，提升乘客信任度和舒适感：

[系统行为] 车辆突然减速

[传统系统反馈] "正在减速"

[VLM 增强反馈] "前方约 80 米处检测到一辆快递三轮车正在右侧车道
               卸货，可能会有人员走出，因此提前减速以确保安全。
               预计 5 秒后恢复正常行驶速度。"

决策解释的质量直接影响用户对系统的信任度。研究表明，提供原因说明的自动驾驶系统相比仅提供行为通知的系统，乘客主观安全感评分提升约 35%。

6.3 语音交互与安全约束

语音是车内人机交互的最自然方式，VLM 使语音指令的理解能力从简单命令拓展到复杂语义：

• 安全优先级：任何语音指令的执行必须通过安全性校验，VLM 理解指令意图后由安全模块判断是否可执行
• 指令消歧：当指令存在歧义时（"停在那里"——哪里？），VLM 结合视觉上下文进行消歧，或主动请求澄清
• 拒绝不安全指令：当乘客指令可能导致危险（"直接闯过去"），系统应拒绝执行并给出合理解释

---

7. 部署挑战

7.1 延迟约束

VLM 的推理延迟是部署到自动驾驶系统中最大的工程障碍。自动驾驶控制回路的典型时序要求为：

模块	延迟要求	VLM 典型延迟	差距
紧急制动决策	< 20 ms	—	不适用（独立安全系统）
感知检测	< 50 ms	200–800 ms	4–16x
轨迹规划	< 100 ms	500–2000 ms	5–20x
场景理解（非实时）	< 500 ms	500–2000 ms	可接受

主流解决方案是异步分层架构：VLM 以较低频率（1–2 Hz）运行场景理解和高层决策，其输出缓存为"场景上下文"，供高频率（10–20 Hz）的传统规划模块使用。

7.2 模型压缩

将数十亿参数的 VLM 部署到车载计算平台需要系统性的模型压缩：

量化（Quantization）： 将模型参数从 FP32/FP16 降低到 INT8 或 INT4：

\[\mathbf{W}_{quant} = \text{round}\!\left(\frac{\mathbf{W} - \min(\mathbf{W})}{\Delta}\right), \quad \Delta = \frac{\max(\mathbf{W}) - \min(\mathbf{W})}{2^b - 1}\]

其中 \(b\) 为量化位宽。INT4 量化可将模型体积压缩约 8 倍，推理速度提升 2–4 倍，精度损失通常在 1–3% 以内。

知识蒸馏（Knowledge Distillation）： 用大型 VLM（教师模型）的输出监督训练小型模型（学生模型）：

\[\mathcal{L}_{KD} = \alpha\, \mathcal{L}_{CE}(y, \hat{y}_{student}) + (1-\alpha)\, \tau^2\, D_{KL}\!\left(\frac{\hat{y}_{teacher}}{\tau} \Big\| \frac{\hat{y}_{student}}{\tau}\right)\]

其中 \(\tau\) 为温度参数（通常取 2–5），用于软化概率分布，使学生模型能学到教师模型的"暗知识"。

LoRA（Low-Rank Adaptation）： 冻结预训练权重，仅在每层插入低秩分解的可训练矩阵进行微调：

\[\mathbf{W}' = \mathbf{W}_0 + \mathbf{B}\mathbf{A}, \quad \mathbf{B} \in \mathbb{R}^{d \times r},\ \mathbf{A} \in \mathbb{R}^{r \times d},\ r \ll d\]

LoRA 将可训练参数量降低至原模型的 0.1%–1%，在驾驶场景微调中可显著降低训练和部署成本。

7.3 边缘部署与云边协同

部署方案	优势	劣势	适用场景
纯边缘端	无网络依赖，低延迟	算力受限，模型规模有限	高速公路、隧道等无信号区域
纯云端	算力充足，可运行最大模型	网络延迟不确定，断网风险	低速园区、固定路线
云边协同	兼顾算力和实时性	系统复杂度高	量产主流方案

云边协同的典型分工：

• 边缘端：运行轻量化感知模型（INT8 量化），执行实时控制（10–100 Hz）
• 云端：运行完整 VLM，处理困难场景分析、数据标注、模型更新（1–2 Hz，异步）

7.4 安全回退机制

当 VLM 不可用（推理超时、模型异常、网络中断）时，系统必须具备完整的安全回退（Fail-safe）机制：

• 降级运行：回退到传统规则-based 感知和规划管线，仅丧失 VLM 提供的高级语义能力
• 最小风险状态（MRC）：在无法确保安全行驶时，自动执行靠边停车或减速停车操作
• VLM 输出置信度监控：当 VLM 输出的困惑度超过阈值或生成内容与多帧一致性检查不符时，自动忽略 VLM 输出

7.5 计算成本分析

模型	参数量	车端推理硬件	单帧延迟	功耗
CLIP ViT-L/14	400M	NVIDIA Orin	~30 ms	~15 W
LLaVA-7B (INT8)	7B	NVIDIA Orin (双芯)	~400 ms	~60 W
InternVL-2B (INT4)	2B	NVIDIA Orin	~150 ms	~30 W
GPT-4V (云端)	~1.8T (推测)	A100 集群	~1500 ms	N/A

---

8. 代表性工作对比

下表汇总了当前 VLM 与自动驾驶交叉领域的核心工作：

系统	年份	架构	输入模态	核心任务	骨干模型	关键特点
DriveVLM	2024	双系统（慢/快）	多视角图像	场景理解 + 规划	InternVL	慢思考-快执行分离
GPT-Driver	2023	LLM 直接生成	文本化场景	运动规划	GPT-3.5	轨迹 Token 化
DriveGPT4	2023	多模态 LLM	驾驶视频	场景问答	LLaMA + CLIP	视频级理解
LMDrive	2023	端到端多模态	图像 + LiDAR + 语言	导航 + 控制	LLaMA-7B	语言指令驱动
DriveLM	2024	图结构 VQA	多视角图像	推理链规划	LLaVA	感知-预测-规划图
LanguageMPC	2023	LLM + MPC	文本化场景	高层决策	GPT-4	LLM 调节 MPC 参数
Talk2BEV	2023	VLM + BEV	图像 + BEV 地图	场景查询	LLaVA	自然语言查询 BEV
Dolphins	2023	多模态 LLM	驾驶视频	场景理解 + 推理	OpenFlamingo	驾驶专用微调

各系统在 nuScenes 等标准数据集上的性能对比（部分结果来自各论文报告，评测条件可能不完全一致）：

系统	场景描述准确率	规划 L2 误差 (3s)	碰撞率 (3s)	推理延迟
DriveVLM-Dual	78.3% (GPT-4 评分)	0.68 m	0.03%	~600 ms
GPT-Driver	—	0.94 m	0.08%	> 1000 ms
DriveLM	71.2% (BLEU-4)	0.82 m	0.05%	~800 ms
LMDrive	—	0.91 m	0.06%	~500 ms
传统端到端（UniAD）	—	0.88 m	0.48%	~550 ms

---

9. 展望与挑战

9.1 幻觉风险

幻觉（Hallucination） 是 VLM 在安全攸关系统中最严重的风险。VLM 可能"虚构"不存在的障碍物、错误描述交通状况、或遗漏关键风险要素：

• 目标幻觉：报告图像中不存在的行人或车辆，可能导致不必要的急刹车
• 属性幻觉：错误描述交通灯颜色（将绿灯描述为红灯），直接威胁行车安全
• 遗漏幻觉：未提及实际存在的危险物体，导致系统对真实风险视而不见

缓解策略包括：多帧一致性校验、传统检测器结果交叉验证、VLM 输出的置信度估计与阈值过滤。然而，完全消除幻觉在当前技术水平下尚不可行，这也是 VLM 不应作为安全决策唯一来源的根本原因。

9.2 时序推理局限

当前主流 VLM 以单帧或短序列（4–8 帧）图像为输入，缺乏对长时序动态的建模能力：

• 无法可靠追踪目标的运动轨迹和行为意图变化
• 难以理解跨秒级的因果关系（如"那辆车 3 秒前开始加速，可能正准备变道"）
• 对周期性行为（交通灯变换周期、行人犹豫后的决策）的预测能力有限

未来方向包括：视频 VLM（处理长视频序列）、与世界模型结合的时序推理、短期记忆机制的引入。

9.3 多智能体协调

当多辆自动驾驶车辆共享同一路段时，VLM 的推理需要考虑多智能体博弈：

\[a_i^* = \arg\max_{a_i} \mathbb{E}\left[R_i(a_i, a_{-i}) \mid s, \text{VLM}_{context}\right]\]

其中 \(a_i\) 为自车行动，\(a_{-i}\) 为其他车辆行动，\(s\) 为当前状态。VLM 需要理解其他驾驶员的意图（"那辆车正在犹豫是否让行"）并做出合理的博弈决策。这要求 VLM 具备心智理论（Theory of Mind）能力，即理解他者意图的能力。

9.4 法规与伦理

VLM 在自动驾驶中的应用引发了新的法规和伦理问题：

• 决策可追溯性：事故发生后，VLM 的推理链是否具有法律效力？如何保存和审计？
• 责任归属：当 VLM 输出错误的场景描述导致事故时，责任归于 VLM 开发者、系统集成商还是整车制造商？
• 数据隐私：VLM 对场景的语言描述可能包含行人面部、车牌等隐私信息
• 偏见与公平：预训练数据中的地域偏见可能导致模型在某些地区或场景下表现不均衡

9.5 未来方向

1. 实时化：通过专用硬件加速器（如 NPU 优化的注意力计算）和模型架构创新（稀疏注意力、线性注意力）将 VLM 推理延迟降低到 100 ms 以内
2. 具身对齐：通过大规模驾驶仿真数据训练 VLM，使其语言推理与物理世界规律精确对齐，减少幻觉
3. 多模态融合：将 LiDAR 点云、高精地图、V2X 信息等更多模态纳入 VLM 输入，增强空间推理能力
4. 安全保证：开发 VLM 输出的形式化验证方法，建立从自然语言推理到安全约束的可证明映射
5. 端云一体：设计支持动态负载分配的 VLM 推理框架，根据场景复杂度自动调整边缘端和云端的计算分配

---

参考资料

1. A. Dosovitskiy et al. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (ViT). ICLR, 2021.

2. A. Radford et al. Learning Transferable Visual Models From Natural Language Supervision (CLIP). ICML, 2021.

3. H. Liu et al. Visual Instruction Tuning (LLaVA). NeurIPS, 2023.

4. Z. Chen et al. InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks. CVPR, 2024.

5. Y. Tian et al. DriveVLM: The Convergence of Autonomous Driving and Large Vision-Language Models. arXiv:2402.12289, 2024.

6. J. Mao et al. GPT-Driver: Learning to Drive with GPT. arXiv:2310.01415, 2023.

7. Z. Xu et al. DriveGPT4: Interpretable End-to-End Autonomous Driving via Large Language Model. arXiv:2310.01412, 2023.

8. H. Sha et al. LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving. arXiv:2310.03026, 2023.

9. H. Shao et al. LMDrive: Closed-Loop End-to-End Driving with Large Language Models. arXiv:2312.07488, 2023.

10. S. Wang et al. DriveLM: Driving with Graph Visual Question Answering. ECCV, 2024.

11. V. Dewangan et al. Talk2BEV: Language-Enhanced Bird's Eye View Maps for Autonomous Driving. arXiv:2310.02251, 2023.

12. Y. Ma et al. Dolphins: Multimodal Language Model for Driving. arXiv:2312.00438, 2023.

13. E. J. Hu et al. LoRA: Low-Rank Adaptation of Large Language Models. ICLR, 2022.

14. G. Hinton et al. Distilling the Knowledge in a Neural Network. NIPS Workshop, 2015.