仿真评估指标

指标的解释取决于闭环模式、场景分布和统计分母。配对回归、挑战集与 VLA 语言—动作联合测试的组织方式见闭环仿真与策略评测。

自动驾驶仿真系统的核心价值在于能够系统性地评估算法性能。本章介绍仿真环境中常用的评估指标体系，涵盖安全性、舒适性、效率性、覆盖性、合规性和感知性能等多个维度，并讨论基准测试方法与统计显著性分析。

---

1. 安全性指标

安全性是自动驾驶系统最核心的评估维度。仿真环境允许我们在不产生真实风险的前提下，量化系统在各类危险场景中的表现。

1.1 碰撞率（Collision Rate）

碰撞率定义为在所有仿真场景中发生碰撞的比例：

\[ R_{\text{collision}} = \frac{N_{\text{collision}}}{N_{\text{total}}} \times 100\% \]

其中 \(N_{\text{collision}}\) 为发生碰撞的场景数量，\(N_{\text{total}}\) 为仿真场景总数。碰撞率是最基础也是最直观的安全指标，但它只反映了最终结果，无法衡量"接近危险"的程度。

1.2 碰撞时间（TTC, Time-to-Collision）

TTC 是在指定运动预测假设下，到首次接触的预计剩余时间。对同车道、同方向、保持速度的跟车模型，可以写为：

\[ TTC = \frac{d}{v_{\text{ego}} - v_{\text{lead}}},\qquad d>0,\quad v_{\text{ego}}>v_{\text{lead}} \]

其中 \(d\) 是自车前缘到前车后缘的净距离，而不是车辆中心间距。在这个模型中，若距离为正且没有接近趋势，可记为 \(+\infty\)；缺少有效目标或观测则应另记为不可计算，不能混成“安全”。已经接触应由碰撞检测器直接记录。

交叉、转弯与切入场景需要基于预测路径和车辆轮廓计算首次相交时间，不能套用一维跟车公式。FHWA 的 SSAM 方法也明确依赖车辆路径投影进行交通冲突分析。FHWA 方法说明

下面只演示风险分桶，阈值需要按测试任务、速度和预测模型确定：

分桶示例	TTC 范围
低 TTC	\(0<TTC<1.5\,\text{s}\)
中间区间	\(1.5\,\text{s}\leq TTC<3.0\,\text{s}\)
较大 TTC	\(TTC\geq3.0\,\text{s}\)，不等于已证明安全

在仿真中，可统计 \(TTC_{\min}\) 分布和有效观测中 \(TTC<\tau\) 的时间占比，同时报告不可计算比例。TTC 大于零不是无碰撞判据：它只是在当前预测模型下的剩余时间；实际碰撞需要接触事件或几何相交判定。

1.3 后侵入时间（PET, Post-Encroachment Time）

PET 用于评估交叉路口等场景中两个交通参与者依次通过同一冲突区域的时间差：

\[ PET = t_2^{\text{arrive}} - t_1^{\text{leave}} \]

其中 \(t_1^{\text{leave}}\) 为第一个参与者离开冲突区域的时刻，\(t_2^{\text{arrive}}\) 为第二个参与者到达冲突区域的时刻。PET 越小，表示冲突风险越高。通常 \(PET < 1.5\,\text{s}\) 被视为严重冲突。

1.4 最小安全距离违规

最小安全距离指标检测自车与周围物体之间的距离是否低于安全阈值。安全距离由反应距离和制动距离共同决定：

\[ D_{\text{safe}} = v_{\text{ego}} \cdot t_{\text{reaction}} + \frac{v_{\text{ego}}^2 - v_{\text{lead}}^2}{2a_{\max}} \]

违规率定义为实际跟车距离小于 \(D_{\text{safe}}\) 的时间步占比。

1.5 避撞减速度（DRAC, Deceleration Rate to Avoid Crash）

DRAC 计算为避免碰撞所需的最小减速度：

\[ DRAC = \frac{(v_{\text{ego}} - v_{\text{lead}})^2}{2d} \]

该式适用于净距离为正、自车正在接近且前车保持速度的一维模型，忽略反应延迟。若所需减速度超过给定路面、轮胎和执行器条件下的可用减速度，说明这一制动策略不足；不能据此断言所有转向或组合避让策略都无法避免碰撞。

1.6 责任敏感安全模型（RSS）

RSS（Responsibility-Sensitive Safety）由 Mobileye 提出，为自动驾驶行为定义了形式化的安全包络，包括纵向安全距离、横向安全距离和路权判定三个核心规则。在仿真中，RSS 合规率定义为：

\[ R_{\text{RSS}} = \frac{T_{\text{compliant}}}{T_{\text{total}}} \times 100\% \]

其中 \(T_{\text{compliant}}\) 为满足 RSS 安全条件的时间步数，\(T_{\text{total}}\) 为总时间步数。

---

2. 舒适性指标

舒适性直接影响乘客体验。仿真中的舒适性评估主要关注加速度和加加速度（jerk）的大小与变化。

2.1 纵向加加速度（Longitudinal Jerk）

纵向 jerk 是加速度的时间导数，反映加速度变化的剧烈程度。在离散仿真中：

\[ j_{\text{lon}}(k) = \frac{a_{\text{lon}}(k) - a_{\text{lon}}(k-1)}{\Delta t} \]

通常的舒适性阈值为 \(|j_{\text{lon}}| < 2.0\,\text{m/s}^3\)。

2.2 横向加速度（Lateral Acceleration）

横向加速度反映车辆转弯时的离心力大小：

\[ a_{\text{lat}} = \frac{v^2}{R} \]

其中 \(v\) 为车速，\(R\) 为转弯半径。舒适性要求：

场景	横向加速度限值
城市道路	$
高速公路	$
特殊人群（老人、儿童）	$

2.3 舒适性综合评分

综合考虑多维度的舒适性指标，定义加权评分公式：

\[ S_{\text{comfort}} = w_1 \cdot f(j_{\text{lon}}) + w_2 \cdot f(a_{\text{lat}}) + w_3 \cdot f(j_{\text{lat}}) + w_4 \cdot f(a_{\text{lon}}) \]

其中 \(f(\cdot)\) 为归一化函数（映射到 \([0, 1]\)），\(w_i\) 为权重系数且 \(\sum w_i = 1\)。常用归一化方法：

\[ f(x) = \max\left(0,\; 1 - \frac{|x|}{x_{\text{threshold}}}\right) \]

2.4 ISO 2631 乘坐舒适性标准

ISO 2631 标准使用频率加权加速度均方根值来评估振动舒适性：

\[ a_w = \sqrt{\frac{1}{T}\int_0^T a_w^2(t)\,dt} \]

该标准定义的舒适性等级如下：

加权加速度 \(a_w\)（m/s\(^2\)）	舒适性等级
\(< 0.315\)	无不适
\(0.315 \sim 0.63\)	轻微不适
\(0.8 \sim 1.6\)	不适
\(> 2.0\)	极度不适

在仿真中，可对规划输出的加速度信号按 ISO 2631 的频率加权曲线计算 \(a_w\)，获得标准化舒适性评级。

---

3. 效率性指标

效率性指标衡量自动驾驶系统完成驾驶任务的效率。

3.1 行程时间比（Travel Time Ratio）

行程时间比将实际行程时间与理想行程时间进行比较：

\[ \eta_{\text{time}} = \frac{T_{\text{ideal}}}{T_{\text{actual}}} \]

其中 \(T_{\text{ideal}}\) 为在遵守交通规则前提下的最优行程时间，\(T_{\text{actual}}\) 为实际行程时间。\(\eta_{\text{time}}\) 越接近 1 表示效率越高。

3.2 任务成功率（Task Success Rate）

任务成功率定义为成功完成预定驾驶任务的场景比例：

\[ R_{\text{success}} = \frac{N_{\text{success}}}{N_{\text{total}}} \times 100\% \]

"成功"通常要求：到达目标位置、无碰撞、未违规、未超时。

3.3 平均速度与速度利用率

速度利用率衡量实际平均速度 \(\bar{v} = \frac{1}{T}\int_0^T v(t)\,dt\) 与道路限速的比值：

\[ \eta_v = \frac{\bar{v}}{v_{\text{limit}}} \]

3.4 不必要停车次数

统计系统在无需停车的场景中发生的停车事件数量，反映决策模块的保守程度。过于保守的系统虽然安全指标较高，但实际可用性较差。

3.5 燃油/能源效率

通过车辆动力学模型估算能耗 \(E = \int_0^T F_{\text{traction}}(t) \cdot v(t)\,dt\)，常用单位距离能耗 \(E/d\)（kWh/km 或 L/100km）评估。

---

4. 覆盖性指标

覆盖性指标衡量仿真测试对目标空间的探索程度，是评估测试充分性的关键维度。

4.1 运行设计域覆盖（ODD Coverage）

ODD（Operational Design Domain）定义了系统的适用范围。ODD 覆盖率衡量仿真测试对各维度的覆盖程度：

ODD 维度	示例参数
道路类型	高速公路、城市道路、乡村道路
天气条件	晴天、雨天、雪天、雾天
光照条件	白天、黄昏、夜间
交通密度	稀疏、中等、拥堵
道路几何	直道、弯道、坡道、交叉路口

4.2 场景覆盖率（Scenario Coverage）

场景覆盖率衡量预定义场景库中已被测试的比例：

\[ C_{\text{scenario}} = \frac{|S_{\text{tested}}|}{|S_{\text{total}}|} \times 100\% \]

4.3 代码覆盖率与 MC/DC

代码覆盖率衡量仿真过程中被执行的代码比例。在安全关键系统中，常使用 MC/DC（Modified Condition/Decision Coverage）：

• 判定覆盖：每个判定的真值和假值至少被执行一次
• 条件覆盖：每个条件的真值和假值至少被执行一次
• MC/DC：每个条件独立地影响判定结果至少一次

MC/DC 是 DO-178C 标准最高安全等级（Level A）的要求，也逐渐被自动驾驶行业采纳。

4.4 参数空间覆盖率

参数空间覆盖率衡量测试点在参数空间中的分布均匀性，常用差异度（Discrepancy）度量：

\[ D_N = \sup_{B \in \mathcal{B}} \left| \frac{|P \cap B|}{N} - \lambda(B) \right| \]

其中 \(P\) 为测试点集合，\(N\) 为测试点总数，\(B\) 为参数空间中的矩形区域，\(\lambda(B)\) 为其体积比。

4.5 N-wise 组合覆盖

N-wise 组合覆盖是一种系统化的测试设计方法，确保任意 \(N\) 个参数的所有取值组合至少被测试一次：

• 1-wise（每值覆盖）：每个参数的每个取值至少出现一次
• 2-wise（成对覆盖）：任意两个参数的所有取值对至少出现一次
• 3-wise（三元组覆盖）：任意三个参数的所有取值组合至少出现一次

研究表明约 90% 的缺陷由两个参数的交互触发，因此 2-wise 或 3-wise 覆盖在实践中通常足够。

---

5. 合规性指标

合规性指标衡量自动驾驶系统是否遵守交通法规。

5.1 交通违规检测

仿真系统可自动检测的违规类型：

违规类型	检测方法	严重程度
闯红灯	通过停车线时检查信号灯状态	严重
超速	比较实际速度与道路限速	中等～严重
违规变道	检查实线区域的换道行为	中等
逆向行驶	检查行驶方向与车道方向一致性	严重
未让行	让行标志处检查减速让行	中等

5.2 限速合规率

限速合规率定义为车辆速度不超过当前道路限速的时间占比：

\[ R_{\text{speed}} = \frac{T_{v \leq v_{\text{limit}}}}{T_{\text{total}}} \times 100\% \]

5.3 信号灯合规率

信号灯合规率统计正确响应交通信号灯的比例，包括红灯停车、黄灯合理减速和绿灯正常通行。

5.4 车道纪律性

车道纪律性指标评估车辆在车道内的横向偏移情况：

\[ \sigma_{\text{lateral}} = \sqrt{\frac{1}{T}\int_0^T \left[y(t) - y_{\text{center}}(t)\right]^2 dt} \]

\(\sigma_{\text{lateral}}\) 越小表示车道保持能力越好。同时还需统计压线次数和出车道次数。

---

6. 感知性能指标

仿真环境可提供精确的真值（Ground Truth），从而准确评估感知性能。

6.1 平均精度均值（mAP）

对每个目标类别 \(c\)，计算精确率-召回率曲线下的面积 \(AP_c\)：

\[ AP_c = \int_0^1 P_c(R)\,dR \]

然后对所有类别取平均：

\[ mAP = \frac{1}{|C|}\sum_{c \in C} AP_c \]

仿真中常按距离分段计算 mAP（如 0-30m、30-50m、50-80m），分析不同距离上的性能衰减。

6.2 交并比（IoU）

IoU 衡量检测框与真值框的重叠程度：

\[ IoU = \frac{|B_{\text{pred}} \cap B_{\text{gt}}|}{|B_{\text{pred}} \cup B_{\text{gt}}|} \]

常用的 IoU 阈值为 0.5（宽松）和 0.7（严格）。

6.3 误检率与漏检率

\[ FPR = \frac{FP}{FP + TN}, \quad FNR = \frac{FN}{FN + TP} \]

• 误检（False Positive）：将不存在的物体检测为存在，导致不必要的刹车
• 漏检（False Negative）：未能检测到真实物体，可能导致碰撞

在安全关键场景中，漏检通常比误检更为严重，应重点关注近距离目标和弱势道路使用者的漏检率。

---

7. 评估指标体系总结表

下表汇总了各维度的核心评估指标：

维度	指标名称	单位/范围	理想方向	优先级
安全性	碰撞率	%	越低越好	极高
安全性	TTC 最小值	s	越高越好	极高
安全性	RSS 合规率	%	越高越好	高
安全性	DRAC 最大值	m/s\(^2\)	越低越好	高
舒适性	纵向 jerk 均方根	m/s\(^3\)	越低越好	中
舒适性	横向加速度峰值	m/s\(^2\)	越低越好	中
舒适性	ISO 2631 加权加速度	m/s\(^2\)	越低越好	中
效率性	行程时间比	0~1	越高越好	中
效率性	任务成功率	%	越高越好	高
效率性	不必要停车次数	次	越少越好	中
覆盖性	场景覆盖率	%	越高越好	高
覆盖性	MC/DC 覆盖率	%	越高越好	高
合规性	交通违规次数	次	越少越好	高
合规性	车道偏移标准差	m	越小越好	中
感知	mAP	0~1	越高越好	高
感知	漏检率	%	越低越好	极高

---

8. 基准测试（Benchmarking）

基准测试为不同系统提供统一的评估平台和可比较的性能参照。

8.1 CARLA Leaderboard

CARLA Leaderboard 是最具影响力的端到端自动驾驶基准测试之一，核心指标包括：

• 驾驶得分（Driving Score）：路线完成度与违规惩罚的乘积

\[ DS = R_c \cdot \prod_{i} p_i^{n_i} \]

其中 \(R_c\) 为路线完成率，\(p_i\) 为第 \(i\) 类违规的惩罚系数，\(n_i\) 为该类违规的发生次数。

• 路线完成率（Route Completion）：成功行驶距离占总路线长度的比例

8.2 nuScenes 规划基准

nuScenes 规划基准的评估指标包括 L2 轨迹误差、碰撞率和沿路径进度：

\[ L2_t = \frac{1}{N}\sum_{i=1}^{N}\sqrt{(x_i^{\text{pred}}(t) - x_i^{\text{gt}}(t))^2 + (y_i^{\text{pred}}(t) - y_i^{\text{gt}}(t))^2} \]

通常在 1s、2s、3s 三个时间范围内分别报告 L2 误差。

8.3 跨平台比较方法论

不同仿真平台的评估结果不能直接对比，需注意：

1. 场景对齐：确保测试场景在不同平台上具有等价的语义内容
2. 传感器配置统一：保持传感器参数一致
3. 物理引擎差异：不同仿真器的动力学模型精度不同
4. 环境渲染差异：渲染质量差异可能影响感知表现
5. 标准化评估协议：采用统一的评估脚本和指标计算方法

---

9. 统计显著性与置信度

9.1 所需场景数量估算

对独立同分布的二值试验，在正态近似适用时，可按目标绝对误差估算样本量：

\[ N \geq \frac{z_{\alpha/2}^2 \cdot p(1-p)}{\epsilon^2} \]

其中 \(z_{\alpha/2}\) 为标准正态分布的临界值（95% 置信度下为 1.96），\(p\) 为预期的碰撞率，\(\epsilon\) 为可接受的误差范围。

该公式用于样本量规划，不能在预期事件极少时直接当作精确保证。约三百万次零失败试验与 \(10^{-6}\) 上界的关系来自另一种单侧二项分布推导，见第 9.5 节；它仍要求独立采样和明确的目标分布。

9.2 蒙特卡洛方法

蒙特卡洛方法通过随机采样估计指标的统计特性：

\[ \hat{\theta} = \frac{1}{N}\sum_{i=1}^{N} g(X_i) \]

其中 \(X_i\) 为第 \(i\) 次仿真的随机场景参数，\(g(\cdot)\) 为指标计算函数。在独立同分布且方差有限等条件下，估计标准误差按 \(O(1/\sqrt{N})\) 缩小。

蒙特卡洛方法实现简单但收敛较慢，对于稀有事件可能需要极大量仿真才能获得有效样本。

9.3 重要性采样（Importance Sampling）

重要性采样用提议分布 \(q(x)\) 替代原始分布 \(p(x)\)，提高稀有事件的采样效率：

\[ \hat{\theta}_{IS} = \frac{1}{N}\sum_{i=1}^{N} g(X_i) \cdot \frac{p(X_i)}{q(X_i)}, \quad X_i \sim q(x) \]

其中 \(\frac{p(X_i)}{q(X_i)}\) 为重要性权重。有效估计需要知道或能可靠计算这些概率，并保证所有对目标期望有贡献的区域都能被 \(q\) 采到。对抗搜索找到大量危险场景，并不自动满足这些条件。

例如，把雨天场景采样比例从目标分布的 10% 提高到 50%，若各天气类别内部的条件分布保持不变，则雨天权重为 \(0.1/0.5=0.2\)，非雨天权重为 \(0.9/0.5=1.8\)。若同时改变了雨天车速分布，还需使用联合分布权重，不能只按天气比例校正。

权重差异过大会增加方差。可用 \(N_{\mathrm{eff}}=(\sum_i w_i)^2/\sum_i w_i^2\) 辅助观察权重集中程度，但它不是加权风险估计精度的完整保证；还需要检查失败事件是否由极少数高权重样本支配。不能直接用普通二项分布区间处理加权结果，也不存在对所有任务通用的加速倍数。

9.4 置信度评估框架

建议采用以下分阶段评估框架：

1. 初步探索：蒙特卡洛大规模随机测试，识别基本性能范围
2. 定向测试：针对薄弱场景进行参数化扫描
3. 稀有事件评估：重要性采样评估极端场景安全性
4. 统计汇总：按数据结构选择区间方法。近似独立的连续指标可使用适当的均值区间；稀有二值事件使用二项分布方法；相关场景采用分组重采样；重要性采样使用加权估计对应的方差方法。区间应与预先声明的比较假设一起解释。

9.5 零碰撞仍然有统计上界

设 \(N\) 次独立同分布试验中每次发生碰撞的概率为 \(p\)，且试验次数在运行前固定。观测到零碰撞的概率是 \((1-p)^N\)。令其等于 \(\alpha\)，可以得到单侧 \(1-\alpha\) 置信上界：

\[ p_{\mathrm{upper}}=1-\alpha^{1/N} \approx\frac{-\ln\alpha}{N} \]

在 95% 置信水平下，近似为 \(3/N\)。因此，1,000 次零碰撞试验对应的上界约为 0.30%，并非零风险；约三百万次独立零碰撞试验才得到约 \(10^{-6}\) 的上界。这里的概率单位是每次所定义场景试验，不能直接改称每公里事故率。二项区间的精确方法见 NIST 说明。

如果这 1,000 次只是同一条道路的细微变体，或者测试期间持续删除困难场景，独立同分布假设就可能不成立。上界也不包含仿真模型误差。若按里程或运行时间分析事件，应另行说明事件过程、暴露量和相应统计模型。

9.6 配对比较与多次试验

比较模型 A、B 时，对每个相同场景与种子记录差值 \(d_i=m_i(B)-m_i(A)\)。连续指标可分析平均配对差值及其区间；二值结果应特别关注“A 成功 B 失败”和“A 失败 B 成功”的不一致样本，而不仅是两个总成功率。

同一原始日志派生的天气、指令和随机种子变体可能相关。分组 Bootstrap 可按原始日志抽样，再保留组内所有配对运行；分组规则和组权重应在分析前确定。只有很少独立日志时，即使变体数量很多，区间也可能不稳定。

对许多模型、很多子场景反复查看结果，再挑选表现最好的版本，会产生选择偏差。开发集可用于这种探索，最终结论应使用冻结的保留集；多项正式假设检验还应处理多重比较，或清楚标注哪些结果仅用于探索。

9.7 报告的最小信息集

类别	需要公开的内容
分母	场景数、运行数、原始日志数、有效里程或时间各自是多少
失败处理	崩溃、超时、初始化失败、接管和重跑如何统计
指标定义	完成判据、事件去重规则、碰撞归因、评分器版本
数据范围	目标分布、场景划分、挑战集是否单独报告
不确定性	置信水平、独立性假设、配对或分组方式
执行条件	策略、控制器、保护层、仿真器和时延配置

一辆车在同一碰撞中连续接触十帧，可以计为一次碰撞事件或一个碰撞场景，但不能在不同模型之间改变去重规则。等待超时与碰撞可分别统计；若再报告总失败率，需要明确使用的是事件并集而不是各类比例简单相加。

---

参考资料

1. Shalev-Shwartz S, Shammah S, Shashua A. On a formal model of safe and scalable self-driving cars[J]. arXiv preprint arXiv:1708.06374, 2017. (RSS 模型)
2. ISO 2631-1:1997. Mechanical vibration and shock — Evaluation of human exposure to whole-body vibration.
3. Riedmaier S, Ponn T, Ludwig D, et al. Survey on scenario-based safety assessment of automated vehicles[J]. IEEE Access, 2020, 8: 87456-87477.
4. Zhao D, Lam H, Peng H, et al. Accelerated evaluation of automated vehicles safety in lane-change scenarios based on importance sampling techniques[J]. IEEE Transactions on Intelligent Transportation Systems, 2017, 18(3): 595-607.
5. CARLA Leaderboard. https://leaderboard.carla.org/
6. nuScenes Dataset. https://www.nuscenes.org/
7. Kuhn M, Johnson K. Applied Predictive Modeling[M]. Springer, 2013. (N-wise 组合覆盖)
8. Ammann P, Offutt J. Introduction to Software Testing[M]. Cambridge University Press, 2016. (MC/DC 覆盖)

9. Feng S, Yan X, Sun H, et al. Intelligent driving intelligence test for autonomous vehicles: A suites of evaluation metrics[J]. IEEE Intelligent Transportation Systems Magazine, 2021.

10. NIST — Exact Binomial Confidence Limits.

11. FHWA — SSAM Methodology.