人机交互系统（HMI）

1. 开篇介绍

人机交互（Human-Machine Interface，HMI）是自动驾驶系统与驾驶员或乘客之间的核心桥梁。随着自动驾驶技术从辅助驾驶向高度自动化演进，HMI的角色已从传统仪表盘信息展示，扩展为涵盖状态感知、接管请求、情境透明、紧急处置的综合性安全系统。

在低级别自动驾驶（L1/L2）中，驾驶员始终是主控角色，HMI承担辅助提示功能；在L3条件自动驾驶阶段，系统可在特定场景下接管纵横向控制，但必须在必要时向驾驶员发出接管请求（Takeover Request，TOR），HMI在此阶段的设计质量直接关系行车安全；在L4/L5全自动驾驶场景下，乘客HMI取代驾驶员HMI成为主要交互界面，设计重心转向乘坐体验与紧急响应。

HMI设计的核心挑战在于：如何在不分散驾驶员注意力的前提下，高效、准确地传递系统状态信息，并在人机控制权切换时确保安全、平稳的过渡。

2. HMI在自动驾驶各级别中的角色

2.1 各级别HMI核心职能

L2（部分自动化）

驾驶员始终对车辆保持完全监控责任，双手必须保持对方向盘的接触能力。HMI的主要功能为：显示当前激活的辅助功能（如自适应巡航、车道保持），通过指示灯和提示音告知系统边界即将到达，并在检测到驾驶员注意力分散时发出警告。代表系统包括特斯拉 Autopilot（配合 Nag 提示）、通用 Super Cruise（配合 DMS 摄像头）。

L3（条件自动化）

系统在特定操作设计域（ODD）内完全接管驾驶任务，驾驶员可将注意力转移至非驾驶活动，但必须能够在系统发出 TOR 后的规定时间内接管控制权。HMI在此阶段的接管请求机制（多模态提示、接管时间窗口管理）是设计核心难点，同时需防止驾驶员对系统能力的过度信任。代表案例：本田 Traffic Jam Pilot（已量产于日本市场）。

L4（高度自动化）

在设计区域内无需驾驶员干预，乘客HMI成为主要交互界面。系统需具备最小风险状态（Minimal Risk Condition，MRC）能力，即当系统自身无法继续运行时，能安全停靠至路边。Robotaxi场景（如百度Apollo RT6、Waymo One）是典型应用。

L5（完全自动化）

理论上无需任何驾驶员，车内HMI完全面向乘客舒适性与娱乐服务设计。目前仍处于研究阶段。

2.2 各级别HMI责任对比

自动化级别	主控方	驾驶员监控要求	接管请求	乘客HMI	紧急处置主体
L1	驾驶员	全程	无	无	驾驶员
L2	驾驶员	全程（强制）	无（仅警告）	无	驾驶员
L3	系统/驾驶员切换	ODD内可短暂放松	必须	可选	驾驶员接管
L4	系统	不强制	可选	主要界面	系统MRC/远程操控
L5	系统	无	无	全部	系统自主处置

3. 驾驶员状态监测（Driver Monitoring System，DMS）

驾驶员状态监测系统是L2/L3 HMI的基础传感组件，负责实时评估驾驶员的注意力水平、疲劳程度及准备接管的能力。

3.1 硬件方案

主流DMS采用近红外（NIR）摄像头配合专用图像处理芯片，工作在850nm或940nm波段，不受环境光照影响，可在夜间和强逆光条件下正常工作。摄像头通常安装于方向盘柱或仪表盘上方，保证对驾驶员面部的正面或斜面拍摄。部分高端方案配合ToF（Time-of-Flight）深度传感器获取三维头部姿态信息，减少遮挡引起的误检。

3.2 核心检测指标

眼部状态检测：

注视方向（Gaze Direction）： 推断驾驶员视线是否聚焦于道路正前方，偏离超过设定阈值（通常为±20°）触发警告。
眼睛开合度（Eye Openness）： 通过眼睑检测计算眼睛开合比例，识别瞌睡或眯眼状态。
眨眼频率（Blink Rate）： 正常人每分钟眨眼15-20次，疲劳时频率异常升高或降低。

头部姿态检测：

通过三维人脸关键点检测获取俯仰角（Pitch）、偏航角（Yaw）、翻滚角（Roll）。头部下垂（Pitch角异常）是瞌睡的强特征。

行为检测：

打哈欠频率： 通过嘴部开合检测识别打哈欠动作，高频率打哈欠是疲劳强指标。
手部检测： 检测驾驶员双手是否放置于方向盘上，L2系统要求驾驶员保持手握方向盘。

3.3 PERCLOS指标

PERCLOS（Percentage of Eye Closure，眼睑闭合百分比） 是国际公认的疲劳驾驶评估指标，定义为在固定时间窗口（通常为60秒或180秒）内，眼睑遮盖80%以上瞳孔面积的时间占比。

\[\text{PERCLOS} = \frac{T_{\text{眼睑闭合超过80\%}}}{T_{\text{总时间}}} \times 100\%\]

研究表明，PERCLOS超过15%时驾驶员进入中度疲劳状态，超过25%则属于重度疲劳，需立即触发预警。

3.4 疲劳驾驶预警等级

预警等级	颜色代码	触发条件	HMI响应动作
正常	绿色	PERCLOS < 15%，注视正常	无动作，状态栏绿色图标
轻度警告	黄色	PERCLOS 15%-25%，或连续2次注视偏离	仪表盘黄色闪烁，轻度提示音
中度警告	橙色	PERCLOS > 25%，或连续打哈欠3次	强烈声光警报，建议靠边休息
严重警告	红色	检测到驾驶员失去意识	触发TOR流程，同时启动MRC

3.5 主要商用DMS系统

Smart Eye（瑞典）： 高精度多摄像头眼动追踪方案，广泛用于高端乘用车，精度达0.5°注视误差。
Seeing Machines（澳大利亚）： 商用车DMS领导者，已集成于Caterpillar矿山车辆，面部特征追踪算法成熟。
商汤科技 SenseAuto（中国）： 基于深度学习的驾驶员状态监测方案，支持多模态（DMS+OMS车内监测），已量产于多家国内主机厂。
伟世通（Visteon）： 集成DMS功能于数字座舱域控制器，与仪表盘显示深度融合。

3.6 法规要求

UN ECE R79（2022年修订）： 要求L2及以上自动驾驶车辆配备车道保持辅助系统，并规定驾驶员接管提示机制。
UN ECE R158： 专门针对倒车影像系统的规定，间接促进座舱摄像头基础设施建设。
欧盟GSR2（General Safety Regulation 2）： 自2022年7月起，要求所有新型乘用车强制配备驾驶员困倦与注意力警告系统（DDAW）和高级驾驶员分心警告系统（ADEW）。

4. 接管请求机制（Takeover Request，TOR）

接管请求是L3自动驾驶系统在需要驾驶员重新获取控制权时发出的信号，是人机协同安全体系的核心机制。

4.1 TOR触发条件

操作设计域（ODD）边界：

驶出高速公路进入城市道路（超出系统ODD）
道路施工区域、临时交通管制
恶劣天气（暴雨、浓雾、积雪）导致传感器性能下降
道路标线模糊或缺失

系统内部条件：

感知置信度低于安全阈值（如目标检测置信度 < 0.7）
规划模块无法找到可行路径
多个传感器数据不一致（传感器融合异常）
高精地图数据与实时感知结果严重偏差

紧急情况：

车辆机械故障（制动/转向系统异常）
系统软件异常或硬件失效

4.2 多模态TOR提示设计

有效的TOR必须快速引起驾驶员注意，同时不引发恐慌。研究表明，多模态组合提示显著优于单一模态：

视觉提示：

仪表盘红色/橙色边框高频闪烁
HUD上叠加"请接管驾驶"大字提示
中控屏显示接管倒计时和原因说明

听觉提示：

递进式警报音（从柔和提示音逐步升级至强烈警报）
语音播报："系统即将退出自动驾驶模式，请立即接管"

触觉提示：

方向盘振动（特定频率和强度的振动模式）
座椅振动（左右交替或持续振动）
部分系统采用安全带轻微收紧

4.3 接管时间分布

接管时间（Time-To-Takeover，TTC）是驾驶员从收到TOR到完全接管车辆控制的时间。大量实车测试数据表明：

平均接管时间： 3-7秒（非预期TOR）
最佳准备状态下： 约1.5-2秒
从事非驾驶任务时： 可能延长至10秒以上
影响因素： 驾驶员当前任务（阅读/视频/对话）、TOR提示强度、驾驶员年龄、任务紧迫程度

系统设计需为驾驶员预留足够的接管时间，SAE J3016建议在驾驶员接管能力受限时提前发出TOR（预测性TOR），而非仅在系统即将失效时触发（被动TOR）。

4.4 最小风险条件（Minimal Risk Condition，MRC）

当驾驶员无法在规定时间内完成接管（如驾驶员失去意识、TOR超时无响应），系统必须自主执行最小风险操作：

减速至安全速度： 平稳减速，避免急刹引发追尾
靠边停车： 寻找安全停靠位置（路肩、紧急停车带）
开启危险警示灯： 提醒后方车辆
解锁车门，发出求救信号： 通知紧急救援或远程监控中心
保持记录： 记录完整的事件数据用于事后分析

MRC的设计需兼顾安全性（尽快停止）和行车安全（停靠过程不引发二次事故）。

4.5 相关标准

ISO 22736（DMS标准，2021）： 定义DMS性能要求，包括检测率、误报率、响应延迟，适用于L1-L3车辆。
SAE J3016（2021版）： 明确各自动化级别的接管责任划分，规定L3系统必须在退出前向驾驶员发出充分提示。
ISO/TR 4804： 针对自动驾驶系统安全的技术报告，涵盖TOR和MRC的功能安全要求。

5. 仪表盘与抬头显示（HUD）

5.1 数字仪表盘

现代数字仪表盘（Digital Instrument Cluster，IC）已不再局限于速度和油量显示，在自动驾驶模式下承担以下关键信息展示职能：

当前自动驾驶状态显示：

激活状态指示（图标 + 颜色编码：蓝色=激活，灰色=待机，橙色=警告）
当前自动化级别标识（如"L2 辅助驾驶"或"L3 自动驾驶"）
剩余可用ODD区域提示（如"高速公路模式，预计30公里后退出"）

感知结果可视化：

鸟瞰图显示周围车辆和障碍物的检测结果
车道线识别状态（实线/虚线，识别置信度）
前方车辆跟车距离和相对速度
侧方盲区目标提示

5.2 增强现实抬头显示（AR-HUD）

AR-HUD通过将数字信息叠加到前风挡玻璃，实现驾驶员视线不离路面的信息获取，是L2/L3 HMI的前沿方案。

主要功能：

导航箭头叠加： 将转向箭头投影到对应的真实道路位置（如"前方500米路口左转"的箭头直接显示在路面上）
障碍物标注： 在检测到的行人、车辆周围显示高亮框，提醒驾驶员注意
车道保持辅助线： 在前方路面投影建议行驶路径
速度限制提示： 通过摄像头识别路牌后在HUD中显示当前限速

技术参数要求：

AR-HUD的成像距离（Virtual Image Distance，VID）通常设定在7-15米，确保驾驶员视线从路面转向HUD的调焦距离最小化。显示区域宽度一般超过10°视场角（FOV），以覆盖车道宽度范围。

5.3 三屏协同架构

现代智能座舱通常采用仪表盘（IC）、中控屏（Central Information Display，CID）、HUD三屏协同的信息分发架构：

屏幕	主要职能	自动驾驶相关内容
仪表盘（IC）	驾驶核心信息	自驾状态、DMS警告、接管倒计时
中控屏（CID）	功能交互	自驾设置、路线规划、感知可视化详情
HUD	前方道路信息	导航叠加、障碍物标注、速度提示

5.4 主流方案对比

方案	显示面积	特点	自动驾驶集成
华为 HarmonyOS 座舱	15.6英寸CID + 10英寸IC	多屏联动，鸿蒙生态	与华为ADS深度融合，感知可视化丰富
特斯拉 17英寸中控	17英寸中央触屏，无传统IC	极简设计，所有信息集中	FSD状态显示、感知目标可视化
宝马 iDrive 8	12.3英寸IC + 14.9英寸CID曲面屏	BMW Curved Display，驾驶者导向	自驾状态清晰，接管提示集成
小鹏 XMART OS	15.6英寸中控 + 10.25英寸IC	高度智能化，语音交互强	XNGP感知路况实时可视化

6. 座舱内交互设计

6.1 自然语言交互

语音交互是自动驾驶座舱最重要的非接触式交互方式，有助于减少驾驶员视线从道路移开的时间。

交互流程：

唤醒词触发 → 语音识别（ASR）→ 自然语言理解（NLU）→ 业务逻辑处理 → 语音合成（TTS）→ 多模态反馈

核心能力要求：

唤醒词识别： 免打扰唤醒（"小艺"/"你好，小鹏"/"嗨，Siri"），唤醒率 > 98%，误唤醒率 < 1次/天
连续对话： 支持上下文关联，无需每次重复唤醒词
方言/口音适配： 针对中国市场需支持普通话及主要方言
噪音鲁棒性： 在80分贝车内噪声环境下正常工作

自动驾驶相关语音指令示例：

"开启自动驾驶"/"切换到辅助驾驶模式"
"当前道路支持自动驾驶吗？"
"前方有什么障碍？"
"靠边停车"

6.2 手势识别

手势识别允许驾驶员或乘客通过空中手势控制娱乐和部分驾驶功能，减少触屏操作带来的注意力分散。

技术方案：

ToF深度摄像头： 在中控台或车顶安装ToF传感器，检测三维手部姿态，识别精度高，对光照不敏感。
RGB摄像头+AI算法： 通过深度学习识别2D手势，成本更低但在复杂背景下识别率受影响。

常用手势：

滑动手势：音量调节、曲目切换
点击手势：确认选择
手掌推出：接听/拒绝电话
旋转手势：地图缩放

6.3 触觉反馈设计

触觉反馈通过物理振动向驾驶员传递不引发视线转移的信息：

方向盘振动： 不同频率和强度的振动模式对应不同警告级别（如车道偏离=低频振动，TOR=高频强振动）
座椅振动： 左侧/右侧座椅振动模块分别对应左右方向的盲区警告
振动方向编码： 左侧振动=左侧危险，右侧振动=右侧危险，有助于快速定向响应

6.4 眼神触控（Eye-tracking UI）

在L4无人驾驶场景中，乘客可通过眼神注视与车载屏幕交互，无需手部操作：

注视选择： 注视目标区域1-2秒触发点击
滚动控制： 注视屏幕边缘触发页面滚动
防误触设计： 结合意图推断算法，避免阅读内容时误触发操作

6.5 多模态融合交互设计原则

主次分明： 驾驶相关信息优先级高于娱乐信息，自动驾驶状态警告可中断任何娱乐交互
冗余互补： 重要信息通过至少两种模态同时传递（如声音+视觉）
认知负荷最小化： 在关键驾驶场景下减少信息密度，避免信息过载
一致性： 同类信息始终使用相同的颜色、图标、音效，降低学习成本
可定制性： 允许驾驶员根据偏好调整信息呈现方式，但不能降低安全级别警告的优先级

7. 透明度与可解释性

7.1 感知可视化

为建立驾驶员对系统的合理信任，自动驾驶HMI需向驾驶员展示系统的感知结果——即"系统看到了什么"：

鸟瞰图（BEV）可视化： 在仪表盘或中控屏显示鸟瞰视角下的周围环境，包括检测到的车辆（标注类别和距离）、行人、非机动车、道路边界、车道线
摄像头实时画面： 显示前视/后视摄像头画面，并叠加感知结果标注框
感知范围指示： 显示当前传感器有效感知的范围边界，帮助驾驶员了解"盲区"所在

7.2 决策原因显示

当系统执行特定驾驶行为时，向驾驶员简要说明原因，增强可预期性：

系统行为	HMI显示示例
主动减速	"前方100m施工区，减速中"
自动换道取消	"右侧车道有车辆，取消换道"
退出自动驾驶	"即将进入隧道，请接管驾驶"
保持跟车距离	"前车急刹，保持安全距离"

7.3 置信度指示

系统对当前场景的处理置信度可通过可视化方式传递给驾驶员：

系统状态指示器： 使用颜色编码（绿色=高置信度，黄色=中等，橙色=低置信度）
感知质量指示： 显示"感知良好/受限/受损"，受限时说明原因（如"雨天摄像头受影响"）
ODD状态指示： 明确显示当前是否处于系统ODD范围内

7.4 用户信任校准

HMI设计需防止两种信任失调：

过度信任（Over-reliance）： 驾驶员完全依赖系统，不保持对道路的监控。应对措施： - DMS持续监控驾驶员注意力 - 定期（如每10分钟）发出"请保持监控"的提醒 - 在系统边界场景下提前警示ODD限制

欠信任（Under-trust）： 驾驶员不敢使用系统或频繁手动干预。应对措施： - 提供清晰的系统能力说明 - 可解释性信息展示，帮助驾驶员理解系统决策逻辑 - 渐进式功能引导（新用户保姆式引导）

8. 乘客HMI（L4无人驾驶场景）

8.1 Robotaxi车内屏设计

在L4无人驾驶出租车（Robotaxi）场景中，车内屏幕完全面向乘客服务，核心信息包括：

行程信息： 当前位置、目的地、预计到达时间（ETA）、行驶路线地图
车辆状态： 当前车速、行驶状态（"正在行驶/等待红灯/停靠中"）
服务信息： 车费计费、在线客服、乘车评价入口
安全信息： 紧急停车按钮位置说明、安全带提示

UI设计原则：

大字体、高对比度，适应不同年龄用户
单手可操作（触控区域大于44mm×44mm）
最少点击次数完成核心操作

8.2 紧急求助机制

Robotaxi必须提供多层次的乘客紧急求助能力：

车内紧急按钮： 物理按键（防止触屏失效情况），按下后触发多种响应：
车辆安全减速并靠边停车
与远程客服建立语音连接
自动向急救部门发送位置信息（可选）
语音求助： 呼喊特定关键词（如"紧急情况"）触发求助流程
远程人工接管： 运营商监控中心的安全员可通过5G网络远程接管车辆驾驶控制

8.3 安全员远程监控界面

Robotaxi运营商监控中心的安全员需要同时监控多辆车辆：

车队总览仪表盘： 实时显示所有运营车辆的位置、状态、健康度
单车详情面板： 点击选中后显示该车传感器画面、行程信息、系统告警
远程干预工具： 语音通话（与乘客/外部）、远程驾驶控制、紧急停车指令
告警管理： 按优先级排列的实时告警列表，支持一键响应

8.4 无障碍设计

面向老年和残障用户的Robotaxi HMI需满足无障碍设计要求：

视觉无障碍： 支持大字体模式（字号 > 20pt），高对比度模式（对比度 > 7:1）
听觉无障碍： 关键信息提供视觉和触觉替代，支持助听设备蓝牙连接
操作无障碍： 触控目标面积充足，支持语音代替触控操作所有功能
认知无障碍： 简化界面，减少操作步骤，提供清晰的操作引导

9. HMI设计标准与法规

9.1 ISO 15008 — 车辆视觉信息要求

ISO 15008规定了车内视觉信息呈现的人机工程学要求，核心条款包括：

驾驶员信息显示设备的字符最小尺寸（视角 ≥ 14'）
显示屏亮度范围（日间 > 400cd/m²，夜间可调至 < 1cd/m²）
禁止在驾驶员视野内使用动态广告或无关动画
信息密度限制，确保驾驶员在2秒内完成信息读取

9.2 SAE J3016（2021版）— L3/L4接管设计指导

SAE J3016作为自动化级别定义的权威标准，对HMI设计有以下关键指导：

L3系统必须在请求最小风险状态前，向驾驶员发出足够的提前警告
系统必须清晰传达"当前哪个实体（系统或人）负责纵横向控制"
在人机控制权切换时，必须有明确的状态指示避免歧义

9.3 NHTSA视觉显示指南

美国国家公路交通安全管理局（NHTSA）发布的《Driver Distraction Guidelines》对驾驶员注意力管理提出要求：

驾驶员完成任何车内显示任务的平均单次眼神离路时间不超过2秒
完成任务的总眼神离路时间不超过12秒
禁止在行驶中显示与驾驶无关的视频内容（乘客屏幕不在此限）

9.4 UN ECE R46 — 驾驶员分心规定

联合国法规ECE R46（间接视野设备规定）在2022年修订版中扩展了对车内显示设备的要求：

限制在驾驶员前方视野内放置显示屏（防止遮挡前方道路视线）
规定后视镜替代系统（CMS，Camera Monitor System）的显示屏位置和最小尺寸
要求CMS显示屏在各种光照条件下保证可见性

10. 参考资料

Gold, C., et al. (2016). "Taking Over Control From Highly Automated Vehicles in Complex Traffic Situations." Human Factors, 58(4), 642-652. DOI: 10.1177/0018720816634226 — 系统性研究接管时间和接管质量的经典文献。
SAE International. (2021). "Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles" (SAE J3016_202104). Warrendale, PA: SAE International. — 自动驾驶级别与HMI责任划分的权威标准。
ISO 22736:2021. "Intelligent Transport Systems — Partially Automated Lane Keeping Systems (PALKS) — Performance Requirements and Test Procedures." International Organization for Standardization. — 驾驶员监测系统性能要求标准。
Naujoks, F., Wiedemann, K., Schömig, N., Jarosch, O., & Gold, C. (2018). "Expert-based controllability assessment of control transitions from automated to manual driving." MethodsX, 5, 579-592. — 接管请求多模态设计与可控性评估方法。
欧盟委员会. (2019). "Regulation (EU) 2019/2144 on type-approval requirements for motor vehicles and their trailers." Official Journal of the European Union, L 325/1. — 欧盟强制要求驾驶员困倦警告和分心警告系统的法规依据（GSR2）。