智能网联汽车预期功能安全场景库建设报告.pdf

智能网联汽车预期功能安全场景库建设报告发布版 2020年12月 版 本 维 护 ：版本 修改内容 作者 时间 备注V1.0 研究内容提纲 清华大学国汽(北京)智能网联汽车研究院有限公司（国家智能网联汽车创新中心） 2020.05.07 待讨论V2.0 根据成员单位反馈意见修改提纲 清华大学国汽(北京)智能网联汽车研究院有限公司（国家智能网联汽车创新中心） 2020.06.19 待讨论 V3.0 完成初稿 清华大学国汽(北京)智能网联汽车研究院有限公司（国家智能网联汽车创新中心）中汽研汽车检测中心（天津）有限公司电子科技大学吉林大学清华大学苏州汽车研究院纽劢科技（上海）有限公司东风汽车集团有限公司重庆长安汽车股份有限公司中国汽车工程研究院股份有限公司浙江吉利汽车研究院有限公司中国信息通信研究院ANSYS中国华为技术有限公司泛亚汽车技术中心有限公司北京汽车股份有限公司汽车研究院上海禾赛科技有限公司千寻位置网络有限公司 2020.10.10 待讨论 V4.0 完成初稿 清华大学国汽(北京)智能网联汽车研究院有限公司（国家智能网联汽车创新中心）同济大学重庆大学北京理工大学中国汽车工程研究院股份有限公司浙江吉利汽车研究院有限公司江淮汽车集团股份有限公司广州汽车集团股份有限公司北京航迹科技有限公司上海机动车检测认证技术研究中心有限公司 2020.11.18 初稿完成V5.0 内容梳理 清华大学国汽(北京)智能网联汽车研究院有限公司（国家智能网联汽车创新中心） 2020.12.02 终稿完成 I 目 录第 1 章 前 言 .11.1 研 究 报 告 背 景 .11.2 研 究 报 告 的 目 的 .11.3 研 究 报 告 的 内 容 .11.4 研 究 报 告 的 预 期 目 标 .21.5 使 用 范 围 .2第 2 章 车 辆 感 知 技 术 及 面 向 预 期 功 能 安 全 的 测 试 需 求 .3 2.1 现 有 感 知 技 术 .32.1.1 感 知 传 感 器 分 类 .32.1.2 感 知 算 法 .42.1.3 感 知 传 感 器 融 合 .52.1.4 感 知 系 统 未 来 发 展 方 向 .62.2 感 知 功 能 局 限 .62.2.1 基 于 摄 像 头 的 感 知 局 限 .62.2.2 激 光 雷 达 感 知 局 限 .19 2.2.3 毫 米 波 雷 达 感 知 局 限 .222.2.4 超 声 波 雷 达 感 知 局 限 .242.3 面 向 预 期 功 能 安 全 的 感 知 功 能 测 试 需 求 .252.3.1 基 于 摄 像 头 的 感 知 功 能 测 试 需 求 .252.3.2 基 于 激 光 雷 达 的 感 知 功 能 测 试 需 求 .302.3.3 基 于 毫 米 波 雷 达 的 感 知 功 能 测 试 需 求 .332.3.4 基 于 超 声 波 雷 达 的 感 知 功 能 测 试 需 求 .35第 3 章 车 辆 定 位 技 术 及 面 向 预 期 功 能 安 全 的 测 试 需 求 .37 3.1 现 有 定 位 技 术 .373.1.1 基 于 GNSS的 RTK技 术 +惯 导 的 定 位 技 术 .37 II 3.1.2 基 于 激 光 雷 达 、 毫 米 波 雷 达 、 摄 像 头 结 合 高 精 度 地 图 的 定 位 技 术 .383.1.3 相 对 定 位 技 术 （ 里 程 计 、 惯 导 ） .413.1.4 多 种 定 位 技 术 融 合 .423.1.5 UWB室 内 定 位 技 术 .443.2 定 位 功 能 局 限 .483.2.1 绝 对 定 位 技 术 功 能 局 限 .483.2.2 基 于 SLAM的 相 对 定 位 局 限 .523.3 面 向 预 期 功 能 安 全 的 定 位 功 能 测 试 需 求 .59 3.3.1 面 向 预 期 功 能 安 全 的 绝 对 定 位 功 能 测 试 需 求 .593.3.2 面 向 预 期 功 能 安 全 的 相 对 定 位 的 定 位 功 能 测 试 需 求 .62第 4 章 人 机 交 互 HMI技 术 及 面 向 预 期 功 能 安 全 的 测 试 需 求 .714.1 现 有 人 机 交 互 技 术 .714.1.1 车 内 交 互 .714.1.2 车 外 交 互 .794.2 常 见 人 员 误 用 /误 操 作 .864.2.1 车 内 人 员 .86 4.2.2 车 外 人 员 /车 辆 .914.3 面 向 预 期 功 能 安 全 的 人 机 交 互 功 能 测 试 需 求 .934.3.2 车 内 交 互 场 景 测 试 需 求 .954.3.3 车 外 交 互 场 景 测 试 需 求 .101第 5 章 车 辆 决 策 技 术 及 面 向 预 期 功 能 安 全 的 测 试 需 求 .1105.1 现 有 决 策 技 术 .1105.1.1 基 于 经 验 规 则 的 决 策 技 术 .1105.1.2 基 于 数 据 驱 动 的 决 策 技 术 .110 5.1.3 基 于 效 用 函 数 的 决 策 技 术 .1115.1.4 考 虑 不 确 定 性 和 交 互 性 的 决 策 技 术 .112 III 5.2 决 策 功 能 局 限 .1125.3 面 向 预 期 功 能 安 全 的 决 策 功 能 测 试 需 求 .1135.3.1 建 立 综 合 多 种 类 型 典 型 场 景 的 场 景 库 并 测 试 车 辆 决 策 功 能 对 不 同 场 景 的 鲁棒 性 、 适 应 性 .1145.3.2 建 立 高 复 杂 度 场 景 并 测 试 车 辆 决 策 功 能 对 复 杂 场 景 的 处 理 能 力 .1155.3.3 建 立 高 不 确 定 性 场 景 并 测 试 车 辆 决 策 功 能 对 不 确 定 性 场 景 的 处 理 能 力 .1165.3.4 建 立 高 交 互 性 场 景 并 测 试 车 辆 决 策 功 能 对 交 互 性 场 景 的 处 理 能 力 .1175.3.5 测 试 车 辆 决 策 功 能 对 新 场 景 的 泛 化 能 力 .117 5.3.6 采 用 合 理 的 测 试 方 式 和 分 配 方 案 .118第 6 章 车 辆 控 制 技 术 及 面 向 预 期 功 能 安 全 的 测 试 需 求 .1196.1 现 有 控 制 技 术 .1196.1.1 横 向 控 制 算 法 .1196.1.2 纵 向 控 制 .1216.1.3 横 纵 向 协 同 控 制 .1226.2 控 制 功 能 局 限 .1226.2.1 大 曲 率 工 况 下 ， 车 辆 动 力 学 模 型 不 足 以 表 征 车 辆 动 态 特 性 的 局 限 .122 6.2.2 地 面 附 着 率 低 条 件 下 ， 车 辆 控 制 局 限 性 .1236.3 面 向 预 期 功 能 安 全 的 控 制 功 能 测 试 需 求 .1246.3.1 针 对 智 能 驾 驶 系 统 运 行 设 计 域 内 部 的 不 同 场 景 的 控 制 功 能 测 试 .1246.3.2 针 对 智 能 驾 驶 系 统 运 行 设 计 域 边 界 的 不 同 场 景 的 控 制 功 能 测 试 .126第 7 章 智 能 驾 驶 预 期 功 能 安 全 测 试 场 景 库 初 步 建 设 .1297.1 面 向 智 能 驾 驶 预 期 功 能 安 全 测 试 场 景 库 的 意 义 .1297.2 面 向 智 能 驾 驶 预 期 功 能 安 全 测 试 需 求 的 场 景 分 析 .1297.2.1 感 知 功 能 测 试 需 求 .129 7.2.2 定 位 功 能 测 试 需 求 .1317.2.3 决 策 功 能 测 试 需 求 .132 IV 7.2.4 人 机 交 互 功 能 测 试 需 求 .1337.2.5 控 制 功 能 测 试 需 求 .1337.2.6 执 行 功 能 测 试 需 求 .1337.2.7 综 合 测 试 需 求 .1347.3 面 向 智 能 驾 驶 预 期 功 能 安 全 测 试 场 景 的 设 计 .1347.3.1 预 期 功 能 安 全 测 试 场 景 框 架 .1347.4 面 向 智 能 驾 驶 预 期 功 能 安 全 测 试 场 景 的 实 现 .1457.4.1 按 照 抽 象 程 度 分 类 的 场 景 .145 7.4.2 按 照 功 能 类 别 分 类 的 场 景 .1467.4.3 按 照 智 能 等 级 分 类 的 场 景 .148第 8 章 总 结 与 展 望 .1538.1 工 作 总 结 .1538.1.1 已 完 成 工 作 .1538.1.2 未 完 成 工 作 .1538.2 工 作 展 望 .153附 录 A.155 V 名 词 列 表 名词 缩写 含义OperationDesignDomain ODD 运行设计域DynamicDrivingTask DDT 动态驾驶任务Edgecase 边缘场景Verification最 具 代 表 性的 为 苹 果 公 司 推 出 的 CarPlay以 及 Google 推 出 的 Androidauto， 这 些 应 用 程 序 并 没有 直 接 安 装 在 车 载 系 统 上 ， 而 是 在 移 动 设 备 上 运 行 并 投 影 到 车 载 屏 幕 上 ， 界 面 以 及交 互 根 据 驾 驶 环 境 、 驾 驶 员 状 态 进 行 优 化 设 计 。 后 装 ： 车 载 智 能 硬 件 ， 如 百 度 公 司 推 出 的 CoDriver智 能 语 音 副 驾 ， 以 智 能 语 言为 人 机 交 互 方 式 ， 可 以 提 供 语 音 交 互 、 电 话 、 音 乐 和 导 航 四 大 功 能 。声 控 交 互 通 过 语 音 与 车 辆 进 行 交 流 ， 车 内 人 员 借 此 实 现 对 某 些 功 能 的 控 制 ； 表4-3列 举 出 一 些 声 控 交 互 的 特 点 ： 表 4-4 声 控 特 点声 控 交 互 特 点 描 述优 势 解 放 双 手 在 驾 驶 过 程 中 ， 用 语 音 指 令 代 替 触 控 /手 势 指 令 ， 不 消耗 视 觉 感 知 资 源 ， 驾 驶 员 无 需 将 视 线 从 前 方 道 路 上 移开 ， 增 强 了 驾 驶 时 的 安 全 性 。 易 学 习 性 声 音 是 人 与 人 之 间 基 本 的 交 流 方 式 ， 不 同 年 龄 段 、 不 同能 力 技 术 水 平 ， 应 用 我 们 的 直 觉 就 可 以 掌 握 。 74 便 捷 性 当 执 行 的 任 务 比 较 简 单 时 ， 语 音 输 入 比 打 字 输 入 更 快 速 、简 单 ， 在 语 音 识 别 准 确 率 高 的 情 况 下 ， 用 户 可 以 完 全 相信 语 音 ， 无 需 再 用 视 觉 方 式 来 给 用 户 安 全 感 。低 复 杂 度 声 控 交 互 可 以 直 接 解 决 用 户 的 最 终 目 标 ， 而 不 像 GUI 界面 有 不 同 的 层 级 关 系 ， 用 户 达 成 目 标 时 需 要 一 系 列 操 作并 且 经 历 很 多 页 面 之 间 的 切 换 。劣 势 场 景 局 限 不 适 合 在 嘈 杂 环 境 中 进 行 ， 对 隐 私 要 求 比 较 高 的 任 务 不适 合 使 用 语 音 交 互 ， 对 人 员 发 音 要 求 较 高 。效 率 低 （ 输 出大 量 信 息 时 ） 语 音 信 息 必 须 一 句 接 一 句 的 输 出 ， 人 与 系 统 交 互 时 通 常调 动 短 时 记 忆 ， 能 记 住 的 信 息 在 15s左 右 ； 在 进 行 多 步骤 、 多 选 项 任 务 时 ， 系 统 还 没 有 说 完 选 项 ， 用 户 可 能 已忘 记 前 面 内 容 。 可 以 看 出 ， 声 控 交 互 较 好 地 解 放 了 驾 驶 员 的 双 手 ， 操 作 简 单 ， 但 是 对 于 驾 驶 员口 音 以 及 外 界 噪 声 的 抗 干 扰 能 力 较 差 。4.1.1.3 动 作 交 互基 于 动 作 进 行 识 别 的 人 机 交 互 技 术 通 过 对 动 作 捕 获 系 统 获 得 的 关 键 部 位 的 位 置进 行 计 算 、 处 理 ， 分 析 出 用 户 的 动 作 行 为 并 将 其 转 化 为 输 入 指 令 ， 实 现 用 户 与 计 算机 之 间 的 交 互 。 动 作 交 互 包 括 手 势 ， 头 姿 态 ， 身 体 姿 态 等 人 机 交 互 方 式4.1.1.3.1 基 于 手 势随 着 车 载 技 术 的 不 断 成 熟 和 普 及 ， 当 前 已 逐 渐 开 始 流 行 车 载 手 势 感 应 技 术 。 基于 手 势 识 别 的 人 机 交 互 ， 是 利 用 摄 像 头 采 集 和 获 取 手 势 局 部 图 像 特 征 ， 通 过 手 部 追 踪 技 术 来 操 作 交 互 界 面 上 的 虚 拟 物 体 ， 是 一 个 识 别 和 控 制 的 过 程 。宝 马 于 2015年 9月 实 现 手 势 识 别 量 产 ， 包 括 宝 马 5系 、 7系 等 车 型 （ 可 选 装 ） 。宝 马 的 手 势 系 统 主 要 可 以 用 来 接 听 电 话 ， 控 制 音 量 、 地 图 等 ， 预 设 了 6种 手 势 控 制动 作 。 此 外 ， 宝 马 的 手 势 控 制 还 预 留 了 一 个 自 定 义 的 手 势 控 制 动 作 ， 用 户 可 以 通 过食 指 和 中 指 空 中 点 击 来 进 行 个 性 化 手 势 控 制 的 设 定 ， 比 如 “引 导 至 家 庭 住 址 ”“开 关 静音 ”“最 近 使 用 的 菜 单 ”或 者 “历 史 通 话 ”等 。如 下 图 所 示 ， 操 作 音 量 控 制 功 能 ， 则 需 要 驾 驶 员 在 指 定 位 置 用 食 指 “画 圈 ”， 顺时 针 画 圈 是 放 大 音 量 ， 逆 时 针 画 圈 是 减 小 音 量 。 75 图 4-2 手 势 控 制 音 量目 前 世 界 上 实 现 三 维 手 势 识 别 主 要 有 3 种 硬 件 实 现 方 式 光 飞 时 间 (Time ofFlight） 、 结 构 光 (StructureLight） 、 多 角 成 像 (Multi-camera） 。ToF全 称 为 飞 行 时 间 (TimeofFlight)， 是 一 种 通 过 计 算 光 线 的 传 播 时 间 来 测 量 距离 的 技 术 。 根 据 距 离 的 不 同 来 判 断 出 不 同 手 指 的 具 体 位 置 ， 从 而 判 断 出 具 体 的 手 势 ，再 对 应 到 相 应 的 控 制 命 令 之 上 。 利 用 ToF技 术 进 行 手 势 控 制 ， 需 要 一 个 3D摄 像 头进 行 配 合 ， 摄 像 头 的 用 处 是 监 控 并 识 别 手 势 变 化 。 摄 像 头 内 置 有 红 外 LED光 发 射 装置 与 接 收 装 置 ， 根 据 光 线 发 射 与 接 收 之 间 的 时 间 差 来 分 析 出 手 势 的 变 化 。 最 终 得 到的 数 据 会 传 递 给 车 载 系 统 的 控 制 单 元 ， 由 控 制 单 元 调 出 与 识 别 出 的 手 势 相 对 应 的 功 能 。 结 构 光 技 术 基 本 原 理 与 ToF技 术 类 似 ， 所 不 同 之 处 在 于 其 采 用 的 是 具 有 点 、 线或 者 面 等 模 式 图 案 的 光 。 其 基 本 原 理 为 ： 首 先 激 光 发 射 器 将 结 构 光 投 射 至 前 方 的 人体 表 面 ， 再 使 用 红 外 传 感 器 接 收 人 体 反 射 的 结 构 光 图 案 。 然 后 ， 处 理 芯 片 根 据 接 收图 案 在 摄 像 机 上 的 位 置 和 形 变 程 度 来 计 算 物 体 人 体 的 空 间 信 息 。 结 合 三 角 测 距 原 理 ，再 进 行 深 度 计 算 ， 即 可 进 行 三 维 物 体 的 识 别 。多 角 成 像 技 术 的 基 本 原 理 是 使 用 2个 或 以 上 的 摄 像 头 同 时 摄 取 图 像 ， 通 过 比 对这 些 不 同 摄 像 头 在 同 一 时 刻 获 得 的 图 像 的 差 别 ， 通 过 算 法 来 计 算 信 息 ， 进 行 多 角 三维 成 像 。 三 种 技 术 的 优 势 和 缺 陷 如 表 4-5所 示 ：表 4-6 三 种 技 术 优 劣 势 对 比现 有 技 术 优 势 缺 点 76 光 飞 时 间 (Time of Flight） 简 单 ， 无 需 视 觉 计 算 感 光 芯 片 成 本 过 高结 构 光 (Structure Light） 计 算 复 杂 ， 识 别 准 确 度 较 低多 角 成 像 (Multi-camera） 硬 件 要 求 最 低 ， 不 需 要 任 何额 外 的 特 殊 设 备 技 术 上 难 以 实 现 ， 成 熟 度低 ， 完 全 依 赖 于 计 算 机 视 觉算 法基 于 手 势 的 动 作 交 互 使 得 驾 驶 人 坐 在 车 中 ， 只 需 通 过 简 单 的 手 、 臂 动 作 ， 就 能完 成 对 车 内 信 息 娱 乐 系 统 的 调 节 和 控 制 。 虽 然 手 势 控 制 很 容 易 吸 引 众 人 眼 球 ， 但 真正 的 用 户 体 验 过 程 中 还 是 存 在 一 些 问 题 。 比 如 ， 一 旦 手 势 控 制 效 果 不 理 想 ， 就 会 让驾 驶 人 更 加 分 心 ， 从 而 增 加 造 成 事 故 的 概 率 ； 如 果 关 联 操 作 对 于 车 内 距 离 的 判 断 不够 准 确 ， 也 会 导 致 控 制 目 标 的 判 断 错 误 ， 譬 如 是 只 想 把 音 量 调 低 几 格 ， 却 不 小 心 打 开 了 刮 水 器 ； 同 一 目 标 物 的 不 同 指 令 动 作 间 需 要 建 立 明 显 区 隔 ， 起 止 动 作 的 设 置 也存 在 复 杂 的 逻 辑 关 系 。 因 此 ， 未 来 想 要 让 手 势 控 制 技 术 在 更 多 的 车 型 上 普 及 ， 似 乎还 需 要 提 高 精 度 及 平 滑 度 ， 真 正 实 现 让 驾 驶 人 更 安 全 、 更 方 便 开 车 的 目 的 。4.1.1.3.2 基 于 头 姿 态头 部 姿 态 估 计 技 术 利 用 摄 像 头 进 行 视 频 数 据 的 采 集 ， 通 过 对 图 像 文 件 的 处 理 和分 析 ， 获 取 人 体 的 头 部 姿 态 参 数 。 通 过 分 析 人 的 状 态 和 行 为 ， 发 现 潜 在 的 问 题 ， 尤其 应 用 于 疲 劳 驾 驶 。对 驾 驶 员 的 头 部 进 行 实 时 的 监 控 ， 准 确 估 计 姿 态 是 疲 劳 驾 驶 检 测 中 非 常 重 要 的环 节 。 驾 驶 员 正 常 驾 驶 时 ， 头 部 靠 在 头 枕 上 ， 但 并 非 完 全 紧 靠 ， 头 部 与 座 椅 头 枕 会 保 持 一 定 的 距 离 ， 保 持 舒 适 的 驾 驶 姿 态 ； 当 驾 驶 员 产 生 疲 劳 时 ， 驾 驶 员 容 易 产 生 长时 间 的 低 头 或 者 往 后 仰 等 姿 态 ， 即 头 部 向 前 倾 或 者 头 部 位 置 紧 靠 座 椅 头 枕 。 除 了 头部 的 姿 势 ， 还 会 结 合 脸 部 检 测 。 人 脸 检 测 目 前 比 较 常 用 的 方 法 是 基 于 深 度 神 经 网 络的 学 习 方 法 , 此 外 ， 还 有 基 于 传 统 的 肤 色 分 割 、 模 板 匹 配 、 概 率 统 计 、 马 尔 可 夫 随机 域 等 方 法 。ADAS系 统 属 于 高 级 智 能 驾 驶 辅 助 系 统 ， 要 求 驾 驶 员 在 整 个 驾 驶 过 程 中 处 于 在环 控 制 ， 因 此 系 统 需 要 实 时 掌 控 驾 驶 员 是 否 在 环 。 驾 驶 员 状 态 检 测 系 统 通 过 安 装 在车 内 的 环 境 感 知 传 感 器 ， 对 驾 驶 员 进 行 实 时 监 控 。 77 图 4-3 驾 驶 员 状 态 检 测 系 统通 过 安 装 的 摄 像 头 实 时 监 控 驾 驶 员 的 头 部 姿 态 、 头 部 位 置 和 人 脸 面 部 表 情 等 属于 非 接 触 式 监 控 。 车 辆 在 行 驶 过 程 中 ， 头 部 姿 态 估 计 和 人 脸 面 部 识 别 能 够 有 较 强 的适 应 性 ， 不 容 易 受 到 道 路 环 境 和 天 气 因 素 的 影 响 。 业 界 普 遍 采 用 或 参 考 美 国 国 家 高速 公 路 管 理 局 NHTSA的 评 估 方 法 PERCLOSP80。 这 类 方 法 检 测 准 确 性 高 、 成 本 低 、舒 适 感 较 高 ， 最 重 要 的 是 具 备 量 产 能 力 ， 逐 渐 成 为 行 业 参 照 的 主 流 方 法 。4.1.1.4 眼 动 交 互眼 动 （ EyeMovement） ， 即 眼 球 的 运 动 。 早 期 ， 研 究 者 们 发 现 人 们 阅 读 过 程 中的 视 线 除 了 进 行 注 视 和 平 滑 扫 视 外 ， 还 存 在 一 系 列 短 暂 的 跳 动 和 停 顿 。 这 一 发 现 使 得 人 们 开 始 进 行 眼 动 行 为 的 相 关 研 究 和 探 索 ， 在 眼 动 交 互 过 程 中 ， 需 要 基 于 基 本 的眼 动 形 式 ， 设 计 相 应 的 眼 动 人 机 交 互 方 式 或 策 略 ， 使 视 线 具 有 一 定 的 触 发 意 图 ， 从而 执 行 对 应 的 控 制 指 令 。 利 用 眼 动 跟 踪 技 术 记 录 人 的 眼 球 运 动 数 据 及 其 对 应 的 视 觉注 意 行 为 ， 获 取 用 户 当 前 的 视 觉 注 意 焦 点 等 时 -空 参 数 ， 对 用 户 视 觉 感 知 和 认 知 活 动进 行 分 析 推 理 ， 进 而 为 人 机 交 互 提 供 数 据 输 入 和 控 制 输 出 。常 用 的 几 种 眼 动 交 互 方 式 分 析 如 表 4-7所 示 ：表 4-8 眼 动 交 互 方 式常 见 的 交 互 方 式 交 互 方 式 定 义 驻 留 时 间 触 发 驻 留 时 间 触 发 多 用 于 控 制 图 形 界 面 或 定 位 鼠 标 光 标 等 ， 是 一种 较 为 流 行 的 眼 动 交 互 方 式 ， 它 也 能 够 反 映 用 户 有 意 识 的 控制 意 图 ， 以 更 好 地 完 成 交 互平 滑 追 随 运 动 平 滑 追 随 运 动 是 一 种 连 续 反 馈 的 状 态 ， 眼 睛 捕 捉 运 动 目 标 的 78 信 号 ， 将 目 标 运 动 速 度 、 方 向 、 角 度 等 信 息 反 馈 给 大 脑 ， 再控 制 眼 球 跟 随 目 标 物 体 发 生 相 对 运 动眨 眼 眨 眼 是 人 在 自 然 状 态 下 的 一 种 生 理 行 为 ， 是 无 意 识 的 ， 正 常情 况 下 ， 普 通 人 每 一 次 眨 眼 的 时 长 约 为 200-400ms， 平 均 每分 钟 眨 眼 10-20次眼 势 眼 势 被 定 义 为 一 系 列 有 序 的 视 线 行 程 ， 每 一 个 行 程 是 两 个 固定 注 视 点 或 注 视 区 域 的 有 意 的 视 线 移 动 。 因 此 ， 眼 势 作 为 一种 新 的 眼 动 交 互 方 式 ， 可 以 反 映 人 的 有 意 识 触 发 意 图为 了 开 展 基 于 眼 动 跟 踪 的 人 机 交 互 研 究 ， 首 先 需 要 对 眼 动 行 为 进 行 特 征 分 析 与参 数 化 ， 常 用 的 参 数 包 括 注 视 点 数 目 、 注 视 点 持 续 时 间 、 眼 跳 长 度 及 其 派 生 的 其 他 各 种 度 量 参 数 。利 用 人 工 智 能 技 术 提 高 眼 动 计 算 的 精 度 和 效 率 ， 对 人 的 感 知 和 认 知 状 态 进 行 深入 理 解 ， 构 建 “驾 驶 员 在 环 ”的 智 能 人 机 交 互 框 架 ， 实 现 用 户 主 导 的 自 动 化 系 统 、 基于 人 机 共 生 的 AI系 统 。 目 前 研 究 利 用 人 工 智 能 技 术 辅 助 眼 动 交 互 的 工 作 主 要 包 括 ：（ 1） 基 于 群 智 感 知 的 眼 动 计 算 与 分 析利 用 人 的 短 时 记 忆 特 性 建 立 注 视 点 回 忆 和 自 我 报 告 机 制 ， 通 过 众 包 技 术 在 群 智环 境 下 实 现 用 户 注 视 点 回 忆 任 务 的 发 布 和 大 量 数 据 的 快 速 获 取 ， 进 而 基 于 大 数 据 技术 实 现 感 知 的 任 务 推 荐 和 误 差 校 正 ， 有 效 提 高 注 视 点 计 算 精 度 。 在 此 基 础 上 开 展 视觉 显 著 性 模 型 性 能 的 高 效 优 化 ， 以 及 视 觉 设 计 和 用 户 界 面 的 在 线 评 估 等 应 用 ， 不 仅 可 以 保 证 和 实 际 眼 动 装 置 相 当 的 计 算 精 度 ， 还 能 显 著 提 高 效 率 、 降 低 软 硬 件 和 人 力成 本 。（ 2） 基 于 大 数 据 学 习 的 眼 动 跟 踪传 统 的 眼 动 跟 踪 算 法 主 要 基 于 眼 部 图 像 特 征 建 立 与 坐 标 空 间 的 映 射 模 型 ， 但 这种 算 法 依 赖 人 工 经 验 进 行 显 式 特 征 提 取 ， 且 对 外 部 光 照 条 件 、 用 户 头 部 运 动 等 外 在因 素 敏 感 ， 计 算 复 杂 度 高 、 稳 定 性 低 。 为 此 ， 研 究 人 员 提 出 基 于 外 观 模 型 的 计 算 方法 ， 通 过 搜 集 大 量 不 同 用 户 及 外 在 因 素 下 的 眼 部 图 片 ， 利 用 卷 积 神 经 网 络 等 机 器 学习 算 法 自 动 提 取 隐 式 特 征 ， 并 建 立 与 外 在 坐 标 空 间 之 间 的 映 射 模 型 ， 虽 然 计 算 精 确度 还 有 待 提 高 ， 但 计 算 过 程 简 单 、 效 率 高 ， 易 于 在 互 联 网 、 移 动 端 等 环 境 进 行 轻 量 级 的 部 署 ， 实 现 面 向 电 子 阅 读 、 手 机 游 戏 、 广 告 推 送 等 方 面 的 便 捷 智 能 交 互 应 用 。（ 3） 眼 动 数 据 与 脑 电 数 据 融 合 的 智 能 交 互 79 在 交 互 任 务 执 行 过 程 中 ， 记 录 由 视 觉 注 意 行 为 引 起 的 眼 动 和 脑 电 数 据 ， 提 取 这些 数 据 的 特 征 并 进 行 参 数 化 。 在 此 基 础 上 ， 进 行 数 据 降 噪 处 理 和 插 补 遗 失 数 据 ， 并挖 掘 视 觉 分 布 的 模 式 和 知 识 ， 生 成 高 层 的 交 互 语 义 ， 以 此 对 眼 动 和 脑 电 数 据 进 行 时空 同 步 处 理 和 序 列 分 析 。 通 过 训 练 人 工 神 经 网 络 ， 研 究 眼 动 和 脑 电 数 据 与 心 理 认 知负 荷 之 间 的 量 化 映 射 关 系 ， 进 而 依 托 隐 式 的 自 适 应 用 户 界 面 ， 降 低 用 户 认 知 负 荷 ，提 高 交 互 效 率 ， 在 网 上 课 堂 、 汽 车 安 全 驾 驶 、 医 疗 影 像 分 析 等 方 面 提 供 智 能 辅 助 支撑 ， 促 进 相 关 产 业 的 创 新 实 践 。4.1.1.5 智 能 识 别脑 机 交 互 （ BrainComputerInteraction， BCI） 是 一 门 融 合 了 神 经 科 学 、 心 理 认 知 学 、 生 物 医 学 、 计 算 机 科 学 等 众 多 学 科 的 交 叉 领 域 。 一 个 完 整 的 BCI 系 统 由 脑电 信 号 采 集 、 脑 电 信 号 预 处 理 、 脑 电 信 号 识 别 、 控 制 输 出 反 馈 信 息 等 几 个 部 分 组 成 ，是 一 种 使 用 人 的 脑 部 活 动 作 为 输 入 来 选 择 计 算 机 上 所 需 输 出 的 设 备 。 获 得 人 的 大 脑活 动 作 为 数 字 输 入 的 一 种 方 法 是 使 用 表 面 电 极 和 脑 电 图 （ EEG） 放 大 器 。 BCI的 概念 由 Vidal提 出 的 人 提 出 对 大 脑 活 动 刺 激 的 一 致 反 应 （ 称 为 诱 发 电 位 ） 可 以 用 来 传达 信 息 或 意 图 ， 然 后 可 以 用 来 控 制 其 他 设 备 。由 于 大 脑 数 据 是 不 稳 定 的 ， 因 此 对 数 据 分 析 人 员 来 说 ， 这 是 巨 大 的 挑 战 。 它 的特 点 是 判 断 不 不 确 定 性 以 及 受 试 者 之 间 存 在 着 很 大 差 异 。 通 常 ， 信 号 是 高 维 的 ， 只有 很 少 的 样 本 可 用 于 将 模 型 拟 合 到 数 据 ， 造 成 最 后 信 噪 比 非 常 低 。 4.1.2 车 外 交 互当 高 级 别 自 动 驾 驶 汽 车 投 入 使 用 之 后 ， 驾 驶 员 的 主 要 任 务 将 不 再 是 驾 驶 相 关 的任 务 ， 而 是 办 公 、 娱 乐 等 非 驾 驶 任 务 ； 驾 驶 员 的 主 要 注 意 力 将 不 再 用 于 关 注 道 路 的情 况 ， 因 此 驾 驶 员 将 不 能 再 通 过 传 统 的 眼 神 、 手 势 、 汽 车 灯 光 等 交 流 方 式 与 道 路 中的 行 人 进 行 交 流 。 在 这 样 的 情 况 下 ， 自 动 驾 驶 汽 车 将 不 得 不 通 过 汽 车 外 部 人 机 交 互界 面 将 必 要 的 信 息 传 递 给 道 路 中 的 行 人 ， 道 路 中 的 行 人 基 于 他 们 对 界 面 显 示 信 息 内容 的 识 别 和 理 解 ， 采 取 相 应 的 行 动 。 车 外 人 机 交 互 界 面 的 设 计 对 于 改 善 自 动 驾 驶 汽车 与 行 人 之 间 的 沟 通 将 变 得 格 外 重 要 ， 因 此 通 过 自 动 驾 驶 汽 车 车 外 人 机 交 互 界 面 的设 计 研 究 与 实 践 ， 为 行 人 提 供 可 用 的 汽 车 车 外 人 机 交 互 界 面 ， 具 有 非 常 重 要 的 意 义 。 目 前 ， 已 经 有 许 多 研 究 通 过 外 部 人 机 界 面 研 究 车 辆 与 行 人 和 其 他 道 路 用 户 的 交互 。 通 过 外 部 交 互 接 口 进 行 通 信 可 以 提 高 行 人 在 穿 越 街 道 时 的 感 知 安 全 性 和 舒 适 度 ， 80 以 防 车 辆 显 示 出 通 过 外 部 人 机 交 互 让 步 的 意 图 。 此 外 ， 外 部 人 机 交 互 可 以 减 少 行 人在 自 动 驾 驶 车 辆 放 弃 通 行 权 的 情 况 下 穿 过 街 道 所 需 的 时 间 。除 了 外 部 人 机 交 互 的 潜 力 ， 未 来 仍 有 挑 战 需 要 探 索 和 解 决 。 目 前 ， 外 部 人 机 交互 没 有 明 确 的 标 准 或 最 低 要 求 。 需 要 回 答 的 开 放 性 问 题 包 括 :“外 部 人 机 交 互 应 该 用哪 种 媒 介 ？ “、 “外 部 人 机 交 互 应 该 是 什 么 颜 色 ？ ”或 “外 部 人 机 交 互 应 该 安 装 在 哪里 ？ ”。 此 外 ， 研 究 人 员 讨 论 了 外 部 人 机 交 互 是 否 应 该 通 知 其 他 人 类 道 路 使 用 者 关 于自 动 驾 驶 汽 车 的 意 图 。无 人 驾 驶 汽 车 与 行 人 的 交 互 现 阶 段 处 于 概 念 性 的 研 发 阶 段 ， 并 没 有 实 际 地 应 用 ，对 此 方 面 进 行 研 究 的 公 司 也 比 较 少 。 现 阶 段 主 要 的 交 互 以 视 觉 交 互 和 听 觉 交 互 为 主 ， 视 觉 交 互 除 了 要 考 虑 各 情 况 下 展 示 的 信 息 内 容 外 ， 还 应 考 虑 车 速 对 行 人 视 觉 的 影 响 。同 样 地 ， 听 觉 交 互 除 了 考 虑 发 出 的 信 息 内 容 外 ， 声 音 的 大 小 以 及 不 同 道 路 环 境 的 干扰 也 是 要 研 究 的 方 向 。 未 来 无 人 驾 驶 或 许 会 出 现 更 先 进 的 与 行 人 交 互 方 式 ， 但 无 论是 采 取 什 么 样 的 交 互 方 式 ， 汽 车 所 发 出 的 信 息 要 保 证 能 为 行 人 所 识 别 及 理 解 。 车 与行 人 自 然 地 交 互 是 未 来 无 人 驾 驶 必 须 要 解 决 的 问 题 ， 无 人 驾 驶 不 应 只 考 虑 驾 驶 员 的需 求 ， 将 道 路 上 所 有 人 员 包 括 行 人 、 交 警 的 需 求 考 虑 在 内 也 是 十 分 有 必 要 的 。4.1.2.1 外 部 警 示要 检 验 汽 车 如 何 替 代 驾 驶 员 与 行 人 进 行 交 互 ， 尤 其 在 当 下 频 繁 使 用 非 正 式 交 流策 略 的 复 杂 城 市 环 境 中 。 为 了 解 决 这 个 问 题 ， 提 出 了 用 于 自 动 驾 驶 汽 车 的 外 部 人 机 界 面 （ eHMI） 的 应 用 。 eHMI应 向 其 他 交 通 参 与 者 提 供 信 息 ， 以 提 高 自 动 驾 驶 汽 车与 行 人 之 间 的 沟 通 。Mahadevan， Somanath 和 Sharlin 比 较 了 不 同 的 eHMI 模 型 ， 包 括 LED 灯 和 显示 器 ， 以 传 达 车 辆 的 感 知 和 意 图 。 例 如 ， 显 示 器 上 显 示 动 画 面 孔 和 移 动 的 眼 睛 传 达了 车 辆 对 行 人 的 感 知 ， Chang等 人 提 出 了 类 似 的 想 法 ， 通 过 驾 驶 汽 车 的 紫 色 指 示 灯指 示 车 辆 即 将 启 动 。 Mahadevan的 发 现 表 明 ， 参 与 者 发 现 传 达 意 图 的 线 索 比 那 些 感知 的 线 索 更 重 要 。Bckle， Brenden提 出 了 一 种 eHMI， 该 eHMI通 过 使 用 不 同 的 颜 色 和 轻 微 的 运动 来 传 达 汽 车 开 始 驾 驶 或 停 止 ， 以 及 下 一 刻 的 意 图 。 例 如 ， 黄 色 闪 烁 的 LED灯 传 达 了 车 辆 保 持 驾 驶 的 意 图 。 在