Continuous decision-making for autonomous driving at intersections using deep deterministic policy gradient
计 算 机 与 大 数 据 学 院 Fuzhou University Continuous decision-making for autonomous driving at intersections using deep deterministic policy gradient 论 文 出 处 ： IET Intelligent Transport Systems 发 表 时 间 ： 2021 汇 报 人 ： 陈 果 日 期 ： 2023-11-3 基 于 深 度 确 定 性 策 略 梯 度 的 交 叉 口 自 动 驾 驶 连 续 决 策
1.引言
1. 引 言 交 叉 口 是 最 容 易 发 生 事 故 的 复 杂 场 景 。 自 动 驾 驶 汽 车 在 交 叉 口 做 出 安 全 、 高 效 和 舒 适 的 决 策 是 具 有 挑 战 性 的 。 现 有 的 交 叉 口 自 动 驾 驶 决 策 研 究 要 么 只 考 虑 单 个 场 景 的 离 散 行 为 输 出 ， 要 么 忽 略 了 驾 驶 效 率 和 舒 适 性 的 要 求 。 该 方 法 通 过 使 用 卷 积 神 经 网 络 映 射 交 通 图 像 和 车 辆 操 作 之 间 的 关 系 ， 建 立 了 一 个 端 到 端 的 决 策 框 架 。 将 自 动 驾 驶 汽 车 与 其 他 车 辆 之 间 的 相 互 作 用 建 模 为 马 尔 可 夫 决 策 过 程 （ MDP ） ， 采 用 深 度 确 定 性 策 略 梯 度 算 法 求 解 MDP 问 题 。 实 验 在 CARLA 模 拟 器 中 验 证 了 该 方 法 的 有 效 性 ， 结 果 显 示 该 方 法 在 各 种 场 景 中 都 能 确 保 驾 驶 的 安 全 性 、 效 率 和 舒 适 性 。
1.引言
1. 引 言 贡 献 ： 1. 提 出 了 一 种 基 于 深 度 确 定 性 策 略 梯 度 算 法 （ DDPG-based ） 的 决 策 模 型 的 新 型 网 络 结 构 ， 以 从 交 通 图 像 中 获 取 静 态 和 动 态 信 息 ， 实 现 交 叉 口 的 自 动 驾 驶 。 与 相 关 的 基 于 强 化 学 习 （ RL ） 的 工 作 相 比 ， 所 提 出 的 方 法 将 决 策 模 型 的 输 入 从 单 个 交 通 图 像 扩 展 到 多 个 交 通 图 像 。 这 允 许 获 取 动 态 移 动 信 息 ， 以 更 好 地 生 成 输 入 图 像 和 输 出 驾 驶 决 策 之 间 的 映 射 关 系 。 2. 交 叉 口 已 被 确 定 为 自 动 驾 驶 的 挑 战 。 大 多 数 以 前 的 基 于 强 化 学 习 的 研 究 仅 关 注 在 单 一 场 景 中 提 高 驾 驶 安 全 性 或 效 率 的 自 动 驾 驶 解 决 方 案 。 然 而 ， 我 们 提 出 的 决 策 方 法 可 以 在 交 叉 口 的 多 个 容 易 发 生 事 故 的 碰 撞 场 景 中 应 用 ， 全 面 考 虑 驾 驶 安 全 性 、 效 率 和 舒 适 性 。 因 此 ， 这 项 研 究 为 考 虑 多 个 目 标 的 多 个 交 叉 口 场 景 提 供 了 自 动 驾 驶 的 解 决 方 案 。
2.相关工作
2. 相 关 工 作 现 有 的 无 人 驾 驶 决 策 方 法 大 致 可 以 分 为 三 类 ： 基 于 运 动 预 测 的 方 法 、 基 于 碰 撞 威 胁 评 估 的 方 法 和 基 于 协 同 决 策 的 方 法 。 运 动 预 测 方 法 ： 基 于 运 动 预 测 的 决 策 方 法 通 常 基 于 运 动 学 模 型 或 动 态 模 型 为 其 他 交 通 参 与 者 提 供 未 来 运 动 预 测 ， 并 相 应 地 做 出 驾 驶 决 策 以 避 免 碰 撞 威 胁 评 估 方 法 ： 基 于 碰 撞 威 胁 评 估 的 决 策 方 法 主 要 集 中 在 利 用 物 理 模 型 来 评 估 碰 撞 威 胁 。 碰 撞 威 胁 通 常 从 物 理 角 度 进 行 评 估 ， 根 据 具 体 指 标 （ 如 车 头 时 距 、 碰 撞 时 间 （ TTC ） 、 停 止 时 间 等 ） 估 计 碰 撞 概 率 ， 并 据 此 做 出 适 当 的 决 策 。 协 同 驱 动 方 法 ： 协 同 决 策 方 法 利 用 V2 V 通 信 技 术 实 现 两 车 协 同 ， 共 享 两 车 之 间 的 运 动 学 和 动 力 学 信 息 ， 做 出 两 车 协 同 驾 驶 决 策 ， 实 现 安 全 驾 驶 近 年 来 ， DRL 方 法 已 被 广 泛 用 于 开 发 智 能 交 通 解 决 方 案 ， 并 已 被 证 明 是 最 佳 驾 驶 决 策 的 有 效 新 兴 方 法 。
3.模型
3. 模 型 交 叉 口 自 动 驾 驶 RL 模 型 的 要 素 本 研 究 仅 考 虑 自 动 驾 驶 仪 的 纵 向 控 制 ， 以 进 行 不 同 交 叉 口 场 景 下 的 直 行 交 叉 决 策 。 建 立 的 RL 模 型 包 含 一 个 智 能 体 （ AV ） 以 及 智 能 体 可 以 与 周 围 交 通 进 行 交 互 并 学 习 最 佳 驾 驶 策 略 的 环 境 驾 驶 过 程 可 以 被 视 为 MDP ， 其 通 常 被 用 作 数 学 决 策 框 架 。 MDP 可 以 用 元 组 （ S ， A ， T ， R ， γ ） 来 描 述
3.模型-问题定义
3. 模 型 - 问 题 定 义 状 态 空 间 ： 所 提 出 的 方 法 的 唯 一 输 入 是 交 通 环 境 的 图 像 ， AV 和 其 他 车 辆 （ OV ） 之 间 的 距 离 和 相 对 速 度 被 认 为 是 观 察 到 的 特 征 ， 以 定 义 AV 的 当 前 状 态 。 单 个 图 像 仅 包 含 静 态 信 息 。 通 过 两 个 不 同 时 间 步 长 下 图 像 中 车 辆 相 对 位 置 的 变 化 ， 可 以 得 到 周 围 车 辆 的 动 态 运 动 信 息 动 作 空 间 ： 在 连 续 空 间 中 通 过 油 门 值 定 义 了 动 作 空 间 。 油 门 值 的 范 围 被 设 置 为 [0, 1] ， 并 且 自 动 驾 驶 车 辆 的 初 始 油 门 值 被 设 置 为 0.65 。 （ 只 考 虑 直 行 ）
3.模型
3. 模 型 奖 励 函 数 的 设 计 当 车 辆 直 行 穿 过 交 叉 路 口 时 ， AV 可 能 会 在 其 行 驶 路 径 的 交 叉 区 域 与 OV 发 生 碰 撞 ， 该 区 域 被 确 定 为 潜 在 碰 撞 区 域 （ CA ） 用 于 设 计 奖 励 函 数 的 其 它 时 间 相 关 变 量 描 述 如 下
3.模型
3. 模 型 为 了 实 现 与 OV 的 碰 撞 避 免 ， 同 时 避 免 过 度 保 守 以 实 现 有 效 的 交 叉 路 口 驾 驶 最 小 可 接 受 速 度 不 违 规 最 大 速 度 -10 奖 励 的 不 确 定 性 0.5
3.模型
3. 模 型 基 于 DDPG 的 决 策 框 架 ： 基 于 DQN 和 确 定 性 策 略 梯 度 （ DPG ） 算 法 ， DDPG 被 开 发 用 于 解 决 连 续 动 作 空 间 内 的 决 策 问 题 。
3.模型
3. 模 型 在 线 网 络 参 数 更 新 目 标 网 络 参 数 更 新
3.模型
3. 模 型 决 策 模 型 的 网 络 结 构 三 个 模 块 组 成 ： 特 征 提 取 ， 演 员 网 络 和 评 论 家 网 络
3.模型
3. 模 型 在 特 征 提 取 模 块 中 的 CNN 是 通 过 应 用 Mobilenet V2 来 构 建 的 ， 以 减 少 建 立 的 决 策 模 型 中 的 参 数 数 量 。
4.实验
4. 实 验 在 左 转 弯 - 反 方 向 （ LTAP/OD ） 、 左 转 弯 - 横 方 向 （ LTAP/LD ） 和 直 行 交 叉 口 （ SCP ） 的 三 种 情 况 进 行 评 估 对 比 方 法 ： 基 于 蒙 特 - 卡 罗 采 样 的 方 法 （ MCS 方 法 ） ， 基 于 贝 叶 斯 网 络 的 方 法 （ BN 方 法 ） 和 基 于 DQN 的 方 法 （ DQN 方 法 ） 。
4.实验
4. 实 验
4.实验
4. 实 验 车 辆 在 交 叉 路 口 过 程 中 的 运 动 学 信 息
5.结论
5. 结 论 本 文 利 用 DRL 开 发 了 一 个 决 策 解 决 方 案 ， 自 动 驾 驶 在 交 叉 口 使 用 连 续 的 行 动 策 略 。 以 AV 和 OV 之 间 的 相 对 距 离 和 速 度 作 为 输 入 ， 通 过 建 立 连 续 决 策 模 型 生 成 油 门 控 制 ， 并 采 用 DDPG 算 法 对 该 模 型 进 行 构 造 和 训 练 。 前 三 个 事 故 多 发 的 碰 撞 场 景 在 交 叉 口 （ LTAP/OD ， LTAP/LD 和 SCP ） 进 行 了 模 拟 ， 并 用 于 评 估 我 们 所 提 出 的 方 法 的 性 能 。 实 验 结 果 表 明 ， 该 方 法 能 够 有 效 地 指 导 交 叉 口 的 安 全 、 高 效 、 舒 适 的 自 动 驾 驶 。
谢谢！
计 算 机 与 大 数 据 学 院 Fuzhou University 谢 谢 ！