CEED-VLA: Consistency Vision-Language-Action Model with Early-Exit Decoding
计 算 机 与 大 数 据 学 院 Fuzhou University CEED-VLA: Consistency Vision-Language-Action Model with Early-Exit Decoding 论 文 出 处 : A rXiv preprint 发 表 时 间 : 2025.06 作 者 : Wenxuan Song, Jiayi Chen , Yuxin Huang, Pengxiang Ding 作 者 单 位 : 香 港 科 技 大 学 , 西 湖 大 学 , 浙 江 大 学 汇 报 人 ： 黄 玺 龙 日 期 ： 20 25 - 11 - 20 CEED-VLA: 具 有 早 退 出 解 码 的 一 致 性 视 觉 语 言 行 动 模 型
VLM到VLA：具身智能演化之路
VLM 到 VLA ： 具 身 智 能 演 化 之 路 VLM （ Vision-Language Model ） 视 觉 语 言 模 型 （ VLM ） 是 能 够 理 解 和 处 理 视 频 、 图 像 和 文 本 的 多 模 态 生 成 式 人 工 智 能 模 型 。 通 过 结 合 大 语 言 模 型 （ LLM ） 与 视 觉 编 码 器 实 现 图 像 、 文 本 、 视 频 的 综 合 处 理 能 力 VLM 并 非 凭 空 出 现 ， 它 的 诞 生 依 赖 于 两 个 领 域 的 巨 大 突 破 ： 1. 计 算 机 视 觉 ( CV) ： 特 别 是 深 度 学 习 让 模 型 （ 如 CNN, Vision Transformer ） 能 够 从 像 素 中 提 取 出 高 级 的 语 义 特 征 ， 即 “ 看 懂 ” 图 片 里 有 什 么 。 2. 自 然 语 言 处 理 ( NLP) ： 大 语 言 模 型 （ LLM ， 如 GPT 系 列 ） 的 崛 起 ， 让 模 型 拥 有 了 强 大 的 文 本 理 解 、 生 成 和 推 理 能 力 。 功 能 ： VLM 能 够 教 会 机 器 同 时 理 解 图 片 和 文 字 ， 做 到 “ 看 图 ／ 读 文 本 → 理 解 ／ 生 成 ” 这 种 能 力 • 看 图 说 话 ： 给 一 张 图 ， 生 成 一 段 详 细 的 描 述 。 • 视 觉 问 答 ： 给 一 张 图 和 相 关 问 题 ， 它 能 给 出 答 案 。 比 如 ， 问 “ 图 片 里 的 猫 是 什 么 颜 色 的 ？ ” • 图 像 检 索 ： 用 一 句 话 来 搜 索 匹 配 的 图 片 ， 反 之 亦 然 。
VLM核心架构
VLM 核 心 架 构 其 核 心 架 构 包 含 视 觉 编 码 器 （ Vision Encoder ） 、 投 影 层 （ Projector ） 和 LLM 语 言 模 型 三 部 分 Projector ： 实 现 模 态 对 齐 ， 将 Vision Encoder 提 取 的 视 觉 特 征 空 间 对 齐 到 LLM 的 文 本 嵌 入 空 间 常 见 的 投 影 层 模 型 ： 线 性 投 影 ( Linear Projector) MLP 多 层 感 知 机 Q-Former (Querying Transformer)
VLA（Vision-Language-Action Model）
VLA （ Vision-Language-Action Model ） 具 身 人 工 智 能 （ Embodied AI ） 是 指 将 人 工 智 能 集 成 到 物 理 系 统 中 ， 使 其 能 够 与 物 理 世 界 进 行 交 互 。 这 些 系 统 包 括 通 用 机 器 人 、 自 动 驾 驶 汽 车 ， 甚 至 工 厂 和 仓 库 设 施 等 。 简 单 来 说 ， 就 是 将 AI 模 型 赋 予 一 个 “ 身 体 ” ， 让 它 能 够 在 一 个 环 境 中 感 知 、 行 动 、 并 与 环 境 互 动 ， 通 过 互 动 来 学 习 和 完 成 任 务 。 VLM: 只 能 看 懂 ， 不 能 行 动 --------> VLA: 具 身 化 的 VLM + 行 动 能 力 VLM: 输 入 ( 图 像 / 文 本 ) ---> 输 出 ( 文 本 ) VLA: 输 入 ( 环 境 观 察 - 图 像 / 视 频 流 ) + 任 务 指 令 ( 文 本 ) ---> 输 出 ( 一 系 列 的 动 作 ) 视 觉 - 语 言 - 动 作 模 型 （ VLA ） 是 一 类 多 模 态 基 础 模 型 ， 它 整 合 了 视 觉 、 语 言 和 动 作 。 给 定 机 器 人 周 围 环 境 的 输 入 图 像 （ 或 视 频 ） 和 文 本 指 令 ， VLA 可 以 直 接 输 出 可 用 于 完 成 所 请 求 任 务 的 底 层 机 器 人 动 作 。
VLA（Vision-Language-Action Model）
VLA （ Vision-Language-Action Model ） VLA 通 常 是 通 过 在 大 规 模 数 据 集 上 微 调 VLM 来 构 建 的 。 该 数 据 集 将 视 觉 观 察 和 语 言 指 令 与 机 器 人 轨 迹 配 对 。 这 些 模 型 结 合 了 视 觉 + 语 言 编 码 器 和 动 作 解 码 器 。 视 觉 + 语 言 编 码 器 将 图 像 观 察 和 自 然 语 言 描 述 转 换 为 潜 空 间 （ latent space ） 中 的 分 布 ， 而 动 作 解 码 器 则 将 这 种 表 示 转 换 为 连 续 的 输 出 动 作 ， 这 些 动 作 可 以 直 接 在 机 器 人 上 执 行 。 自 回 归 解 码 , 解 码 器 生 成 这 7 个 维 度 的 Token 标 记 时 ， 一 个 接 一 个 串 行 生 成
VLA（Vision-Language-Action Model）
VLA （ Vision-Language-Action Model ） 潜 空 间 （ latent space ） 中 的 分 布 潜 空 间 可 以 被 理 解 为 一 个 压 缩 过 的 信 息 空 间 ， Vision-Language Encoder 提 取 出 输 入 的 图 像 和 文 字 最 本 质 、 最 重 要 的 特 征 ， 用 Latent vector 来 表 示 ） ， 当 视 觉 语 言 编 码 器 处 理 一 张 图 片 ， 给 出 “ 这 个 向 量 可 能 在 什 么 范 围 内 ” 的 概 率 分 布 ， Action decoder 会 从 这 个 分 布 中 采 样 动 作 ， 然 后 执 行 动 作 。 Latent vector
目前已有的几种VLA
目 前 已 有 的 几 种 VLA VLA 可 以 组 织 成 单 一 的 端 到 端 网 络 ， 也 可 以 组 织 成 采 用 两 个 耦 合 模 型 的 双 系 统 1.RT-2 、 OpenVLA 和 π0 采 用 的 单 模 型 设 计 ， 能 够 同 时 理 解 场 景 和 语 言 指 令 ， 在 一 次 前 向 传 播 中 产 生 机 器 人 动 作 ， 从 而 保 持 架 构 简 单 并 降 低 延 迟 。 2. Helix 和 Groot N1 采 用 的 双 系 统 设 计 将 架 构 解 耦 为 两 个 组 件 。 第 一 个 组 件 通 常 速 度 较 慢 ， 负 责 处 理 图 像 观 察 和 作 为 输 入 接 收 的 文 本 指 令 。 第 二 个 组 件 运 行 速 度 更 快 ， 负 责 生 成 机 器 人 的 动 作 。
例: OpenVLA
例 : OpenVLA OpenVLA 是 一 个 70 亿 参 数 的 开 源 VLA 模 型 ， 由 斯 坦 福 大 学 的 研 究 人 员 于 2024 年 6 月 推 出 。 它 基 于 Open X-Embodiment 数 据 集 进 行 训 练 ， 该 数 据 集 由 21 个 机 构 合 作 收 集 ， 涵 盖 22 种 不 同 的 具 身 模 型 ， 共 计 超 过 一 百 万 个 回 合 。 该 模 型 使 用 DINOv2 和 CLIP 融 合 图 像 特 征 ， 并 以 Llama-2 语 言 为 骨 干 ， 输 出 离 散 的 动 作 标 记 。 Vision Encoder Language Encoder 7 个 维 度 ： 1. 位 置 变 化 (x,y,z) 2. 姿 态 变 化 ( 机 器 人 末 端 执 行 器 绕 自 身 xyz 轴 的 旋 转 角 度 ） 3. 夹 爪 开 合
VLA目前的不足与挑战
VLA 目 前 的 不 足 与 挑 战 1. 数 据 基 础 : 数 据 收 集 成 本 高 且 真 实 世 界 数 据 充 满 噪 声 、 遮 挡 和 非 最 优 操 作 ， 影 响 学 习 效 率 。 2. 泛 化 能 力 差 、 推 理 效 率 低 : VLA 模 型 通 常 参 数 量 巨 大 ， 推 理 速 度 慢 ， 难 以 满 足 机 器 人 实 时 控 制 的 需 求 。 3. 连 续 动 作 建 模 能 力 差 ： 将 连 续 、 高 维 的 机 器 人 动 作 离 散 化 为 Token （ 如 OpenVLA ） ， 会 损 失 精 度 ， 导 致 动 作 生 硬 、 不 平 滑 。 4. 长 时 序 任 务 能 力 不 足 ： VLA 擅 长 短 时 序 的 反 应 式 动 作 （ 如 “ 拿 起 苹 果 ” ） ， 但 对 于 需 要 多 步 骤 规 划 的 复 杂 任 务 （ 如 “ 整 理 书 桌 并 泡 一 杯 咖 啡 ” ） 则 能 力 不 足 ， 缺 乏 记 忆 、 逻 辑 推 理 和 任 务 分 解 能 力 。 5. 边 缘 设 备 部 署 难 度 大 : VLA 模 型 参 数 量 巨 大 ， 边 缘 设 备 的 处 理 器 并 不 支 持 处 理 如 此 庞 大 的 模 型 。
1.摘要
1. 摘 要 近 年 来 ， 视 觉 语 言 动 作 （ VLA ） 模 型 因 其 令 人 印 象 深 刻 的 多 模 态 理 解 和 泛 化 能 力 而 成 为 机 器 人 学 的 一 个 重 要 研 究 方 向 。 尽 管 取 得 了 进 展 ， 但 它 们 的 实 际 部 署 受 到 推 理 速 度 瓶 颈 的 严 重 限 制 ， 特 别 是 在 高 频 和 灵 巧 的 操 作 任 务 中 。 虽 然 最 近 的 研 究 探 索 了 Jacobi 解 码 作 为 传 统 自 回 归 解 码 的 更 有 效 替 代 方 案 ， 但 由 于 迭 代 时 间 长 ， 其 实 际 效 益 微 乎 其 微 。 为 了 解 决 这 个 问 题 ， 本 文 引 入 了 一 致 性 蒸 馏 训 练 来 预 测 每 次 迭 代 中 的 多 个 正 确 动 作 标 记 ， 从 而 实 现 加 速 。 此 外 ， 我 们 设 计 了 混 合 标 签 监 督 ， 以 减 轻 蒸 馏 过 程 中 的 误 差 累 积 。 尽 管 蒸 馏 带 来 了 可 接 受 的 加 速 ， 但 我 们 发 现 某 些 低 效 的 迭 代 仍 然 是 一 个 关 键 的 瓶 颈 。 为 了 解 决 这 个 问 题 ， 我 们 提 出 了 一 种 早 期 退 出 解 码 策 略 ， 该 策 略 适 度 放 宽 了 收 敛 条 件 ， 进 一 步 提 高 了 平 均 推 理 效 率 。 实 验 结 果 表 明 ， 该 方 法 在 不 同 基 线 下 实 现 了 4 倍 以 上 的 推 理 加 速 ， 同 时 在 模 拟 和 现 实 世 界 的 机 器 人 任 务 中 都 保 持 了 较 高 的 任 务 成 功 率 。 这 些 实 验 验 证 了 我 们 的 方 法 为 加 速 机 器 人 的 多 模 态 决 策 提 供 了 一 种 高 效 和 通 用 的 范 式 。
2.引言
2. 引 言 尽 管 VLA 模 型 在 各 种 任 务 中 有 很 好 的 泛 化 能 力 ， 但 它 们 的 实 际 部 署 受 到 推 理 速 度 瓶 颈 的 严 重 限 制 ， 这 阻 碍 了 高 效 执 行 和 处 理 高 频 、 灵 巧 的 任 务 。 因 此 ， 我 们 的 目 标 是 在 保 持 操 作 性 能 的 同 时 ， 显 著 提 高 VLA 的 推 理 效 率 。 为 了 实 现 这 一 目 标 ， 最 近 的 工 作 创 新 性 地 将 自 回 归 （ AR ） 解 码 重 构 为 通 过 Jacobi 不 动 点 迭 代 法 （ Jacobi fixed-point iteration method ） 求 解 的 非 线 性 方 程 组 。 然 而 ， 在 实 践 中 ， 标 准 VLA 上 的 Jacobi 解 码 仅 比 AR 解 码 提 供 有 限 的 1.28 倍 加 速 ， 出 现 这 种 限 制 是 因 为 VLA 是 以 严 格 的 自 回 归 方 式 训 练 的 ， 其 中 模 型 在 训 练 过 程 中 只 暴 露 于 ground-truth 前 缀 。 因 此 ， 当 前 面 的 tokens 不 正 确 时 ， 模 型 很 难 生 成 准 确 的 预 测 。 由 于 缺 乏 这 种 能 力 ， 该 模 型 通 常 只 在 每 次 并 行 迭 代 中 正 确 预 测 第 一 个 token ， 导 致 整 个 token 序 列 的 收 敛 速 度 较 慢 。
2.引言
2. 引 言 为 了 解 决 以 上 问 题 ， 本 文 做 出 了 以 下 主 要 工 作 : • 提 出 CEED-VLA ， 这 是 一 种 通 用 的 加 速 方 法 ， 可 以 在 保 持 操 纵 性 能 的 同 时 显 著 提 高 推 理 速 度 。 • 进 行 了 一 致 性 蒸 馏 过 程 （ consistency distillation ） ， 以 释 放 模 型 的 快 速 推 理 能 力 ， 并 进 一 步 提 出 了 自 回 归 损 失 中 的 混 合 标 签 监 督 ， 以 保 持 模 型 的 操 纵 性 能 。 • 低 效 迭 代 是 Jacobi 解 码 加 速 的 瓶 颈 ， 并 提 出 了 早 期 退 出 解 码 来 解 决 这 个 问 题 ， 可 以 带 来 4.1 倍 的 加 速 和 4.3 倍 以 上 的 频 率 。
2.引言 -Jacobi fixed-point iteration method
2. 引 言 - Jacobi fixed-point iteration method AR Decoding （ 串 行 ） 给 定 一 个 提 示 x 和 一 个 预 训 练 的 LLM p （ ·|x ） ， 我 们 通 常 使 用 具 有 贪 婪 策 略 的 标 准 AR 解 码 方 法 来 预 测 token ： yi ： 目 标 ， 表 示 第 i 个 字 ， y1 是 第 一 个 字 ， y2 是 第 二 个 字 ..yn 是 第 n 个 字 x ： 给 机 器 人 的 promot, 需 要 AR 解 码 输 出 7 维 动 作 指 令 yi-1 ： 它 代 表 在 第 i 个 字 之 前 ， 所 有 已 经 说 出 来 的 正 确 的 字 p(y | yi-1, x) 在 已 知   yi-1   ( 前 面 说 的 话 ) 和   x   ( 原 始 命 令 ) 的 情 况 下 ， 下 一 个 字 是   y   的 可 能 性 有 多 大 arg max 找 一 个 让 y 可 能 性 最 大 的 那 个 为 了 找 出 第   i  个 字 (yi) 是 什 么 ， 在 已 经 说 出 的 前 半 句 话 (yi-1) 和 原 始 命 令 (x) 的 基 础 上 ， 字 典 里 哪 个 字 (y) 作 为 下 一 个 字 的 可 能 性 最 大 ， 就 选 哪 个 LLM 执 行 n 次 前 向 传 递 以 获 得 n 个 token Yn ， 这 使 得 很 难 有 效 地 输 出 冗 长 的 token 序 列
2.引言
2. 引 言 Jacobi Decoding （ 并 行 ） 与 AR 解 码 不 同 ， Jacobi 解 码 可 以 通 过 在 一 个 正 向 中 预 测 多 个 token 来 加 速 推 理 核 心 思 想 ： 运 用 到 了 Fixed Point 方 法 （ 不 动 点 ） 每 一 次 迭 代 ， 模 型 都 会 根 据 前 一 次 的 输 出 重 新 预 测 新 结 果 Fixed point: 模 型 更 新 后 的 结 果 与 上 一 次 更 新 一 样 ， 继 续 迭 代 也 不 会 再 改 变 结 果 的 地 方 。 1.J 表 示 j 次 jacobi 轨 迹 迭 代 ， j=0 时 ， 不 知 道 不 动 点 在 哪 里 ， 随 机 选 一 个 点 作 为 出 发 点 2. 接 下 来 就 会 沿 着 轨 迹 移 动 (j-Iteration) ， 在 每 一 步 ， 它 都 会 根 据 我 们 当 前 所 在 的 位 置 （ 当 前 的 动 作 序 列   Y(j) ） ， 计 算 出 下 一 步 应 该 走 向 哪 里 （ 下 一 个 更 优 的 动 作 序 列   Y(j+1) ） ， 3. Y(0) -> Y(1) -> Y(2) -> ... -> Y(k) ， 就 构 成 了 一 条 “ 轨 迹 ” （ Trajectory ） 沿 着 这 条 轨 迹 不 断 前 进 ， 直 到 我 们 到 达 一 个 点  (Y(k)) 和 上 一 步 位 置 的 序 列 (Y(k -1)) 会 完 全 一 样 ， 意 味 着 找 到 了 不 动 点 。
2.引言-Jacobi fixed-point iteration method
2. 引 言 - Jacobi fixed-point iteration method Jacobi Decoding （ 并 行 ）
2.引言-Jacobi fixed-point iteration method
2. 引 言 - Jacobi fixed-point iteration method Jacobi Decoding （ 并 行 ）
3.相关工作
3. 相 关 工 作 (1)VLA 模 型 的 加 速 策 略 目 前 的 各 种 加 速 策 略 包 括 量 化 和 剪 枝 ， 已 被 有 效 地 应 用 于 LLM ， 但 它 们 往 往 无 法 满 足 动 作 生 成 的 严 格 实 时 要 求 。 提 高 效 率 的 努 力 导 致 了 VLA 模 型 的 架 构 修 改 ， 例 如 动 态 调 整 推 理 深 度 的 DeeR-VLA 和 集 成 量 化 感 知 训 练 的 QAIL 。 进 一 步 的 创 新 ， 如 RoboMamba 和 TinyVLA ， 取 代 了 传 统 的 注 意 力 机 制 ， 或 专 注 于 从 头 开 始 开 发 轻 量 级 模 型 ， 这 通 常 需 要 模 型 重 新 训 练 和 额 外 的 数 据 收 集 同 时 ， VLA 缓 存 选 择 性 地 缓 存 静 态 token ， 只 重 新 计 算 动 态 或 任 务 相 关 的 令 牌 。 FAST 提 出 了 一 种 基 于 离 散 余 弦 变 换 的 基 于 压 缩 的 标 记 化 方 案 。 MoLe VLA 通 过 基 于 任 务 相 关 线 索 选 择 性 地 跳 过 变 压 器 层 来 实 现 这 一 点 。 PD-VLA 框 架 将 自 回 归 解 码 重 新 表 述 为 非 线 性 系 统 ， 并 使 用 并 行 定 点 迭 代 方 法 求 解 ， 在 保 持 模 型 性 能 的 同 时 显 著 提 高 了 解 码 速 度 。 OpenVLA OFT 采 用 类 似 的 并 行 解 码 方 法 来 加 速 。 相 比 之 下 ， 我 们 的 CEED-VLA 通 过 一 致 性 蒸 馏 过 程 对 VLA 进 行 微 调 ， 释 放 了 VLA 的 加 速 潜 力 。 它 还 优 化 了 解 码 机 制 ， 从 而 实 现 了 更 显 著 的 加 速 。
4.模型-概述
4. 模 型 - 概 述
4.模型-1
4. 模 型 -1 Teacher Model （ 本 文 使 用 OpenVLA/ LLaVA-VLA ） Vanilla VLAs P θ 学 习 直 接 从 当 前 观 察 st 和 语 言 指 令 l 预 测 处 的 行 为 为 了 进 一 步 提 高 行 动 的 计 划 能 力 和 稳 定 性 ， VLA 与 行 动 组 块 （ action chunking ） 相 结 合 。 具 体 而 言 ， 在 当 前 时 间 步 长 t ， 给 定 块 大 小 m ， 预 测 的 动 作 将 被 扩 展 为 动 作 序 列 每 个 at 由 7 个 维 度 组 成 ， 其 公 式 为 7 个 维 度 ： 1. 位 置 变 化 (x,y,z) 2. 姿 态 变 化 ( 机 器 人 末 端 执 行 器 绕 自 身 xyz 轴 的 旋 转 角 度 ） 3. 夹 爪 开 合
4.模型-概述
4. 模 型 - 概 述 Teacher Model （ 本 文 使 用 OpenVLA/ LLaVA-VLA ） 1. 使 用 微 调 的 Teacher Model 跑 Jacobi Decoding ， 使 其 能 够 使 用 错 误 的 前 导 tokens 输 出 多 个 正 确 的 actions 。 跑 出 的 所 有 “ 中 间 错 误 状 态 + 最 终 正 确 状 态 ， 生 成 轨 迹 数 据 集 （ Trajectory dataset ） 给 Student Model 训 练 。 目 标 是 让 Student Model 能 够 学 会 从 中 间 状 态 y(j) 直 接 到 不 动 点 y(k) ， 减 少 Jacobi decoding 迭 代 次 数
4.模型-概述
4. 模 型 - 概 述 Student Model （ CEED-VLA ） 2.Student Model 的 训 练 需 要 Consistency Distillation （ 一 致 性 蒸 馏 ） Consistency Loss Mixed-label AR Supervision （ 混 合 标 签 自 回 归 监 督 ） Mixed-label AR Loss 一 致 性 蒸 馏 使 Student Model 能 够 学 会 从 中 间 状 态 y(j) 直 接 到 不 动 点 y(k) 如 果 Teacher Model 的 最 终 预 测 y ⁽ * ⁾ 不 准 ， 那 么 使 用 ground truth 来 监 督 。
4.模型-概述
4. 模 型 - 概 述 Inference: Early-exit Decoding （ 提 前 退 出 解 码 ） 3.Early-exit Decoding Jacobi 本 来 需 要 很 多 轮 更 新 才 能 收 敛 Student Model 学 会 了 从 中 间 错 误 状 态 直 接 到 不 动 点 能 在 很 少 的 Jacobi 迭 代 次 数 就 能 收 敛 如 果 新 旧 序 列 差 异 很 小 （ 视 为 收 敛 ） 就 提 前 早 退 加 速 模 型 推 理 实 现 加 速
4.模型-2
4. 模 型 -2 Student Model （ CEED-VLA ） 的 训 练 1. 对 于 目 标 VLA P ， 我 们 让 Q θ （ ·| x ） 表 示 CEED-VLA ， 参 数 θ 用 P 的 参 数 初 始 化 2. 为 了 捕 捉 Jacobi 轨 迹 内 的 内 在 一 致 性 （ inherent consistency ） ， 我 们 首 先 通 过 提 示 VLA P 在 机 器 人 数 据 集 C 上 使 用 Jacobi 解 码 预 测 动 作 来 收 集 它 们 。 3. 我 们 在 解 码 过 程 中 记 录 Jacobi 轨 迹 以 构 建 一 致 性 蒸 馏 数 据 集 D 。 数 据 集 构 建 过 程 在 算 法 2 中 有 详 细 说 明 。
4.模型-2
4. 模 型 -2 Student Model （ CEED-VLA ） 的 训 练 一 致 性 损 失 （ Consistency Loss ） 理 想 的 微 调 模 型 一 致 地 将 Jacobi 轨 迹 J 上 的 任 何 点 Y 映 射 到 不 动 点 Y* 。 我 们 基 于 这 一 概 念 设 计 了 一 致 性 损 失 。 给 定 由 指 令 和 视 觉 输 入 组 成 的 前 缀 x 及 其 Jacobi 轨 迹 J ， 设 Y 为 随 机 采 样 的 中 间 状 态 ， Y* 为 相 应 的 不 动 点 。 我 们 训 练 CEED-VLA 通 过 最 小 化 以 下 损 失 直 接 从 Y 预 测 Y* Q θ− 是 Teacher model ， Q θ 是 Student Model 。 其 中 θ−= stopgrad （ θ ） 表 示 参 数 冻 结 ， 不 会 更 新 。 KL （ ·||· ） 表 示 两 个 分 布 之 间 的 正 向 KL 散 度 。 对 每 个 位 置 i ， 我 们 都 计 算 老 师 在 该 位 置 输 出 的 概 率 分 布 学 生 在 该 位 置 输 出 的 概 率 分 布 之 间 的 KL 散 度 。 Student Model 生 成 的 概 率 分 布 越 像 Teacher model 的 不 动 点 y* 的 分 布 → KL 越 小
4.模型-2
4. 模 型 -2 Student Model （ CEED-VLA ） 的 训 练 Mixed-label AR Supervision 为 了 避 免 偏 离 Teacher Model 的 分 布 ， 我 们 继 承 了 用 于 训 练 教 师 模 型 的 AR 损 失 函 数 LAR ： 为 了 解 决 因 Teacher Model 在 行 动 预 测 中 的 不 准 确 而 导 致 的 潜 在 绩 效 下 降 问 题 ， 我 们 实 施 了 一 种 混 合 标 签 监 督 策 略 。
4.模型-2
4. 模 型 -2 Student Model （ CEED-VLA ） 的 训 练 Mixed-label AR Supervision 具 体 来 说 ， 我 们 计 算 L1 距 离 来 量 化 生 成 的 Jacobi 轨 迹 数 据 集 与 相 应 的 真 实 动 作 数 据 之 间 的 分 布 差 异 。 对 于 高 偏 差 样 本 ， 我 们 用 相 应 的 真 实 值 （ Ground truth ） 替 换 这 些 样 本 的 AR 损 失 标 签 我 们 定 义 了 一 个 正 确 性 阈 值 δ max ， 数 据 集 D 中 L1 距 离 超 过 此 阈 值 的 任 何 数 据 都 被 视 为 异 常 值 。 该 策 略 有 效 地 减 轻 了 一 致 性 蒸 馏 过 程 中 的 误 差 传 播 。 （ 简 单 来 说 就 是 y ∗ −GT ​ 小 于 正 确 性 阈 值 δ max ， 就 选 择 y * 否 则 选 择 Ground-trouth ）
4.模型-2
4. 模 型 -2 Student Model （ CEED-VLA ） 的 训 练 总 损 失 其 中 ω 表 示 加 权 系 数 。
4.模型-2
4. 模 型 -2 Inference: Early-exit Decoding CEED-VLA 通 过 Jacobi 解 码 执 行 推 理 。 然 而 ， 我 们 的 经 验 观 察 表 明 ， CEED- VLA 的 加 速 性 能 受 到 几 次 迭 代 的 瓶 颈 ， 这 些 迭 代 甚 至 比 AR 解 码 的 最 小 速 度 还 要 慢 （ 见 表 1 ） 。 这 种 现 象 是 由 不 动 点 的 严 格 收 敛 条 件 引 起 的 。 它 需 要 连 续 迭 代 之 间 的 精 确 收 敛 ， 即 Y （ k ） =Y （ k-1 ） ， 这 需 要 多 次 迭 代 （ 超 过 30 次 迭 代 ） 才 能 达 到 。 进 一 步 观 察 到 ， 低 效 迭 代 的 最 后 步 骤 中 的 token 更 新 是 微 不 足 道 的 ， 对 最 终 行 动 决 策 的 贡 献 很 小 。 这 些 低 效 的 迭 代 显 著 阻 碍 了 推 理 加 速 ， 并 可 能 在 高 频 灵 巧 任 务 中 引 入 延 迟 或 不 连 续 性 ， 最 终 影 响 任 务 性 能 。 表 1: CEED-VLA 上 AR 解 码 、 Jacobi 解 码 和 早 期 退 出 解 码 的 推 理 速 度 比 较 。
4.模型-2
4. 模 型 -2 Inference: Early-exit Decoding 为 了 解 决 这 一 局 限 性 ， 我 们 研 究 了 放 宽 收 敛 条 件 或 更 少 迭 代 是 否 可 行 ， 特 别 是 在 它 们 对 整 体 性 能 的 影 响 方 面 。 1 。 理 论 结 构 特 性 。 任 务 的 成 功 主 要 取 决 于 在 少 数 关 键 状 态 下 执 行 的 动 作 ， 例 如 在 目 标 位 置 释 放 夹 具 。 相 比 之 下 ， 轨 迹 上 的 大 多 数 状 态 并 不 要 求 采 取 最 佳 行 动 ， 或 者 “ 足 够 好 ” 的 行 动 。 因 此 ， 某 些 操 作 质 量 的 轻 微 下 降 不 会 对 任 务 结 果 产 生 不 利 影 响 。 2. 经 验 观 察 。 我 们 进 一 步 观 察 到 ， 低 效 迭 代 的 最 后 步 骤 中 的 token 更 新 是 微 不 足 道 的 ， 对 最 终 行 动 决 策 的 贡 献 很 小 ， 进 一 步 突 显 了 它 们 的 低 效 性 。 这 表 明 ， 放 款 收 敛 和 减 少 迭 代 只 会 使 动 作 质 量 略 有 下 降 。 基 于 上 述 分 析 和 实 证 观 察 ， 我 们 得 出 结 论 ， 在 不 影 响 性 能 的 情 况 下 ， 放 宽 收 敛 条 件 和 减 少 迭 代 是 可 行 的 。
4.模型-2
4. 模 型 -2 Inference: Early-exit Decoding 为 此 ， 我 们 提 出 了 早 期 退 出 解 码 ， 以 放 宽 条 件 并 显 著 减 少 迭 代 次 数 。 具 体 来 说 ， 我 们 引 入 了 出 口 点 σ ， 在 该 点 ， 模 型 提 前 停 止 迭 代 过 程 ， 并 在 第 σ 次 迭 代 时 直 接 发 出 中 间 输 出 ， 从 而 绕 过 了 进 一 步 的 解 码 步 骤 。 这 种 方 法 减 轻 了 低 效 的 迭 代 ， 在 保 持 性 能 的 同 时 显 著 提 高 了 最 小 和 平 均 解 码 速 度 。
5.实验
5. 实 验 在 本 节 中 ， 我 们 评 估 了 所 提 出 的 CEED-VLA 在 保 持 操 作 性 能 的 同 时 加 速 性 能 的 能 力 为 了 评 估 CEED-VLA 的 成 功 率 和 推 理 速 度 ， 我 们 精 心 选 择 了 机 器 人 学 习 领 域 和 VLA 任 务 中 两 个 广 泛 使 用 的 仿 真 基 准 （ CALVIN 、 LIBERO ） 进 行 综 合 实 验 。 CALVIN(ABC->D) 每 个 模 型 运 行 500 次 推 出 ， 并 报 告 成 功 率 和 平 均 连 续 完 成 率 。 LIBERO 由 10 个 具 有 不 同 对 象 和 技 能 的 长 期 和 多 步 骤 操 作 任 务 组 成 ， 在 50 个 部 署 中 评 估 每 种 方 法 ， 报 告 每 个 任 务 和 平 均 成 功 率 。 表 2 ： 与 各 种 操 作 基 线 在 推 理 速 度 、 成 功 率 或 平 均 长 度 以 及 执 行 频 率 方 面 的 比 较 。
5.消融实验
5. 消 融 实 验 在 本 节 中 ， 我 们 首 先 评 估 了 基 于 OpenVLA 的 方 法 中 几 个 关 键 设 计 的 意 义 。 如 表 3 所 示 ， 一 致 性 训 练 和 早 期 退 出 解 码 大 大 加 速 了 模 型 ， 而 混 合 标 签 监 督 在 保 持 动 作 准 确 性 和 成 功 率 方 面 起 着 至 关 重 要 的 作 用 。
5.消融实验
5. 消 融 实 验 早 期 退 出 解 码 是 平 衡 推 理 速 度 和 成 功 率 的 关 键 加 速 器 。 在 图 5 中 ， 我 们 对 出 口 点 的 不 同 值 σ 进 行 了 推 断 。 AR 解 码 需 要 37 次 迭 代 才 能 完 成 一 个 动 作 。 我 们 观 察 到 ， 引 入 早 期 退 出 解 码 并 将 σ 设 置 为 16 ， 即 最 多 16 次 迭 代 ， 会 导 致 明 显 的 加 速 ， 性 能 下 降 可 以 忽 略 不 计 。 这 表 明 ， 在 任 务 中 的 几 个 步 骤 中 允 许 提 前 退 出 不 会 影 响 整 体 成 功 。 将 σ 进 一 步 降 低 到 8 会 导 致 性 能 略 有 下 降 ， 但 会 带 来 更 大 的 加 速 ， 这 个 版 本 被 称 为 CEED - VLA - Turbo 。 然 而 ， 将 退 出 点 降 低 到 4 会 以 大 量 行 动 为 代 价 产 生 极 大 的 加 速 ， 使 任 务 难 以 成 功 。 Early-exit Decoding
5.消融实验
5. 消 融 实 验 Mixed-label AR Supervision 我 们 研 究 了 标 签 选 择 对 监 督 AR 损 失 的 影 响 。 如 表 5 所 示 ， 我 们 的 混 合 标 签 监 管 在 加 速 和 性 能 之 间 达 到 了 最 佳 平 衡 。 这 是 因 为 它 有 效 地 将 Student Model 锚 定 在 Teacher Model 输 出 和 Ground Truth 之 间 ， 防 止 任 何 一 方 的 偏 差 。 仅 使 用 Teacher Model 输 出 作 为 标 签 会 导 致 错 误 累 积 ， 从 而 导 致 Avg.len 缩 短 。 相 反 ， 仅 使 用 Ground Truth 会 在 AR 和 一 致 性 损 失 之 间 产 生 冲 突 的 监 督 ， 从 而 产 生 最 差 的 性 能 。
5.消融实验
5. 消 融 实 验 Loss Design 速 度 和 精 度 之 间 的 权 衡 受 到 两 种 损 失 的 相 对 权 重 的 影 响 。 我 们 分 别 用 1 和 10 的 权 重 比 进 行 实 验 。 如 表 6 所 示 ， 尽 管 以 加 速 为 代 价 ， 但 增 加 对 AR 损 失 的 权 重 确 实 会 提 高 准 确 性 。
5.消融实验
5. 消 融 实 验 Data Size CEED-VLA 通 过 利 用 预 先 收 集 的 Jacobi 轨 迹 来 学 习 在 每 一 步 中 预 测 多 个 token 。 如 图 5 所 示 ， 60 k 的 轨 迹 足 以 实 现 显 著 的 加 速 ， 这 表 明 数 据 效 率 很 高 ， 因 为 在 这 个 数 据 集 上 训 练 一 个 epoch 只 需 要 10 个 小 时 。 当 轨 迹 数 量 超 过 120 k 时 ， 性 能 增 益 趋 于 平 稳 并 变 得 微 不 足 道 。
5.真实世界实验
5. 真 实 世 界 实 验 真 实 世 界 实 验 是 在 双 臂 AgileX PiPer 机 器 人 系 统 上 进 行 的 。 在 数 据 收 集 阶 段 ， 一 只 手 臂 由 人 类 远 程 操 作 以 提 供 演 示 （ 指 定 为 引 导 臂 ） ， 而 另 一 只 手 臂 （ 指 定 为 随 动 臂 ） 保 持 被 动 。 在 评 估 过 程 中 ， 只 有 随 动 臂 由 VLA 控 制 以 执 行 任 务 。 为 了 提 供 视 觉 观 察 ， 我 们 使 用 RealSense L515 深 度 相 机 作 为 第 三 视 图 ， 使 用 ORBBEC Dabai 深 度 相 机 作 为 第 一 视 图 输 入 。 https://irpn-eai.github.io/CEED-VLA/
5.真实世界实验结果
5. 真 实 世 界 实 验 结 果 涵 盖 了 4 种 任 务 （ 按 按 钮 、 拿 起 积 木 、 倒 水 、 叠 毛 巾 ） 每 种 任 务 测 试 20 次 场 景 条 件 不 同
6.结论
6. 结 论 在 本 文 中 ， 我 们 提 出 了 CEED-VLA ， 这 是 一 种 通 用 的 加 速 方 法 ， 可 以 在 保 持 操 纵 性 能 的 同 时 显 著 提 高 推 理 速 度 。 我 们 提 出 在 一 致 性 训 练 期 间 进 行 混 合 标 签 监 督 ， 在 推 理 期 间 进 行 早 期 退 出 解 码 。 在 几 个 模 拟 和 现 实 世 界 环 境 中 进 行 的 广 泛 实 验 表 明 ， 我 们 的 CEED-VLA 显 著 提 高 了 推 理 速 度 和 执 行 频 率 ， 同 时 保 持 了 相 对 的 操 纵 性 能 ， 更 好 地 管 理 了 高 频 灵 巧 任 务 。
6.结论
6. 结 论 优 点 ： 引 入 了 一 种 轻 量 级 且 实 用 的 解 决 方 案 ， 可 以 与 现 有 的 视 觉 语 言 模 型 无 缝 集 成 。 它 提 供 了 三 个 明 显 的 优 势 。 • 无 需 重 新 设 计 模 型 ， 这 意 味 着 不 需 要 对 骨 干 模 型 进 行 架 构 更 改 ， 从 而 保 持 了 原 始 网 络 的 完 整 性 和 性 能 特 征 。 • 其 次 ， 它 是 免 修 改 的 ， 因 为 它 不 需 要 修 改 或 向 预 训 练 的 VLA 模 型 添 加 辅 助 组 件 • 第 三 ， 该 方 法 不 会 产 生 额 外 的 GPU 内 存 开 销 ， 使 其 具 有 很 高 的 资 源 效 率 ， 适 合 在 计 算 预 算 有 限 的 环 境 中 部 署 。 这 些 特 性 共 同 使 我 们 的 方 法 既 灵 活 又 可 扩 展 ， 在 不 牺 牲 效 率 或 准 确 性 的 情 况 下 促 进 了 广 泛 的 适 用 性 。 缺 点 ： 它 很 容 易 应 用 于 具 有 离 散 动 作 的 模 型 ， 但 它 的 局 限 性 不 太 适 用 于 收 敛 条 件 难 以 定 义 的 连 续 动 作 空 间 。
谢谢！
谢 谢 ！