Medusa3D: The Watchful Eye Freezing illegitimate Users in Virtual Reality Interactions
计 算 机 与 大 数 据 学 院 Fuzhou University Medusa3D: The Watchful Eye Freezing illegitimate Users in Virtual Reality Interactions 论 文 出 处 : UbiComp 发 表 时 间 : 2022 年 作 者 : Aochen Jiao, Di Duan, Weitao Xu 作 者 单 位 : City University of Hong Kong 汇 报 人 : 喻 佳 乐 日 期 : 20 24 -10-17 Medusa3D : 警 觉 的 眼 睛 在 虚 拟 现 实 交 互 中 识 别 和 阻 止 非 法 或 不 合 规 的 用 户
1.摘要
1. 摘 要 近 年 来 , 虚 拟 现 实 ( VR ) 的 应 用 范 围 很 广 。 由 于 VR 设 备 包 含 用 户 的 私 人 信 息 , 用 户 身 份 验 证 变 得 越 来 越 重 要 。 目 前 VR 中 的 身 份 验 证 系 统 , 如 基 于 密 码 或 基 于 静 态 生 物 特 征 的 方 法 , 要 么 使 用 起 来 很 麻 烦 , 要 么 容 易 受 到 肩 窥 攻 击 等 攻 击 。 本 文 提 出 了 Medusa3D , 这 是 一 种 基 于 反 射 性 眼 睛 反 应 的 VR 挑 战 - 反 应 认 证 系 统 。 我 们 在 现 成 的 VR 设 备 上 实 现 了 Medusa3D , 并 对 25 名 参 与 者 进 行 了 评 估 。 评 估 结 果 显 示 , Medusa3D 实 现 了 0.21% 的 FAR 和 0.13% 的 FRR , 在 各 种 眼 部 条 件 下 表 现 出 高 度 的 安 全 性 和 对 零 努 力 攻 击 、 重 放 攻 击 和 模 仿 攻 击 等 攻 击 的 弹 性
2.引言
2. 引 言 最 近 的 工 作 研 究 了 各 种 生 物 识 别 技 术 , 包 括 肌 肉 、 虹 膜 和 头 部 。 尽 管 做 出 了 这 些 努 力 , 但 仍 然 存 在 一 些 局 限 性 , 总 结 如 下 : 用 户 体 验 低 。 上 述 方 法 需 要 一 定 的 刺 激 。 常 用 的 刺 激 包 括 电 、 振 动 和 声 学 混 响 。 这 些 刺 激 对 于 用 户 与 VR 设 备 的 交 互 来 说 并 不 自 然 , 会 降 低 沉 浸 式 体 验 , 这 种 刺 激 甚 至 可 能 对 健 康 有 害 。 安 全 性 低 。 虹 膜 等 静 态 物 理 生 物 识 别 技 术 容 易 受 到 重 放 攻 击 。 使 用 身 体 运 动 行 为 作 为 用 户 身 份 验 证 的 主 动 特 征 , 用 户 需 要 执 行 特 定 的 任 务 来 完 成 身 份 验 证 , 例 如 抓 取 、 打 字 、 行 走 和 点 头 。 然 而 , 这 些 任 务 是 预 先 定 义 的 , 攻 击 者 可 以 通 过 预 先 录 制 的 视 频 轻 松 学 习 和 模 仿 合 法 用 户 的 行 为 。
2.引言
2. 引 言 实 用 性 低 。 虹 膜 是 一 种 稳 定 准 确 的 VR 身 份 验 证 生 物 识 别 技 术 , 但 虹 膜 扫 描 仪 的 部 署 成 本 很 高 。 使 用 不 常 用 的 生 物 识 别 技 术 , 如 脑 电 信 号 和 眼 电 图 作 为 身 份 验 证 的 特 征 , 这 些 方 法 需 要 专 业 的 测 量 工 具 , 而 这 些 工 具 在 商 用 现 成 的 VR 设 备 中 并 不 容 易 获 得 。
2.引言
2. 引 言 在 本 文 中 , Medusa3D 向 用 户 呈 现 3D 视 觉 刺 激 , 以 引 发 反 射 性 眼 睛 反 应 , 包 括 反 射 性 扫 视 和 瞳 孔 直 径 变 化 , 这 些 将 由 集 成 眼 动 仪 记 录 下 来 。 我 们 设 计 了 一 种 新 的 算 法 来 从 原 始 数 据 中 提 取 自 反 部 分 , 并 使 用 图 神 经 网 络 ( GNN ) 特 征 提 取 器 来 获 得 用 户 特 定 的 特 征 。 最 后 , 利 用 K-Nearest Neighbors ( KNN ) 分 类 器 对 当 前 用 户 进 行 身 份 验 证 。 与 现 有 方 法 相 比 , Medusa3D 具 有 几 个 优 点 。 首 先 , 反 射 性 的 眼 睛 反 应 是 用 户 固 有 的 生 物 特 征 凭 证 。 其 次 , 即 使 凭 证 泄 露 , 用 户 也 可 以 轻 松 地 重 新 生 成 一 个 新 的 凭 证 , 攻 击 者 无 法 模 仿 它 。 第 三 , Medusa3D 可 以 轻 松 地 部 署 在 配 备 眼 动 仪 的 VR 设 备 中 , 并 且 不 需 要 商 业 VR 设 备 不 支 持 的 额 外 硬 件 。
3.可行性研究
3. 可 行 性 研 究 我 们 在 VR 中 实 现 了 一 个 交 互 式 球 作 为 刺 激 , 并 记 录 了 用 户 的 视 线 轨 迹 , 以 分 析 使 用 反 射 性 扫 视 来 验 证 用 户 的 可 行 性 。 一 旦 用 户 注 视 球 , 球 就 会 闪 烁 到 任 意 位 置 。 我 们 确 定 了 刺 激 出 现 的 方 向 , 并 且 只 改 变 了 虚 拟 空 间 中 刺 激 的 深 度 。 随 着 刺 激 距 离 的 变 化 , 用 户 的 瞳 孔 直 径 会 相 应 地 扩 张 或 收 缩 以 调 整 变 化 。
4.系统设计
4. 系 统 设 计 1. 注 册 阶 段 ( Registration phase ) : 五 点 校 准 : 用 户 戴 上 VR 头 显 后 , 首 先 需 要 完 成 一 个 五 点 校 准 , 确 保 眼 动 追 踪 器 能 够 准 确 捕 捉 用 户 的 眼 球 运 动 。 随 机 刺 激 呈 现 : 完 成 校 准 后 , 用 户 将 看 到 包 含 900 个 随 机 刺 激 的 视 觉 序 列 。 这 些 刺 激 在 用 户 的 视 野 中 呈 现 , 目 的 是 引 发 用 户 的 反 射 性 眼 动 反 应 。 数 据 记 录 和 处 理 : 在 刺 激 呈 现 的 过 程 中 , 眼 动 追 踪 器 会 持 续 记 录 用 户 的 反 射 性 眼 部 反 应 ( 如 快 速 扫 视 ) 。 系 统 在 获 取 到 原 始 数 据 后 , 会 对 这 些 数 据 进 行 处 理 , 提 取 出 反 射 性 快 速 扫 视 ( saccades ) 。 模 型 训 练 : Medusa3D 系 统 会 为 每 个 合 法 用 户 训 练 一 个 通 用 的 图 神 经 网 络 ( GNN ) 特 征 提 取 器 , 以 及 一 个 用 户 特 定 的 K 近 邻 ( KNN ) 分 类 器 , 用 来 识 别 用 户 特 有 的 眼 动 特 征 。
4.系统设计
4. 系 统 设 计 2. 认 证 阶 段 ( Authentication phase ) : 短 时 刺 激 : 当 用 户 尝 试 解 锁 使 用 Medusa3D 保 护 的 VR 设 备 时 , 系 统 会 呈 现 一 个 包 含 10 个 随 机 刺 激 的 短 时 视 觉 序 列 ( 平 均 持 续 时 间 为 5 秒 ) 。 在 此 过 程 中 , 用 户 的 眼 动 反 应 会 被 记 录 下 来 , 用 于 进 一 步 的 信 号 处 理 。 新 鲜 度 验 证 : Medusa3D 首 先 会 验 证 采 集 到 的 眼 动 数 据 的 “ 新 鲜 度 ” , 即 确 保 用 户 对 当 前 刺 激 的 反 应 是 有 效 的 。 如 果 数 据 有 效 , 系 统 将 继 续 处 理 这 些 反 射 性 眼 动 。 特 征 提 取 和 分 类 : 系 统 会 将 用 户 的 反 射 性 快 速 扫 视 输 入 到 已 经 训 练 好 的 GNN 特 征 提 取 器 中 , 提 取 出 用 户 特 有 的 特 征 。 接 着 , 系 统 会 将 这 些 特 征 输 入 到 预 先 训 练 好 的 KNN 分 类 器 中 , 最 终 做 出 判 断 : 当 前 用 户 是 否 是 合 法 用 户 。
4.系统设计
4. 系 统 设 计 (1) 3D 视 觉 刺 激 设 计 我 们 将 Medusa3D 中 使 用 的 “ 刺 激 ” 设 计 为 一 个 交 互 式 红 球 , 它 在 距 离 用 户 5 米 至 15 米 的 范 围 内 不 可 预 测 地 向 随 机 方 向 移 动 。 在 虚 拟 3D 空 间 中 , 球 的 直 径 被 设 计 为 0.7 米 , 一 旦 用 户 的 视 线 与 红 色 球 相 交 , 它 将 闪 烁 到 一 个 新 的 随 机 位 置 。 该 过 程 将 继 续 , 直 到 出 现 N 个 刺 激 。 这 里 , N 表 示 在 单 个 身 份 验 证 期 间 使 用 的 刺 激 数 量 。 此 外 , 考 虑 到 用 户 可 能 没 有 聚 焦 在 红 色 球 上 , 球 将 在 1000 毫 秒 后 改 变 其 位 置 。 如 果 有 效 点 ( 即 用 户 凝 视 ) 的 比 例 没 有 达 到 一 定 的 阈 值 ( τ ) , 它 将 在 新 鲜 度 验 证 中 被 消 除 。 在 实 践 中 , 对 于 每 10 个 刺 激 挑 战 , 整 个 过 程 平 均 需 要 大 约 5 秒 。
4.系统设计
4. 系 统 设 计 (2) 信 号 处 理 新 鲜 度 验 证 Medusa3D 仅 从 有 效 样 本 中 分 割 反 射 性 扫 视 , 其 中 用 户 的 视 线 与 足 够 比 例 ( >τ ) 的 视 觉 刺 激 相 交 , 丢 弃 任 何 无 效 样 本 。 阈 值 τ 表 示 成 功 凝 视 的 刺 激 与 呈 现 的 刺 激 总 数 的 比 率 。 在 身 份 验 证 阶 段 , 无 效 的 样 本 将 导 致 无 效 的 尝 试 , 需 要 重 新 进 行 身 份 验 证 。 当 视 觉 刺 激 出 现 在 视 野 内 时 , 只 有 当 用 户 的 视 线 在 不 超 过 tmax 的 时 间 内 与 球 相 交 时 , 才 能 成 功 地 凝 视 它 。 否 则 , 系 统 将 在 tmax 后 自 动 将 刺 激 转 移 到 新 位 置 , 刺 激 点 将 被 标 记 为 异 常 ( 即 不 良 数 据 点 ) 。 通 过 实 践 , 我 们 将 tmax 和 τ 的 值 分 别 设 置 为 1000ms 和 0.5 。
4.系统设计
4. 系 统 设 计 (2) 信 号 处 理 反 射 性 扫 视 分 割
4.系统设计
4. 系 统 设 计 (2) 信 号 处 理 反 射 性 扫 视 分 割 我 们 首 先 插 值 由 闭 眼 引 起 的 数 据 间 隙 , 然 后 对 凝 视 角 度 的 时 间 序 列 进 行 微 分 , 得 到 角 速 度 时 间 序 列 。 对 于 每 个 视 觉 刺 激 , 我 们 只 关 注 从 刺 激 出 现 后 80 毫 秒 开 始 到 刺 激 结 束 时 350 毫 秒 的 数 据 。 我 们 将 提 取 的 数 据 上 采 样 到 1200 Hz 的 频 率 。 然 后 , 我 们 使 用 Savitzky-Golay 滤 波 器 来 平 滑 信 号 。
4.系统设计
4. 系 统 设 计 (2) 信 号 处 理 反 射 性 扫 视 分 割 随 后 , 所 提 出 的 算 法 可 以 自 适 应 地 搜 索 阈 值 θ 来 区 分 扫 视 和 注 视 。 如 图 7b 所 示 , θ 被 初 始 化 为 最 高 峰 值 的 一 半 。 在 每 次 迭 代 过 程 中 , θ 的 值 将 更 新 为 θ−0.1 和 μ+3σ 的 最 小 值 , 其 中 μ 表 示 θ 当 前 值 以 下 所 有 数 据 点 的 平 均 值 , σ 表 示 标 准 差 。 该 迭 代 过 程 持 续 到 两 个 相 邻 θ 的 值 差 小 于 1°/s , 此 时 该 过 程 被 认 为 已 经 收 敛 。 最 后 , 一 旦 确 定 了 θ , 我 们 提 取 θ 之 外 的 分 量 作 为 扫 视 , 并 判 断 分 割 的 扫 视 是 否 是 自 反 的 。
4.系统设计
4. 系 统 设 计 (3) GNN 特 征 提 取 器 我 们 将 分 段 反 射 注 视 点 定 义 为 一 组 节 点 V={v1 , v2 , … , vk} 。 我 们 在 每 对 相 邻 的 注 视 点 之 间 构 建 一 条 边 E={ei , i+1}k-1i=1 。 考 虑 到 时 间 信 息 , 我 们 仅 在 j>i 时 设 置 权 重 标 量 Si,j>0 , 而 在 j<i 时 不 链 接 节 点 ( 即 si,j=0 ) 。 我 们 将 有 效 的 GNN 特 征 提 取 器 的 开 发 表 述 为 用 户 识 别 问 题 ( 即 M 方 式 分 类 ) , 其 中 M 是 模 型 开 发 中 涉 及 的 用 户 数 量 。 我 们 设 计 了 一 个 由 特 征 提 取 器 和 分 类 器 组 成 的 面 向 图 的 网 络 来 实 现 这 一 目 标 。 特 征 提 取 器 中 包 括 三 个 图 卷 积 层 ( GCNConv ) , 每 个 GCNConvs 后 面 都 有 一 个 ReLU 激 活 函 数 和 一 个 丢 弃 层 ( p=0.5 ) 。 这 里 , 隐 藏 的 频 道 号 是 64 。 在 第 三 次 GCNConv 之 后 提 取 的 特 征 用 于 中 间 表 示 和 分 类 , 最 终 输 出 由 全 局 均 值 池 和 softmax 函 数 得 出 。 该 结 构 有 效 地 捕 获 并 利 用 基 于 图 的 空 间 和 时 间 关 系 来 进 行 可 区 分 的 特 征 学 习 。
4.系统设计
4. 系 统 设 计 (3) GNN 特 征 提 取 器 一 旦 网 络 经 过 训 练 , 分 类 器 将 被 丢 弃 。 然 后 , 我 们 可 以 得 到 一 个 GNN 特 征 提 取 器 , 它 可 以 从 有 向 图 中 获 得 用 户 特 定 的 特 征 。 图 9 显 示 了 潜 在 空 间 中 深 层 特 征 的 t 分 布 随 机 邻 域 嵌 入 ( t-SNE ) 结 果 。 很 容 易 发 现 , 每 个 人 的 集 群 都 与 其 他 集 群 分 开 , 这 为 使 用 KNN 模 型 划 定 合 法 用 户 的 边 界 提 供 了 可 行 性 。
4.系统设计
4. 系 统 设 计 (4) KNN 分 类 器 我 们 实 现 了 一 个 KNN 模 型 来 界 定 潜 在 空 间 中 合 法 用 户 的 边 界 。 KNN 模 型 所 界 定 的 边 界 的 有 效 性 取 决 于 两 个 关 键 超 参 数 : k 和 α 。
5.评估
5. 评 估 (1) 实 验 装 置 我 们 在 HTC VIVE Pro Eye 上 实 现 了 Medusa3D , 该 型 号 具 有 双 OLED 3.5 英 寸 对 角 线 屏 幕 , 每 只 眼 睛 分 辨 率 为 1440×1600 像 素 。 集 成 在 VR 中 的 眼 动 仪 具 有 120Hz 的 采 样 频 率 和 110 度 的 可 跟 踪 视 场 。 VR 由 配 备 Intel Core i7-8700K CPU 和 Nvidia Geforce RTX 2080Ti GPU 的 台 式 电 脑 提 供 动 力 。 原 型 是 通 过 Unity 平 台 2021.3.30f1 版 本 实 现 的 。 眼 球 运 动 数 据 通 过 SRanipal API 输 出 。 GNN 模 型 和 用 户 特 定 的 KNN 分 类 器 在 同 一 台 PC 上 使 用 RTX 2080Ti GPU 和 1.13 版 本 的 PyTorch 框 架 进 行 训 练 。 所 有 实 验 均 采 用 7:2:1 的 比 例 , 按 时 间 顺 序 分 割 训 练 、 验 证 和 测 试 数 据 。
5.评估
5. 评 估 (1) 实 验 装 置 我 们 邀 请 了 25 名 参 与 者 ( 14 名 女 性 , 11 名 男 性 ) , 年 龄 从 18 岁 到 30 岁 不 等 ( AVG=24.42 , SD=2.87 ) 。 然 后 , 参 与 者 使 用 HTC 提 供 的 5 点 校 准 对 佩 戴 VR 进 行 校 准 。 每 次 重 新 佩 戴 后 都 需 要 进 行 校 准 , 以 确 保 硬 件 能 够 精 确 地 跟 踪 用 户 的 视 线 。 在 数 据 收 集 过 程 中 , 参 与 者 受 到 1000 个 视 觉 刺 激 的 挑 战 。 每 位 参 与 者 的 数 据 收 集 总 时 长 约 为 10 分 钟 。 在 所 有 25 名 参 与 者 中 , 我 们 随 机 选 择 了 5 名 参 与 者 作 为 看 不 见 的 攻 击 者 , 也 就 是 说 , 除 了 针 对 看 不 见 攻 击 者 的 安 全 分 析 外 , 这 5 名 用 户 的 数 据 不 会 用 于 任 何 实 验 。
5.评估
5. 评 估 (1) 实 验 装 置
5.评估
5. 评 估 (1) 实 验 装 置 威 胁 模 型 。 我 们 假 设 眼 动 仪 和 CPU 之 间 的 通 信 无 法 被 监 控 。 考 虑 了 以 下 攻 击 : 零 努 力 攻 击 : 攻 击 者 试 图 使 用 他 们 对 视 觉 刺 激 的 生 物 识 别 反 应 来 解 锁 VR 耳 机 , 冒 充 合 法 用 户 重 放 攻 击 : 攻 击 者 试 图 将 之 前 记 录 的 眼 球 运 动 样 本 重 放 或 注 入 Medusa3D 模 仿 攻 击 : 攻 击 者 从 之 前 记 录 的 样 本 中 观 察 并 模 仿 合 法 用 户 的 眼 球 运 动 , 并 试 图 通 过 模 仿 合 法 用 户 来 欺 骗 Medusa3D 。
5.评估
5. 评 估 (1) 实 验 装 置 指 标 。 我 们 使 用 以 下 指 标 , 这 些 指 标 在 之 前 的 工 作 中 被 广 泛 使 用 : 识 别 错 误 率 : 用 户 身 份 被 错 误 分 类 的 概 率 错 误 接 受 率 ( FAR ) : 攻 击 者 被 认 证 为 合 法 的 概 率 错 误 拒 绝 率 ( FRR ) : 合 法 用 户 被 认 证 为 非 法 用 户 的 概 率 等 错 误 率 ( EER ) : FAR 和 FRR 相 等 的 点 。
5.评估
5. 评 估 首 先 使 用 所 有 参 与 者 的 训 练 数 据 和 验 证 数 据 来 训 练 GNN 特 征 提 取 器 。 然 后 , 使 用 特 征 提 取 器 提 取 的 特 征 值 来 开 发 用 户 特 定 的 KNN 分 类 器 。 对 于 每 个 参 与 者 , 我 们 找 到 最 低 的 EER 点 , 并 使 用 其 相 应 的 k , α 作 为 最 优 超 参 数 来 为 该 参 与 者 训 练 用 户 特 定 的 分 类 器 。 最 后 , 对 于 每 个 参 与 者 , 将 测 试 数 据 用 作 合 法 尝 试 , 将 所 有 其 他 参 与 者 的 测 试 数 据 用 作 非 法 尝 试 , 分 别 计 算 FAR 和 FRR , 以 评 估 用 户 特 定 的 分 类 器 。 (2) 整 体 性 能
5.评估
5. 评 估 总 体 而 言 , Medusa3D 实 现 了 0.21% 的 FAR 和 0.13% 的 FRR , 证 明 了 其 在 不 同 人 群 中 的 高 可 靠 性 和 有 效 性 。 与 最 先 进 的 VR 设 备 身 份 验 证 方 法 相 比 , Medusa3D 在 FAR 和 FRR 中 几 乎 实 现 了 所 有 基 于 生 物 特 征 的 方 法 中 的 最 佳 性 能 , 同 时 保 持 了 合 理 的 身 份 验 证 时 间 (2) 整 体 性 能
5.评估
5. 评 估 (3) 其 他 因 素 的 影 响
5.评估
5. 评 估 零 努 力 攻 击 。 我 们 从 25 名 参 与 者 中 随 机 选 择 5 名 作 为 攻 击 者 , 并 将 其 余 参 与 者 视 为 合 法 用 户 。 合 法 用 户 的 数 据 用 于 训 练 他 们 自 己 的 用 户 特 定 分 类 器 , 之 后 攻 击 者 的 数 据 用 于 攻 击 系 统 。 五 名 看 不 见 的 攻 击 者 的 FAR 平 均 为 0.74% 。 最 高 攻 击 者 的 FAR 低 于 2% 。 这 些 发 现 为 系 统 抵 御 零 努 力 攻 击 的 防 御 能 力 提 供 了 强 有 力 的 评 估 。 (4) 安 全 分 析
5.评估
5. 评 估 重 播 攻 击 。 首 先 , VR 头 戴 式 耳 机 会 遮 挡 眼 睛 部 分 , 从 而 阻 止 外 部 记 录 眼 球 运 动 。 其 次 , 即 使 攻 击 者 通 过 恶 意 软 件 成 功 捕 捉 到 合 法 用 户 的 眼 球 运 动 , 在 Medusa3D 的 标 准 显 示 器 上 回 放 这 些 运 动 的 可 能 性 也 极 低 。 这 是 因 为 眼 动 追 踪 技 术 依 赖 于 眼 睛 对 近 红 外 光 的 反 射 来 构 建 模 型 , 并 计 算 交 互 式 刺 激 的 相 关 凝 视 方 向 。 屏 幕 或 其 他 材 质 无 法 模 拟 此 类 反 射 。 最 后 , 当 攻 击 者 试 图 通 过 软 件 病 毒 注 入 预 先 记 录 的 眼 球 运 动 数 据 时 , 我 们 的 挑 战 - 反 应 机 制 将 始 终 呈 现 一 系 列 与 以 前 不 同 的 新 视 觉 刺 激 。 之 前 记 录 的 眼 球 运 动 不 能 与 新 的 视 觉 刺 激 相 结 合 。 因 此 , Medusa3D 能 够 抵 抗 重 放 攻 击 。 (4) 安 全 分 析
5.评估
5. 评 估 模 仿 攻 击 。 首 先 , Medusa3D 中 使 用 的 视 觉 刺 激 是 动 态 的 , 每 次 尝 试 都 不 同 , 这 导 致 不 同 尝 试 中 的 眼 睛 反 应 不 同 。 当 攻 击 者 面 临 基 于 他 们 已 经 学 习 和 模 仿 的 旧 眼 动 反 应 的 新 的 看 不 见 的 挑 战 时 , 他 们 很 难 做 出 类 似 的 反 应 。 其 次 , Medusa3D 仅 将 反 射 性 反 应 识 别 为 身 份 验 证 的 生 物 特 征 , 而 忽 略 了 自 愿 的 眼 球 运 动 , 即 模 仿 眼 球 运 动 是 自 愿 的 , 将 被 排 除 在 身 份 验 证 的 反 射 性 部 分 之 外 。 因 此 , Medusa3D 的 设 计 从 根 本 上 防 止 了 模 仿 攻 击 (4) 安 全 分 析
谢谢!
计 算 机 与 大 数 据 学 院 Fuzhou University 谢 谢 !