Edge-Oriented Adversarial Attack for Deep Gait Recognition
计 算 机 与 大 数 据 学 院 Fuzhou University Edge-Oriented Adversarial Attack for Deep Gait Recognition 论 文 出 处 ： International Journal of Computer Vision 发 表 时 间 ： 2024.10.16 作 者 ： Saihui Hou ， Zengbin Wang ， Man Zhang ， Chunshui Cao ， Xu Liu ， Yongzhen Huang 汇 报 人 ： 谢 颖 波 日 期 ： 2024-12-12 面 向 边 缘 的 深 度 步 态 识 别 对 抗 攻 击
1.背景
1. 背 景 步 态 识 别 是 一 种 有 前 途 的 技 术 。 最 近 基 于 深 度 神 经 网 络 （ DNN ） 的 研 究 显 着 提 高 了 性 能 ， 然 而 ， DNN 固 有 的 潜 在 脆 弱 性 及 其 在 实 际 步 态 识 别 系 统 中 的 抗 干 扰 性 仍 然 没 有 得 到 充 分 的 探 索 。 DNN 网 络 的 脆 弱 性
2.摘要
2. 摘 要 在 本 文 中 ， 提 出 了 一 种 面 向 边 缘 的 攻 击 策 略 ， 为 基 于 轮 廓 的 方 法 量 身 定 制 。 具 体 来 说 ， 我 们 做 出 了 探 索 二 进 制 轮 廓 的 内 在 特 征 的 开 创 性 尝 试 ， 主 要 关 注 将 噪 声 扰 动 注 入 边 缘 区 域 。 这 种 简 单 而 有 效 的 解 决 方 案 可 以 在 空 间 和 时 间 维 度 上 进 行 稀 疏 攻 击 ， 这 在 很 大 程 度 上 确 保 了 不 可 感 知 性 ， 同 时 实 现 了 高 成 功 率 。
3.相关工作
3. 相 关 工 作 非 目 标 攻 击 试 图 将 被 攻 击 序 列 （ 第 二 行 ） 推 离 嵌 入 空 间 中 的 原 始 对 应 序 列 （ 第 一 行 ） ， 而 目 标 攻 击 旨 在 将 被 攻 击 序 列 （ 第 二 行 ） 拉 近 具 有 不 同 标 签 的 参 考 序 列 （ 第 三 行 ） 。 特 别 是 ， 我 们 的 方 法 实 现 了 在 空 间 和 时 间 维 度 上 的 稀 疏 方 式 的 步 态 攻 击 。 对 于 一 个 完 整 的 探 测 序 列 ， 攻 击 只 发 生 在 一 小 部 分 帧 （ 红 框 ） 和 每 个 受 攻 击 轮 廓 的 边 缘 区 域 。
4.主要模型
4. 主 要 模 型 通 常 ， 步 态 识 别 的 评 估 由 三 个 部 分 组 成 ， 包 括 特 征 提 取 器 F 、 探 针 集 P ={ （ pi ， ypi ） } Npi =1 和 图 库 集 G ={ （ gi ， ygi ） } 。 具 体 地 说 ， pi 和 gi 表 示 步 态 序 列 ， 而 ypi 和 ygi 表 示 身 份 标 签 。 识 别 探 针 序 列 pi 的 典 型 流 水 线 由 三 个 步 骤 组 成 ： （ 1 ） 利 用 模 型 F 提 取 pi 的 特 征 fi; （ 2 ） 计 算 fi 与 G 中 所 有 图 库 序 列 的 提 取 特 征 之 间 的 距 离 ; （ 3 ） 利 用 具 有 最 小 距 离 的 图 库 序 列 的 身 份 标 签 获 得 pi 的 预 测 li 。
5.无目标性步态攻击
5. 无 目 标 性 步 态 攻 击 无 目 标 步 态 攻 击 的 主 要 目 标 有 两 个 方 面 ： （ 1 ） 如 何 生 成 对 抗 序 列 来 改 变 身 份 预 测 ？ （ 2) 如 何 保 证 对 抗 性 攻 击 的 隐 蔽 性 ？ 在 文 章 中 ， 通 过 两 个 损 失 函 数 来 实 现 目 标 其 中 fi 和 fi 表 示 原 始 序 列 pi 和 被 攻 击 序 列 pi 的 特 征 ， m 是 边 缘 阈 值 ， D 测 量 两 个 步 态 特 征 的 距 离 。 直 觉 上 ， Luntarget 鼓 励 被 攻 击 特 征 尽 可 能 远 离 原 始 特 征 ， 从 而 指 导 被 攻 击 序 列 的 生 成 。 其 中
5.无目标性步态攻击
5. 无 目 标 性 步 态 攻 击 对 于 第 二 个 目 标 ， 即 不 可 察 觉 的 目 标 。 关 键 的 挑 战 是 使 对 抗 性 步 态 攻 击 在 人 类 视 觉 系 统 中 不 可 察 觉 。 我 们 的 关 键 见 解 是 ， 区 别 性 细 节 仅 分 布 在 每 个 轮 廓 的 边 缘 区 域 ， 而 最 近 的 深 度 步 态 模 型 仅 依 赖 于 每 个 输 入 序 列 中 的 几 个 关 键 帧 。 因 此 文 章 可 以 同 时 实 现 空 间 上 和 时 间 上 稀 疏 攻 击 来 保 证 不 可 察 觉 。 对 于 空 间 稀 疏 性 ， 具 体 来 说 ， 我 们 将 二 进 制 轮 廓 中 每 个 像 素 的 值 转 换 为 每 个 像 素 与 其 边 界 上 最 近 像 素 之 间 的 成 对 欧 几 里 得 距 离 。 只 有 非 常 接 近 边 缘 的 像 素 才 允 许 被 改 变 用 于 对 抗 攻 击 ， 这 在 很 大 程 度 上 保 证 了 不 可 感 知 性 。
5.无目标性步态攻击
5. 无 目 标 性 步 态 攻 击 之 后 在 允 许 区 域 生 成 随 机 噪 声 进 行 扰 动 ， 并 且 使 用 描 述 生 成 图 像 与 原 图 像 的 差 别 ， 其 中 ， H 和 W 表 示 高 度 和 宽 度 ， shwk 表 示 原 始 轮 廓 中 的 像 素 值 ， Nmaskk 表 示 边 缘 区 域 中 的 像 素 数 而 时 间 稀 疏 性 则 表 示 为 每 次 会 随 机 选 择 一 部 分 帧 来 进 行 生 成 图 像 ， 参 数 为 TSR
6.目标步态攻击
6. 目 标 步 态 攻 击 目 标 步 态 攻 击 的 主 要 目 标 也 包 括 两 个 方 面 ， 分 别 称 为 针 对 性 攻 击 目 标 和 不 可 感 知 目 标 。 后 者 的 目 标 及 其 实 现 与 无 目 标 步 态 攻 击 中 的 目 标 及 其 实 现 相 同 。 前 一 个 目 标 旨 在 使 被 攻 击 序 列 的 预 测 标 签 与 参 考 序 列 的 标 签 相 同 ， 所 以 损 失 函 数 如 下 。 其 中 fg ri 和 fi 表 示 参 考 序 列 和 被 攻 击 序 列 的 特 征 ， D 是 距 离 度 量 。 除 了 Ltarget 与 非 针 对 攻 击 不 同 外 ， 其 余 都 相 同
7.实验-数据集
7. 实 验 - 数 据 集 gallery ： 画 廊 ， 即 注 册 集 ， ， 它 的 作 用 就 好 比 一 个 人 脸 识 别 系 统 ， 每 个 人 都 进 去 注 册 了 几 张 自 己 脸 的 图 像 ， 并 和 自 己 的 身 份 绑 定 起 来 ， 从 而 形 成 “ 数 据 库 ” 。 测 试 的 时 候 ， 我 们 需 要 把 一 张 新 的 照 片 去 “ 画 廊 ” ， 也 就 是 注 册 数 据 库 中 一 个 一 个 匹 配 ， 得 到 结 果 。 probe ： 探 针 、 调 查 。 即 查 询 集 ， 就 是 说 ， 我 们 在 测 试 的 时 候 是 在 probe 中 选 取 元 素 来 到 gallery 寻 找 的 ， 最 终 测 试 阶 段 对 模 型 性 能 的 评 估 是 根 据 probe 中 元 素 查 询 的 效 果 来 反 映 的 。
7.实验-数据集
7. 实 验 - 数 据 集
7.实验-数据集
7. 实 验 - 数 据 集 文 章 在 四 个 公 开 基 准 上 评 估 方 法 ， 即 ： CASIA-B 、 OUMVLP 、 Gait 3D 和 GREW CASIA-B 是 过 去 十 年 中 最 流 行 的 步 态 数 据 集 。 它 从 11 个 视 图 中 收 集 了 124 名 受 试 者 ， 包 括 正 常 行 走 （ NM-1 、 2 、 3 、 4 、 5 、 6 ） 、 背 着 包 行 走 （ BG-1 、 2 ） 和 穿 着 不 同 衣 服 行 走 （ CL-1 、 2 ） 。 在 大 多 数 情 况 下 ， 前 73 个 对 象 作 为 训 练 集 （ 第 5 个 对 象 由 于 分 割 错 误 而 被 忽 略 ） ， 其 余 50 个 对 象 作 为 测 试 集 。 为 了 进 行 评 价 ， NM-1 、 2 、 3 、 4 的 序 列 被 视 为 图 库 ， 其 余 的 序 列 被 视 为 探 针 。 Gait3D 是 一 个 在 超 市 中 收 集 的 野 外 数 据 集 。 它 由 来 自 39 个 摄 像 机 的 4000 个 对 象 组 成 。 共 有 25 ， 309 个 序 列 。 按 照 正 式 的 程 序 ， 我 们 抽 取 了 3000 名 受 试 者 进 行 培 训 ， 其 余 1000 名 受 试 者 进 行 测 试 。 为 了 进 行 评 估 ， 文 章 采 用 了 数 据 集 中 提 供 的 探 针 和 画 廊 的 分 裂 方 式 。
8.实验结果
8. 实 验 结 果 实 验 使 用 GaitBase 作 为 攻 击 模 型 ， TSR 为 选 择 攻 击 帧 的 比 例
9.对比实验
9. 对 比 实 验 R1 表 示 rank-1 准 确 度 （ % ） ， mAP 表 示 平 均 精 密 度 （ % ） 。 目 前 基 本 没 有 专 门 步 态 攻 击 的 方 法 ， 以 上 的 方 法 的 通 用 的 对 抗 样 本 生 成 方 法 ， 所 以 只 能 够 完 成 非 目 标 攻 击 。
10.消融实验
10. 消 融 实 验 过 小 的 参 数 会 破 坏 图 片 ， 过 大 的 参 数 难 以 完 成 目 标 ， α = β = 20.0
11.迁移攻击
11. 迁 移 攻 击 将 在 GaitBase 攻 击 成 功 的 图 像 输 入 到 不 同 模 型 中 进 行 攻 击 3D 和 GEI 是 代 表 步 态 不 同 的 输 入 形 式
6.结论
6. 结 论 文 章 对 深 度 步 态 模 型 提 出 了 一 种 面 向 边 缘 的 对 抗 性 攻 击 策 略 ， 用 于 基 于 轮 廓 的 步 态 识 别 。 它 被 证 明 是 一 种 简 单 而 有 效 的 方 法 ， 特 别 适 合 于 轮 廓 ， 在 各 种 基 准 上 进 行 的 大 量 实 验 表 明 ， 在 不 可 感 知 性 和 攻 击 成 功 率 方 面 的 有 效 性 。
谢谢！
计 算 机 与 大 数 据 学 院 Fuzhou University 谢 谢 ！