Recognizing Hand Gestures Using Solar Cells
计 算 机 与 大 数 据 学 院 Fuzhou University Recognizing Hand Gestures Using Solar Cells 论 文 出 处 ： TWC 发 表 时 间 ： 2023 年 作 者 ： Dong Ma 、 Guohao Lan 、 Changshuo Hu 、 Mahbub Hassan 、 Wen Hu 、 Mushfika B. Upama 作 者 单 位 ： Singapore Management University 、 Northumbria University 、 University of New South Wales 汇 报 人 ： 喻 佳 乐 日 期 ： 20 24 -12-4 使 用 太 阳 能 电 池 识 别 手 势
1.引言
1. 引 言 我 们 身 边 的 所 有 类 型 的 设 备 都 变 得 越 来 越 智 能 ， 能 够 从 我 们 这 里 获 取 输 入 ， 有 必 要 探 索 实 用 有 效 的 方 式 与 它 们 交 互 。 手 势 被 认 为 是 人 类 与 任 何 人 或 事 物 最 自 然 的 交 流 的 方 式 之 一 ， 如 何 手 势 识 别 与 消 费 电 子 产 品 的 融 合 ？
1.引言
1. 引 言 之 前 的 研 究 方 法 ， 如 WiFi （ 电 磁 ） 、 相 机 （ 图 像 ） 、 麦 克 风 （ 声 学 ） 、 加 速 计 （ 运 动 ） 和 光 传 感 器 （ 环 境 光 ） 。 这 些 方 法 部 署 在 环 境 中 （ 如 WiFi 、 摄 像 头 ） ， 或 设 备 身 上 （ 如 麦 克 风 、 加 速 计 、 广 告 灯 传 感 器 ） ， 在 某 些 条 件 下 可 以 实 现 出 色 的 手 势 识 别 性 能 。 两 个 缺 陷 ： 1 、 大 多 数 消 费 设 备 采 用 小 型 电 池 供 电 ， 手 势 识 别 传 感 器 从 电 池 中 获 取 电 力 ， 从 而 缩 短 设 备 的 连 续 运 行 时 间 。 2 、 在 设 备 上 嵌 入 此 类 传 感 器 ， 需 要 额 外 的 空 间 （ 例 如 ， 光 传 感 器 阵 列 ） ， 从 而 使 设 备 小 型 化 更 加 困 难 。
1.引言
1. 引 言 我 们 提 出 在 消 费 设 备 上 使 用 太 阳 能 电 池 进 行 手 势 识 别 。 一 方 面 ， 太 阳 能 电 池 可 以 将 入 射 光 的 能 量 转 化 为 电 能 ， 为 电 子 设 备 供 电 。 另 一 方 面 ， 在 物 联 网 上 嵌 入 太 阳 能 电 池 可 以 是 无 空 间 的 ， 传 统 的 硅 太 阳 能 电 池 （ 不 透 明 ） 可 以 用 作 设 备 的 外 壳 或 外 壳 。 新 兴 的 透 明 太 阳 能 电 池 像 透 明 玻 璃 一 样 透 过 太 阳 能 电 池 板
1.引言
1. 引 言 任 何 手 势 都 会 以 独 特 的 方 式 干 扰 太 阳 能 电 池 板 上 的 入 射 光 线 ， 在 产 生 的 光 电 流 信 号 中 留 下 可 辨 别 的 特 征 。
1.引言
1. 引 言 我 们 生 产 透 明 和 不 透 明 的 太 阳 能 电 池 用 于 实 验 。 通 过 使 用 单 个 太 阳 能 电 池 从 三 个 受 试 者 身 上 收 集 6960 个 手 势 样 本 ， 我 们 证 明 SolarGest 可 以 在 六 个 手 势 上 实 现 98% 的 识 别 准 确 率 。 此 外 ， 我 们 通 过 设 计 一 个 2X2 太 阳 能 电 池 阵 列 来 收 集 3000 个 手 势 样 本 ， 并 证 明 它 在 15 个 手 势 上 获 得 了 95% 的 识 别 准 确 率 。 此 外 ， 我 们 的 功 耗 测 量 显 示 ， 与 基 于 光 传 感 器 的 系 统 相 比 ， SolarGest 的 功 耗 降 低 了 44% 。
2. 信号处理
2. 信 号 处 理 去 噪 。 原 始 光 电 流 信 号 有 噪 声 。 当 信 号 在 室 内 由 50Hz 交 流 电 流 供 电 的 吸 顶 灯 下 收 集 时 ， 存 在 50Hz 噪 声 ， 但 在 室 外 阳 光 下 测 量 时 则 不 存 在 这 种 噪 声 。 此 外 ， 由 于 硬 件 （ 如 微 控 制 器 ） 的 微 小 缺 陷 ， 光 电 流 信 号 中 也 存 在 高 斯 噪 声 。
2. 信号处理
2. 信 号 处 理 离 散 小 波 变 换 （ DWT ） 是 一 种 从 时 域 和 频 域 过 滤 噪 声 的 有 效 方 法 。 通 过 在 不 同 频 率 范 围 内 以 不 同 分 辨 率 对 信 号 进 行 分 层 分 解 ， DWT 计 算 每 个 分 解 级 别 的 细 节 系 数 和 近 似 系 数 。 使 用 DWT 对 信 号 进 行 去 噪 的 主 要 过 程 是 基 于 阈 值 策 略 修 改 细 节 系 数 。
2.信号处理
2. 信 号 处 理 首 先 ， SolarGest 将 光 电 流 信 号 分 解 为 5 级 。 我 们 以 500Hz 的 频 率 采 样 数 据 ， 由 于 奈 奎 斯 特 定 理 ， 信 号 中 包 含 的 最 高 频 率 为 250Hz 。 手 势 频 率 实 际 上 小 于 5Hz 左 右 。 在 DWT 分 解 过 程 中 ， 每 个 级 别 的 频 率 跨 度 是 其 之 前 级 别 的 一 半 。 其 次 ， 对 级 别 5 的 细 节 系 数 应 用 软 阈 值 方 案 ， 将 正 系 数 和 负 系 数 都 缩 小 到 零 。 阈 值 是 使 用 Stein 的 无 偏 风 险 估 计 （ SURE ） 原 理 自 适 应 计 算 的 。 最 后 ， 我 们 将 逆 DWT 应 用 于 改 变 的 细 节 系 数 和 未 改 变 的 近 似 系 数 ， 以 重 建 去 噪 信 号 。
2.信号处理
2. 信 号 处 理 手 势 分 割 。 在 去 噪 之 后 ， 下 一 步 是 从 信 号 的 时 间 序 列 中 分 割 出 精 确 的 手 势 。 为 了 检 测 手 势 的 开 始 和 结 束 ， 之 前 的 工 作 要 么 使 用 前 导 信 号 方 案 ， 要 么 使 用 阈 值 法 。 前 者 要 求 用 户 每 次 都 执 行 一 个 额 外 的 手 势 ， 这 对 用 户 来 说 并 不 友 好 。 如 果 手 势 前 后 的 振 幅 不 同 （ 如 图 12 所 示 的 向 上 和 向 下 ） ， 则 基 于 阈 值 的 方 法 不 起 作 用 。 因 此 ， 我 们 提 出 了 一 种 新 的 分 割 算 法 ， 基 于 检 测 手 势 前 后 的 短 暂 停 顿
2.信号处理
2. 信 号 处 理 滑 动 窗 口 分 析 ： 滑 动 窗 口 在 降 噪 后 的 信 号 上 逐 点 滑 动 ， 每 次 包 含 一 定 数 量 的 样 本 。 手 势 开 始 检 测 条 件 ： 条 件 1 ： 窗 口 内 的 样 本 标 准 差 std 小 于 阈 值 stdThr （ 信 号 稳 定 ， 处 于 “ 暂 停 ” 阶 段 ） 。 条 件 2 ： 当 前 窗 口 最 后 一 个 样 本 值 与 窗 口 内 样 本 均 值 的 差 值 大 于 阈 值 meanThr （ 信 号 有 显 著 变 化 ， 标 志 手 势 开 始 ） 。 满 足 上 述 条 件 时 ， 将 当 前 窗 口 最 后 一 个 样 本 视 为 手 势 开 始 。
2.信号处理
2. 信 号 处 理 手 势 长 度 约 束 ： 根 据 实 验 数 据 ， 90% 的 手 势 持 续 时 间 在 1 秒 内 。 系 统 丢 弃 不 合 理 的 手 势 （ 时 长 小 于 0.2 秒 或 大 于 1.4 秒 ） 。 手 势 长 度 归 一 化 ： 将 检 测 到 的 手 势 信 号 插 值 到 相 同 长 度 ， 以 便 后 续 分 类 器 处 理 。 阈 值 选 择 ： stdThr ： 0.25 。 meanThr ： 0.5 。 通 过 试 验 优 化 得 到 上 述 值 。
2.信号处理
2. 信 号 处 理 信 号 校 准 。 影 响 手 势 信 号 的 参 数 ： 太 阳 能 电 池 形 状 、 效 率 、 光 强 、 光 源 大 小 、 手 势 速 度 、 手 的 角 度 、 手 的 距 离 、 位 移 。 这 些 参 数 会 影 响 手 势 信 号 的 形 态 ， 主 要 体 现 在 两 个 方 面 ： 手 势 持 续 时 间 变 化 （ 如 速 度 或 位 移 的 不 同 ） 。 信 号 幅 度 因 光 强 、 角 度 等 因 素 变 化 。 导 致 问 题 ： 时 间 维 度 失 配 ： 相 同 的 手 势 持 续 时 间 不 同 （ 例 如 ， 快 慢 不 同 的 手 势 ） 。 幅 度 变 化 ： 信 号 幅 度 的 大 小 不 同 （ 例 如 ， 光 强 或 手 势 角 度 变 化 ） 。
2.信号处理
2. 信 号 处 理 幅 度 对 齐 ： Z-score 转 换 ： 将 信 号 进 行 标 准 化 处 理 ， 使 幅 度 的 变 化 消 失 。 Z-score 公 式 ： 其 中 𝜇 是 信 号 均 值 ， 𝜎 是 信 号 标 准 差 。 转 换 后 ， 信 号 的 幅 度 被 归 一 化 到 [−2,2 的 范 围 。 消 除 了 幅 度 差 异 ， 但 时 间 上 的 失 配 仍 然 存 在 。
2.信号处理
2. 信 号 处 理 时 间 对 齐 ： 动 态 时 间 规 整 （ DTW ） ： 工 作 原 理 ： 比 较 两 段 时 间 序 列 ， 允 许 非 线 性 时 间 扭 曲 ， 使 两 段 信 号 尽 可 能 匹 配 。 找 到 最 佳 路 径 使 序 列 之 间 的 距 离 最 小 化 。 解 决 了 手 势 持 续 时 间 的 差 异 问 题 ， 使 信 号 在 时 间 轴 上 对 齐 。
3.手势分类
3. 手 势 分 类 为 什 么 选 择 1D CNN ： 对 序 列 数 据 的 分 析 能 力 强 ， 能 够 有 效 地 从 序 列 数 据 中 提 取 信 息 。 计 算 开 销 低 ， 相 比 其 他 复 杂 的 深 度 学 习 模 型 ， 计 算 效 率 更 高 。 网 络 结 构 ： 64 个 滤 波 器 ， 核 大 小 3 0.5 2 激 活 函 数 ： ReLU ； 优 化 器 Adam 损 失 函 数 ： 分 类 交 叉 熵
4.实施和数据收集
4. 实 施 和 数 据 收 集
4.实施和数据收集
4. 实 施 和 数 据 收 集
4.实施和数据收集
4. 实 施 和 数 据 收 集 透 明  
5.评估
5. 评 估
5.评估
5. 评 估
6.扩展
6. 扩 展 为 了 研 究 SolarGest 识 别 更 多 手 势 的 能 力 ， 我 们 设 计 了 另 外 九 个 用 户 友 好 的 手 势 。 对 于 单 个 太 阳 能 电 池 ， 一 些 手 势 （ 例 如 左 和 右 ） 无 法 区 分 ， 因 为 它 们 以 相 同 的 方 式 干 扰 入 射 光 。 我 们 使 用 一 个 2X2 太 阳 能 电 池 阵 列 ， 不 透 明 的 ， 2.5X2.5 厘 米 。 我 们 要 求 一 名 受 试 者 收 集 15 个 手 势 的 数 据 。 每 个 手 势 执 行 200 次 ， 共 3000 个 手 势 。
6.扩展
6. 扩 展 当 使 用 多 个 太 阳 能 电 池 时 ， 我 们 将 来 自 每 个 太 阳 能 电 池 的 信 号 堆 叠 成 行 ， 即 将 每 个 太 阳 能 电 池 视 为 一 个 独 立 的 通 道 。 然 后 ， 将 叠 加 信 号 馈 送 到 CNN 分 类 器 。
谢谢！
计 算 机 与 大 数 据 学 院 Fuzhou University 谢 谢 ！