AutoSNN: Towards Energy-Efficient Spiking Neural Networks
计 算 机 与 大 数 据 学 院 Fuzhou University AutoSNN : Towards Energy-Efficient Spiking Neural Networks 论 文 出 处 ： International Conference on Machine Learning 发 表 时 间 ： 2022 年 6 月 作 者 ： Byunggook Na, Jisoo Mok, Seongsik Park, Dongjin Lee, Hyeokjun Choe, Sungroh Yoon 作 者 单 位 ： 韩 国 三 星 先 进 技 术 研 究 院 韩 国 首 尔 大 学 汇 报 人 ： 沈 舒 馨 日 期 ： 20 24 -10-24 AutoSNN ： 实 现 高 能 效 的 脉 冲 神 经 网 络
1.摘要
1. 摘 要 模 仿 大 脑 中 的 信 息 传 递 的 脉 冲 神 经 网 络 （ SNN ） 能 够 通 过 离 散 和 稀 疏 的 脉 冲 有 效 处 理 时 空 信 息 ， 因 此 备 受 关 注 。 现 有 关 于 提 高 SNN 的 准 确 性 和 能 效 的 研 究 大 多 集 中 在 训 练 方 法 上 ， 而 对 其 架 构 的 有 效 性 研 究 甚 少 。 本 文 从 准 确 性 和 脉 冲 数 量 方 面 调 查 了 现 有 研 究 中 使 用 的 设 计 ， 发 现 它 们 并 不 适 合 SNN 。 AutoSNN —— 脉 冲 感 知 神 经 架 构 搜 索 框 架 定 义 了 一 个 搜 索 空 间 ， 该 空 间 由 没 有 不 良 设 计 选 择 的 架 构 组 成 引 入 了 同 时 考 虑 准 确 性 和 脉 冲 数 量 的 适 配 度 来 实 现 脉 冲 感 知 架 构 搜 索 AutoSNN 成 功 发 现 了 在 准 确 性 和 能 效 方 面 优 于 手 工 创 建 的 SNN 的 架 构 。 本 文 在 各 种 数 据 集 （ 包 括 神 经 形 态 数 据 集 ） 上 全 面 展 示 了 AutoSNN 的 有 效 性 。
2.引言
2. 引 言 脉 冲 神 经 网 络 SNN 受 大 脑 信 息 处 理 系 统 启 发 而 产 生 的 新 一 代 神 经 网 络 神 经 元 通 过 稀 疏 的 二 进 制 脉 冲 异 步 传 输 信 息 ， 实 现 事 件 驱 动 计 算 与 在 GPU 上 执 行 的 传 统 神 经 网 络 不 同 ， SNN 能 够 在 神 经 形 态 芯 片 上 运 行 ， 这 些 芯 片 仅 在 生 成 脉 冲 时 消 耗 能 量 SNN 可 以 显 著 提 高 人 工 智 能 系 统 的 能 效 现 有 研 究 的 局 限 性 大 多 数 研 究 集 中 在 训 练 算 法 上 ， 如 减 少 SNN 所 需 的 时 间 步 长 ， 而 很 少 研 究 架 构 对 SNN 的 准 确 性 和 能 量 效 率 的 影 响 以 往 的 研 究 通 常 使 用 传 统 人 工 神 经 网 络 （ ANN ） 的 架 构 ， 如 VGGNet 和 ResNet ， 但 这 些 架 构 在 设 计 时 并 未 考 虑 SNN 生 成 脉 冲 的 数 量
2.引言
2. 引 言 不 同 的 SNN 架 构 生 成 的 脉 冲 数 量 差 异 显 著 ， 因 此 需 要 研 究 影 响 准 确 性 和 脉 冲 生 成 的 设 计 选 择
2.引言
2. 引 言 本 研 究 分 析 了 架 构 属 性 对 准 确 性 和 脉 冲 数 量 的 影 响 ， 并 确 定 了 适 合 高 能 效 SNN 的 设 计 选 择 。 为 了 进 一 步 提 高 性 能 和 能 效 ， 作 者 提 出 了 一 个 名 为 AutoSNN 的 脉 冲 感 知 神 经 架 构 搜 索 （ NAS ） 框 架 。 AutoSNN 定 义 了 一 个 考 虑 准 确 性 和 能 效 的 两 级 搜 索 空 间 ， 并 提 出 了 一 个 基 于 进 化 算 法 的 脉 冲 感 知 搜 索 算 法 。 AutoSNN 成 功 地 搜 索 到 了 在 准 确 性 和 脉 冲 数 量 上 都 优 于 手 工 设 计 的 SNN 架 构 。 这 些 架 构 在 多 个 数 据 集 上 表 现 出 色 ， 包 括 神 经 形 态 数 据 集 。
3.背景与相关工作
3. 背 景 与 相 关 工 作     神 经 元 膜 电 位   脉 冲 发 射 后 膜 电 位 的 重 置 值 突 触 前 神 经 元 的 输 入   为 了 利 用 GPU 进 行 有 效 模 拟 ， 采 用 迭 代 和 离 散 时 间 形 式 重 写 ：
3.背景与相关工作
3. 背 景 与 相 关 工 作 SNN 的 训 练 方 法 从 ANN 到 SNN 的 转 换 方 法 在 训 练 完 ANN 后 将 其 转 换 为 SNN ， 将 优 化 的 权 重 迁 移 到 SNN 中 ， 使 得 SNN 能 够 模 仿 ANN 的 激 活 模 式 。 该 方 法 严 重 依 赖 于 ANN 的 性 能 ， 并 且 需 要 大 量 的 时 间 步 长 ， 导 致 了 较 多 的 脉 冲 生 成 和 能 量 消 耗 。 直 接 对 SNN 进 行 优 化 基 于 脉 冲 时 序 依 赖 可 塑 性 （ STDP ） 的 无 监 督 学 习 ： 仅 限 于 浅 层 网 络 ， 性 能 有 限 基 于 反 向 传 播 算 法 的 监 督 学 习 ： 使 用 替 代 梯 度 来 近 似 非 可 微 的 脉 冲 活 动 梯 度 以 训 练 SNN ， 使 其 在 较 少 的 时 间 步 长 内 实 现 高 准 确 率 和 稀 疏 的 脉 冲 生 成
3.背景与相关工作
3. 背 景 与 相 关 工 作  
3.背景与相关工作
3. 背 景 与 相 关 工 作  
4.SNN架构分析
4.SNN 架 构 分 析 1. 标 准 化 与 架 构 构 建 基 本 架 构 增 加 GAP 层 可 训 练 脉 冲 块 作 为 下 采 样 层 平 均 池 化 层 作 为 下 采 样 层
4.SNN架构分析
4.SNN 架 构 分 析 2. 全 局 平 均 池 化 （ GAP ） 层 的 使 用
4.SNN架构分析
4.SNN 架 构 分 析 3. 下 采 样 块 的 选 择
5.AutoSNN
5.AutoSNN 1. 节 能 的 搜 索 空 间 宏 观 层 面 ： 主 干 架 构 ——SNN_1 宏 观 架 构 微 观 层 面 ： 候 选 块 集 搜 索 空 间 定 义 了 一 组 候 选 脉 冲 块 ， 来 自 于 具 有 不 同 核 大 小 的 SCB 和 SRB 候 选 块 集 ={ 跳 转 连 接 skip ， SCB_k3 ， SCB_k5 ， SRB_k3 ， SRB_k5} 宏 观 架 构 中 的 每 个 TBD 块 都 使 用 这 些 块 通 过 skip ， 搜 索 算 法 可 以 选 择 省 略 某 些 TBD 块 中 的 计 算
5.AutoSNN
5.AutoSNN 搜 索 空 间 质 量 评 估 对 于 每 个 搜 索 空 间 ， 从 预 定 义 的 候 选 区 块 集 中 随 机 选 择 来 填 充 TBD 块 ， 生 成 了 100 个 架 构 。 所 有 生 成 的 SNN 架 构 都 在 CIFAR10 上 使 用 直 接 训 练 方 法 训 练 了 120 个 epoch 。
5.AutoSNN
5.AutoSNN 2. 脉 冲 感 知 搜 索 算 法   单 路 径 均 匀 采 样 架 构 A 生 成 的 脉 冲 数 训 练 超 级 网 络 时 采 样 的 各 架 构 的 平 均 脉 冲 数 量 控 制 脉 冲 感 知 项 的 影 响
5.AutoSNN
5.AutoSNN 进 化 搜 索 算 法    
6.实验设置
6. 实 验 设 置  
6.实验-用不同λ的脉冲感知适配度进行搜索
6. 实 验 - 用 不 同 λ 的 脉 冲 感 知 适 配 度 进 行 搜 索 在 单 个 2080ti GPU 上 ， 搜 索 成 本 约 为 7 个 GPU 小 时 ： 6 小 时 48 分 钟 用 于 训 练 超 网 络 ， 8 分 钟 用 于 执 行 进 化 搜 索 。 对 于 每 个 λ ， 额 外 的 成 本 （ 8 分 钟 ） 可 以 忽 略 不 计 。
6.实验-与现有SNN比较
6. 实 验 - 与 现 有 SNN 比 较
6.实验-与现有SNN比较
6. 实 验 - 与 现 有 SNN 比 较 将 搜 索 到 的 SNN 架 构 转 移 到 不 同 的 数 据 集 上 ， 对 其 进 行 进 一 步 评 估 初 始 通 道 设 置 为 64 ， 对 于 分 辨 率 高 于 CIFAR10 的 数 据 集 使 用 了 具 有 更 深 stem 层 的 宏 观 架 构
6.实验-AutoSNN 中搜索算法的有效性
6. 实 验 -AutoSNN 中 搜 索 算 法 的 有 效 性 两 个 过 程 的 消 融 研 究 随 机 抽 样 并 训 练 10 个 架 构 （ 随 机 抽 样 ） ； 成 本 约 为 100 GPU 小 时 使 用 训 练 好 的 超 级 网 络 ， 在 随 机 抽 样 的 200 个 架 构 中 选 择 脉 冲 感 知 适 配 度 最 高 的 架 构 （ WS + 随 机 搜 索 ） ， 与 AutoSNN 的 搜 索 预 算 相 同 。
6.实验-AutoSNN 中搜索算法的有效性
6. 实 验 -AutoSNN 中 搜 索 算 法 的 有 效 性   用 TBD 块 替 代 3 个 max pooling 层 每 个 max pooling 层 前 加 1 个 TBD 块
6.实验-无脉冲神经元的架构搜索
6. 实 验 - 无 脉 冲 神 经 元 的 架 构 搜 索 为 了 验 证 在 搜 索 过 程 中 考 虑 SNN 特 性 的 重 要 性 ， 在 一 个 ANN 搜 索 空 间 上 执 行 了 提 出 的 进 化 搜 索 算 法 ， 使 用 ReLU 激 活 函 数 取 代 架 构 中 的 脉 冲 神 经 元 。 搜 索 出 的 ANN 架 构 会 重 新 添 加 脉 冲 神 经 元 ， 然 后 对 该 架 构 进 行 训 练 。 推 测 ： 在 没 有 脉 冲 神 经 元 的 情 况 下 ， 训 练 超 网 络 无 法 考 虑 SNN 的 特 性
7.结论
7. 结 论 • 为 了 实 现 高 能 效 的 人 工 智 能 ， 必 须 设 计 出 脉 冲 生 成 少 且 性 能 好 的 SNN • 提 出 了 一 种 新 的 SNN 架 构 搜 索 框 架 AutoSNN ， 它 能 够 自 动 搜 索 出 既 节 能 又 性 能 优 越 的 SNN 架 构 • 引 入 了 一 种 考 虑 脉 冲 数 量 的 适 应 度 函 数 ， 以 在 搜 索 过 程 中 平 衡 准 确 度 和 能 效 • 通 过 分 析 架 构 组 件 对 准 确 度 和 脉 冲 数 量 的 影 响 ， 定 义 了 一 个 高 效 的 搜 索 空 间 • 建 议 在 SNN 设 计 中 排 除 全 局 平 均 池 化 层 （ GAP ） ， 并 使 用 最 大 池 化 层 作 为 下 采 样 层 • AutoSNN 成 功 地 从 所 定 义 的 搜 索 空 间 中 发 现 了 性 能 优 越 且 能 量 效 率 高 的 SNN 架 构 ， 与 之 前 研 究 中 使 用 的 各 种 架 构 相 比 ， AutoSNN 发 现 的 架 构 在 准 确 性 和 脉 冲 数 量 上 都 有 所 提 高 • 强 调 了 在 SNN 领 域 中 架 构 配 置 的 重 要 性
谢谢！
计 算 机 与 大 数 据 学 院 Fuzhou University 谢 谢 ！