持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第22天，点击查看活动详情
摘要
- 优势：加法器神经网络利用加法计算输出特征，避免了传统乘法的大量能耗
- 应用到SISR的挑战
- 由于计算范式的不同，加法器操作无法轻松学习身份映射
- 高通滤波器的功能无法通过加法器来保证
- 解决方法
- 深入分析了加法器操作和身份映射之间的关系，并插入快捷方式（shortcuts）来提高使用加法器网络的SR模型的性能
- 开发了一个可学习的功率激活，用于调整特征分布和细化细节
- 实验结果 在多个基准模型和数据集上证明，使用加法器的SR模型可以实现与其CNN基线相当的性能和视觉质量，能耗降低约2.5倍
引言
为什么要设计低能耗的SR网络？
超分辨率重建的一个重要应用场景是移动设备额，但大规模计算将消耗大量能源，并缩短移动设备的寿命
现存的处理方法
- 压缩方法
缩小或变浅网络：过滤器修剪、知识提取 - 加速DCNN的方法：量化方法
优势：降低乘法的计算复杂度，同时保留原始神经网络的结构
缺点：无法保持全精度网络的精度，尤其是对于超分辨率任务
本文工作思路
- 分析了将加法器应用于SISR任务的理论困难
- SISR模型中任意两个相邻层的输入和输出特征非常接近，具有类似的全局纹理和颜色信息
- 然而，识别映射不能通过单层加法器网络学习
- 提出方法
- 插入自捷径，并为SISR任务建立新的加法器模型
- 开发了一个可学习的功率激活
- 利用这两种技术，用加法器滤波器取代了传统的卷积滤波器，并建立了相应的加法器模型
- 实验验证
- 在几个基准数据集上验证，使用加法器模型获得与CNN基线相当的性能
- 减少神经网络总能耗的50%以上
相关工作
模型压缩
- 网络剪枝
概念：旨在减少滤波器的冗余，从而减少原始模型的计算量
SISR中的应用：利用判别信息判断冗余信道
常用方法：使用有效的算子（如群卷积、1×1卷积）设计有效的块 - 高效过滤器设计
- 神经结构搜索（NAS）：已被用于自动开发高效的SR神经结构
- 知识提取
概念：传递来自大型模型的信息，从而提高小型模型的性能
SISR中的应用：Gao等人提出了一种新的SISR知识提取方案，提高了性能
低成本计算
- 模型量化
作用：通过减少表示每个权重或特征分量所需的位数来节省能量
弊端：无法保持超分辨率网络的精度 - 加法代替乘法
Chen等人开创了一种通过用加法运算代替乘法运算来降低网络功耗的新方法。在没有卷积层中的任何乘法的情况下，它在分类任务上实现了微小的精度损失。
基于核的渐进蒸馏提高了加法器的精度，甚至优于标准CNN
提出方法
SISR中加法器神经网络需要保证两个重要特性
- 每个卷积层的输入和输出特征之间的相似性
- 增强关于高频信息的细节
准备工作和动机
原始加法操作：
在SISR中的不适用：无法确保输入低分图像中的原始纹理
使用AdderNet学习身份映射
-
分析证明：恒等式映射不能使用单层加法器神经网络直接学习
-
为每个加法器层提供了一个自快捷操作
可学习的功率激活函数
-
分析证明：高通滤波器的功能不能被加法器滤波器所取代，加法器神经网络中的超分辨率过程将涉及更多的冗余
-
可学习的功率激活函数：
Y是输出特征，sgn（·）是符号函数，α>0是调整信息和分布的可学习参数。
当α>1时，上述激活函数可以增强输出图像的对比度，并强调高频信息。
当0<α<1时，等式11可以平滑输出图像中的所有信号，并去除伪影和噪声
