贝叶斯神经网络

118 阅读1分钟

应用


不确定性估计

提供关于预测的不确定性,主要应用于风险敏感

例如,在自动驾驶汽车的感知系统中,贝叶斯神经网络可以用来对物体的位置进行预测。不仅可以得到物体可能的位置,还可以得到预测的不确定性。如果预测的不确定性很高,系统可能会选择更加谨慎的行驶策略,或者请求人类司机介入。
防止过拟合

网络权重的概率建模,降低敏感性

在医疗影像诊断中,数据量可能很有限。使用贝叶斯神经网络,模型可以通过考虑权重的不确定性来避免对训练数据的过拟合。这意味着模型在遇到训练集之外的新数据时,能够更好地泛化,提高对新患者图像的诊断准确性。
模型压缩

定义: 模型压缩是机器学习和深度学习中的一种技术,旨在减小训练好的模型的大小,更合适的部署到计算机能力,存储空间或宽带受限的环境中,例如移动设备和嵌入式系统

具体方法:
  • 权重剪枝:移除不重要的权重连接
  • 权重量化和二值化:减少权重的表示精度
  • 知识蒸馏大型模型的知识转移到更小的模型
  • 结构化剪枝:移除整个神经元或过滤器
  • 低秩分解:使用矩阵分解技术来减少参数