应用
不确定性估计
提供关于预测的不确定性,主要应用于风险敏感
例如,在自动驾驶汽车的感知系统中,贝叶斯神经网络可以用来对物体的位置进行预测。不仅可以得到物体可能的位置,还可以得到预测的不确定性。如果预测的不确定性很高,系统可能会选择更加谨慎的行驶策略,或者请求人类司机介入。防止过拟合
网络权重的概率建模,降低敏感性
在医疗影像诊断中,数据量可能很有限。使用贝叶斯神经网络,模型可以通过考虑权重的不确定性来避免对训练数据的过拟合。这意味着模型在遇到训练集之外的新数据时,能够更好地泛化,提高对新患者图像的诊断准确性。模型压缩
定义: 模型压缩是机器学习和深度学习中的一种技术,旨在减小训练好的模型的大小,更合适的部署到计算机能力,存储空间或宽带受限的环境中,例如移动设备和嵌入式系统
具体方法:- 权重剪枝:移除不重要的权重连接
- 权重量化和二值化:减少权重的表示精度
- 知识蒸馏大型模型的知识转移到更小的模型
- 结构化剪枝:移除整个神经元或过滤器
- 低秩分解:使用矩阵分解技术来减少参数