《深度学习图解》

390 阅读2分钟

深度学习图解

阅读场景:业余闲暇

推荐指数:★★★☆☆

《Grokking Deep Learning》

一个周末可以读完,翻译质量有待改善,没有较深的数学公式与理论,语言表达浅显直白,对初学者友好,行文举例还是比较形象的,如果你想了解PyTorch类框架的实现,想探究一下底层如何搭建神经网络,本书是不错的选择。

  • 微积分就是记忆和练习所有可能存在的函数的每一个可能的导数规则。
  • 正则化是用于在机器学习模型中鼓励泛化的方法的一个子集,通常通过提高模型学习训练数据的细粒度细节的难度来实现。
  • 批量梯度下降对每n个样例更新权重,此时alpha的值是原来的m倍,批量取平均值,整体的梯度方向是稳定的可以多倍更新步长
  • 卷积核,权重共享,即使数据集没有改变,每个小巧的卷积核也都在多组数据上进行了多次前向传播,从而改变了权重数量与训练这些权重的数据量的比例,极大的降低了过拟合现象
  • 嵌入层:和一个只有0和1的向量进行乘积操作,在数学上等价与对矩阵中的行进行求和
  • 神经网络并不能真正从数据中学习,它们只是使损失函数最小化。损失函的选择决定了神经网络学到的知识。
  • 联邦学习,不把数据集中,而是把模型发给数据持有端,最后合并多个权重,对数据敏感性与法规限制有了解决方案
  • 同态加密

适用于入手教材