跟着斋藤康毅学深度学习

所谓深度学习，是建立在神经网络的基础上，通过大量叠加层，构建出具有深度的网络。而大模型在某种意义上也是类似的思路，通过组建出具有大量参数、深度的模型，提高模型的表达能力。 一个典型的CNN网络——VG

卷积神经网络（Convolutional Neural Network, CNN）是一种利用物体边缘的图像识别技术，被广泛应用于图像识别领域，在图像识别比赛中几乎全部的深度学习方法都基于CNN来实现。

本章节对深度学习中几个关键性问题做成指导 寻找最优参数：有助于提升寻找最优参数的速度 权重初始值：直接影响到学习速度乃至学习是否成功 Batch Normalization：通过对激活值进行正规化，提

为什么选择研究深度学习 最大的动机是收到陈天奇 MCL LLM这个项目的启发，想要给自己多年以来在移动端的知识积累寻找一个出口。我认为端侧智能是未来的一个发展方向，所以从深度学习理论开始研究起，希望在

感知机的历史 感知机（Perceptron）是一种算法，由美国学者Frank Rosenblatt在1957年提出，是神经网络（深度学习）的起源。 感知机是一种对输入-输出概念上的抽象，它总结了最小的

从感知机到神经网络 图：感知机的图形表达 图：感知机的算式表达 首先复习一下感知机的结构，它由输入、输出、权重、偏置几个元素组成，单层感知机是线性的，通过组合多个单层感知机可以得到多层感知机，用于表达

本章主题是神经网络如何自主地从数据中学习，从而得到最优权重和偏置参数值。由此引入了损失函数的概念，用来量化当前的权重参数的不合适度，学习的目标就是找到让损失函数最小的那一组参数值，使用的方法是梯度法。

将抽象的算式可视化——计算图 计算图（computational graph）是一种将算式表示为有向无环图的技术，通过计算图可以帮助我们理解误差反向传播法的原理。 计算图本身并不复杂，甚至连小学生都可