深度学习 DAY2

117 阅读1分钟

根据领域热点,准备先学transformer,再学diffusion。

transformer准备学三个不同的视频,然后自己实现一遍。

【第一个视频】3b1b的【深度学习之神经网络的结构 Part 1 ver 2.0】 很形象生动地介绍了深度学习神经网络是如何识别手写数字的,但是缺少更具体的实现方式,推荐初学者看。

其中的知识点很少:

1.偏置是用于调整激活函数激活的阈值的。

2.激活函数将神经元的值调整到0-1之间(sigmoid激活函数),但是现在都用relu激活函数了。

3.神经元的表现形式通常用矩阵,[w]*[a] +b

而relu实际上就是MAX(0,a),其中a是神经元的输入,其实就是让负数变为0。