皮皮鲁的科技星球

在2014年的ImageNet图像识别挑战赛中，Google提出的GoogLeNet夺得头筹。GoogLeNet的名字在向LeNet致敬，但在网络结构上已经很难看到LeNet的影子。GoogLeNet吸收了NiN中1×1卷积层的思想，并在此基础上做了很大改进。在随后的几年里，研…

LeNet、AlexNet、VGG网络的主要模式为：先使用卷积层来抽取图片的空间特征，再使用全连接层，最后输出分类结果。颜水成等人提出了网络中的网络（Network in Network）,从另外一个角度来构建卷积层和全连接层。 我们知道，卷积层一般需要设置高和宽，它会识别卷积…

AlexNet在LeNet的基础上增加了卷积层，但AlexNet对卷积窗口、输出通道数和构造顺序均做了大量的调整。虽然AlexNet指明了深度卷积神经网络有出色的表现，但并没有提供简单的规则以指导后来的研究者如何设计新的网络。 VGG网络是Oxford的Visual Geome…

虽然Yann LeCun在上个世纪就提出了卷积神经网络LeNet，并使用LeNet进行图像分类，但卷积神经网络并没有就此飞速发展。在LeNet提出后的将近20年里，神经网络一度被其他机器学习方法超越，如支持向量机。卷积神经网络在当时未能快速发展主要受限于： 1. 缺少数据 深度…

前两篇文章分别介绍了卷积层和池化层，卷积和池化是卷积神经网络必备的两大基础。本文我们将介绍一个早期用来识别手写数字图像的卷积神经网络：LeNet[1]。LeNet名字来源于论文的第一作者Yann LeCun。1989年，LeNet使用卷积神经网络和梯度下降法，使得手写数字识别达…

上一节我们介绍了二维卷积层，二维卷积层可以帮助我们检测图像物体边缘。无论是原始图片，还是经过卷积核处理的中间特征，都是基于像素的基础进行的数学运算。实际图像里，我们感兴趣的物体不会总出现在固定像素位置：即使我们用三脚架固定相机去连续拍摄同一个物体也极有可能出现像素位置上的偏移。…

联邦学习（Federated Learning）是这几年开始流行的概念，其主要解决的问题是：在各国数据隐私监管越来越严格的大背景下，企业和研究机构不能在随意贩卖、购买或交换涉及用户隐私的数据，没有数据，也就无法利用深度学习来训练神经网络模型，无法构建强大的人工智能。 这里说的“…

本文将学习一下如何使用PyTorch创建一个前馈神经网络（或者叫做多层感知机，Multiple-Layer Perceptron，MLP），文中会使用PyTorch提供的自动求导功能，训练一个神经网络。 本文的数据集来自Kaggle竞赛：房价预测（https://www.kag…

上一篇我们分析了Hello World是如何编译的，即使一个非常简单的程序，也需要依赖C标准库和系统库，链接其实就是把其他第三方库和自己源代码生成的二进制目标文件融合在一起的过程。经过链接之后，那些第三方库中定义的函数就能被调用执行了。早期的一些操作系统一般使用静态链接的方式，…