luozhouyang

斯坦福经典NLP教材Speech and Language Processing-Vector Semantics学习笔记。 我们该如何表示一个单词的意思呢？你可能会想到其中的一种，用一个向量来表示一个单词！没错，这个章节就是讲单词的表示。 当然实际上文档的单词数量远不止这几个…

本文是阅读斯坦福经典教材 Speech and Language Processing-Logistic Regression 所做的笔记，推荐看原文。 Logistic Regression可以用于二分类问题和多分类问题(Multinomial logistic regres…

斯坦福经典NLP教程Speech and Language Processing中N-Grams读书笔记。 给一系列的词语计算概率的模型叫做语言模型(Language Models)，其中，n-gram是最简单的一种。一个n-gram就是一个长度为N的词语组成的序列： 有一个任…

"Tensor2Tensor: 组织世界上的模型和数据"。本场演讲嘉宾是Laurence Moroney。 Tensorflow可以运行在任何地方。tf.data可以帮你构建出高效的数据输入管道，tf.layers和tf.keras.Model可以快速帮你构建出神经网络，而td…

Google 2017年的论文 Attention is all you need 阐释了什么叫做大道至简！该论文提出了Transformer模型，完全基于Attention mechanism，抛弃了传统的RNN和CNN。 我们根据论文的结构图，一步一步使用 PyTorch …

学习word2vec的skip-gram实现，除了skip-gram模型还有CBOW模型。 Skip-gram模式是根据中间词，预测前后词，CBOW模型刚好相反，根据前后的词，预测中间词。 首先，我们需要定义一个窗口大小，在窗口里面的词，我们才有中间词和前后词的定义。一般这个窗…

不使用任何深度学习框架，实现一个简单的神经网络用来分类。 手把手带你搭建神经网络，包括损失函数的选择，已经手写反向传播代码。 生成一些数据，这些数据不太容易线性分类。 使用softmax和cross-entropy loss，训练一个线性分类器。 实际上就是直接用softmax…

反向传播是深度学习的基石。 函数在每个变量的导数就是偏导数。 梯度就是偏导数组成的矢量。上述例子中， 对于简单函数，我们可以根据公式直接计算出其导数。但是对于复杂的函数，我们就没那么容易直接写出导数。但是我们有链式法则(chain rule)。 定义不多说，咱们举个例子，感受一…

多分类支持向量机(Multiclass SVM)的损失函数，同时介绍了Regularization loss。从数学上解释什么是损失函数。