Himon

首先激活函数的作用是：对模型加入非线性因素，解决线性模型无法解决的问题。通过下图可以很清楚看到加入激活函数之后的变化： 下边对常用的激活函数做一个总结： Sigmoid 公式： $$ f(z) = \

机器学习任务最重要的是高质量的数据，而“高质量”在现实生产中往往很难实现，数据中或多或少都会有噪音。那么，除了人工清理噪音，还有一种思路，是通过算法的层面来进行“带噪学习”。本文就介绍相关的算法。

自信息量： 考虑一个随机事件$x$，它发生的概率为$p(x)$，我们另：$I(x) = -\log{(p(x))}$ 为随机事件$x$的自信息量。自信息熵表示某个随机事件发生所带来的信息量，事件发生的

关于Transformer相关的知识点： 1. 残差 2. Layer Normalization 3. 两种mask：padding mask和sequence mask 4.等

算法核心： 尽可能多的前进更多步 问题定义：在字符串"substring searching algorithm"中查找模式串"search"。 算法讲解： Sunday算法从前往后匹配，每次比较对应

1. LSTM理论介绍 几个关键点： 每一层实际上只有一个LSTM cell在运行，不同时刻共享权重的。所谓时刻就是按照输入序列，每个时刻输入一个token的向量来运算。 定义网络与batch_siz

TF_IDF的信息论依据 一个查询(query)中每个关键字(key word)w的权重应该反映这个词对查询提供了多少信息。

训练语言模型，零概率和平滑问题 当我们训练语言模型时候，就算使用一个相当大量的语料，如果直接用比值计算概率，大部分条件概率依然是零，这种模型称之为“不平滑”。在实际应用中，这种现象不可避免。 古德提出

1. 概念介绍 Learning from real conversations is more important than designing hypothetical ones，我觉得这是非常重要的事情，我们在构建自己的bot的时候 ，我们往往想绞尽脑汁来排列组合出各种意…