Himon

一、传统的多头注意力机制（MHA，Multi-Head Attention）： 在标准的Transformer中，多头注意力机制（MHA）通过并行计算多个注意力头来捕捉输入...

记录面试过程中遇到的各种机器学习相关知识点，比较分散，比较干。包括传统机器学习算法，深度学习算法等。...

首先激活函数的作用是：对模型加入非线性因素，解决线性模型无法解决的问题。通过下图可以很清楚看到加入激活函数之后的变化： 下边对常用的激活函数做一个总结： Sigmoid 公...

自信息量： 考虑一个随机事件$x$，它发生的概率为$p(x)$，我们另：$I(x) = -\log{(p(x))}$ 为随机事件$x$的自信息量。自信息熵表示某个随机事件发...

关于Transformer相关的知识点： 1. 残差 2. Layer Normalization 3. 两种mask：padding mask和sequence mask...

算法核心： 尽可能多的前进更多步 问题定义：在字符串"substring searching algorithm"中查找模式串"search"。 算法讲解： Sunday算...

一：系统与环境 系统：windows10 GPU：NVIDIA GeForce GTX TITAN X 首先要确定要安装的Tensorflow的版本以及他的对应的各种以来的...

1. 使用场景 通过crontab 命令，我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意...

1. 隐马尔可夫模型定义 隐马尔可夫模型，根据字面意思。首先它一定存在马尔可夫链，即服从马尔可夫性质：无记忆性。也就是说，某一时刻的状态只受前一时刻影响，而与更早的状态无关...

用一句话解释最大似然估计：它是一种模型参数估计方法，就是利用已知的样本分布，反推最有可能（出现概率最大）导致这种样本分布的模型参数。如果这样说还觉得抽象，我再举个例子。你放...

来源： NeurIPS 2019 关键词：预训练模型，NLG 1.背景及问题描述 本文提出了一个专门为NLU和NLG准备的预训练语言模型，这个模型的训练使用三种语言模型任务...

1. LSTM理论介绍 几个关键点： 每一层实际上只有一个LSTM cell在运行，不同时刻共享权重的。所谓时刻就是按照输入序列，每个时刻输入一个token的向量来运算。 ...

机器学习任务最重要的是高质量的数据，而“高质量”在现实生产中往往很难实现，数据中或多或少都会有噪音。那么，除了人工清理噪音，还有一种思路，是通过算法的层面来进行“带噪学习”...

排序学习是推荐、搜索、广告的核心方法，而LTR就是专门做排序任务的一个有监督的机器学习算法。所以，LTR仍然是传统的机器学习处理范式，构造特征，学习目标，训练模型，预测。L...

来源： ACL 2017 关键词：NLG，Pointer-Generator Networks 1.背景及问题描述 seq2seq模型的出现给生成式摘要（abstracti...

复习回顾 Python Tkinter 不仅提供多样的组件，还提供管理组件的布局管理器，主要有三种如下： Grid布局管理器 按网格方式对组件进行排布 Pack布局管理器 ...