hike

一 Beam Search原理和实现1. Beam Search的介绍2. Beam serach的实现2.1 数据结构-堆-的认识2.2 使用堆来实现beam search2.二 闲聊机器人的优化1. seq2seq中使用`teacher forcing`2. 使用梯度裁剪3....

一 Attention的原理和实现1. Attention的介绍2. Attenion的实现机制2.1 Attention的实现过程2.2 不同Attention的介绍2.2.1 `Soft-Attention 和 Hard-Attention`2.2.3 `Global-Att...

一 Seq2Seq实现闲聊机器人1. 准备训练数据2. 数据的处理和保存2.1 小黄鸡的语料的处理2.2 微博语料的处理2.3. 构造文本序列化和反序列化方法4. 构建Dataset和DataLoader5. 完成`encoder`编码器逻辑6. 完成`decoder`解码器的逻...

一 闲聊机器人的介绍二 Seq2Seq模型的原理1. Seq2Seq的介绍2. Seq2Seq模型的实现2.1 实现流程2.2 文本转化为序列2.3 准备数据集2.3.1 准备`Dataset`2.3.2.4 准备编码器2.5 实现解码器2.6 完成seq2seq模型2.7 完成...

1. 1.0.0.X1=0.5,w1=w2=w3=0.X1=0.5,w1=w2=w3=0.当权重初始过小或使用易饱和神经元(sigmoid,tanh，) sigmoid在y=0,1处梯度接近0，而无法更新参数，神经网络在反向传播时也会呈现指数倍缩小，产生“消失”现象。1.当权重初...

三 使用Pytorch实现手写数字识别1. 思路和流程分析2. 准备训练集和测试集2.1 `torchvision.transforms`的图形数据处理方法2.1.1 `torchvision.transforms.ToTensor`2.1.2 `torchvision.tran...

一 Pytorch完成基础模型1. Pytorch完成模型常用API1.1 `nn.Module`1.2 优化器类1.3 损失函数1.2. 在GPU上运行代码3. 常见的优化算法介绍3.1 梯度下降算法（batch gradient descent BGD）3.2 随机梯度下降法...

一 聚类算法简介1 聚类算法1.1 聚类算法在现实中的应用1.2 聚类算法的概念1.二 聚类算法api初步使用1 api介绍2 案例2.1流程分析2.使用不同的聚类准则，产生的聚类结果不同，属于无监督学习算法。1.1.一种典型的无监督学习算法，主要用于将相似的样本自动归到一个类别...

三 Boosting1 boosting集成原理1.1 什么是boosting1.1.2 GBDT2.1 梯度的概念2.2 GBDT执行流程2.3 案例2.3.集成学习通过建立几个模型来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结...