深度学习

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。

对于 ParameterServerStrategy V2，本文主要看看如何使用，如何初始化。在下一篇之中会重点看看如何分发计算。

MirroredStrategy 策略通常用于在一台机器上用多个GPU进行训练。其主要难点就是：如何更新 Mirrored 变量？如何分发计算？本文我们看看其总体思路和如何更新变量。

本文是PyTorch的弹性训练第五篇，看看Rendezvous 的内部引擎，比如如何处理节点加入，节点离开，等待，心跳等等。

Facebook Hydra 允许开发人员通过编写和覆盖配置来简化 Python 应用程序（尤其是机器学习方面）的开发。开发人员可以借助Hydra，通过更改配置文件来更改产品的行为方式。

DIEN是阿里深度兴趣进化网络(Deep Interest Evolution Network)的缩写。 之前我们对DIEN的源码进行了解读，那是基于 https://github.com/mouna99/dien 中的实现。 后来因为继续看DSIN，发现在DSIN代码http…

本文基于阿里推荐 DIN 和 DIEN 代码，梳理了下深度学习一些概念，以及TensorFlow中的相关实现。 因为篇幅所限，所以之前的整体代码讲解中，很多细节没有深入，所以本文会就 “TensorFlow形状相关” 这些细节进行探讨，旨在帮助小伙伴们详细了解每一的步骤以及为什…

本文将通过一个经典的 “tensorflow找不到dll” 问题来入手，给大家一个如何找到缺失dll的办法，进而再分享一个windows上排查问题的好工具（因为大多开发者在windows上开发&在linux上部署，windows还是绕不过）。 运行环境不全，安装vc_…

本文基于阿里推荐 DIN 和 DIEN 代码，梳理了下深度学习一些概念，以及TensorFlow中的相关实现。 因为篇幅所限，所以之前的整体代码讲解中，很多细节没有深入，所以本文会就这些细节进行探讨，旨在帮助小伙伴们详细了解每一的步骤以及为什么要这样做。 本文涉及概念有：矩阵乘…

本文基于阿里推荐DIEN代码，梳理了下RNN一些概念，以及TensorFlow中的部分源码。本博客旨在帮助小伙伴们详细了解每一步骤以及为什么要这样做。 RNN，循环神经网络，Recurrent Neural Networks。 人们思考问题往往不是从零开始的，比如阅读时我们对每…

DIEN是阿里深度兴趣进化网络(Deep Interest Evolution Network)的缩写。 本文将分析DIEN源码整体思路。因为DIEN是在DIN基础上演化，所以代码有大部分重复。 本文采用的是 https://github.com/mouna99/dien 中的…

之前我们介绍了阿里的深度兴趣网络(Deep Interest Network，以下简称DIN)，一年后阿里再次升级其模型到深度兴趣进化网络(Deep Interest Evolution Network，以下简称DIEN。 本系列文章通过解读DIN & DIEN论文以…

Deep Interest Network（DIN）是阿里妈妈精准定向检索及基础算法团队在2017年6月提出的。其针对电子商务领域（e-commerce industry）的CTR预估，重点在于充分利用/挖掘用户历史行为数据中的信息。 本系列文章解读论文以及源码，顺便梳理一些深…

Deep Interest Network（DIN）是阿里妈妈精准定向检索及基础算法团队在2017年6月提出的。其针对电子商务领域（e-commerce industry）的CTR预估，重点在于充分利用/挖掘用户历史行为数据中的信息。 本系列文章解读论文以及源码，顺便梳理一些深…

Deep Interest Network（DIN）是阿里妈妈精准定向检索及基础算法团队在2017年6月提出的。其针对电子商务领域（e-commerce industry）的CTR预估，重点在于充分利用/挖掘用户历史行为数据中的信息。 本文为系列第三篇，将分析DIN源码整体思路…

Deep Interest Network（DIN）是阿里妈妈精准定向检索及基础算法团队在2017年6月提出的。其针对电子商务领域（e-commerce industry）的CTR预估，重点在于充分利用/挖掘用户历史行为数据中的信息。 本系列文章通过解读论文以及源码，顺便梳理一…