Go语言能够支持实时的，高并发的消息系统，在高达百万级别的消息系统中能够将延迟降低到100ms以下，很大一部分需要归功于Go高效的垃圾回收系统。 对于实时系统而言，垃圾回收系统可能是一个极大的隐患，因为在垃圾回收的时候需要将整个应用程序暂停。所以在我们设计消息总线系统的时候，需…

由 Kaggle 主持的泰坦尼克号生存挑战赛是一项竞赛，其目标是基于一组描述乘客的变量，例如他的年龄，性别或乘客在船上的等级，来预测特定乘客是生存或死亡。 我一直在玩 Titanic 数据集，我最近在公共排行榜上获得了0.8134的准确度分数。当我写这篇文章时，我在所有 Kag…

最近在看 UNIX 网络编程并研究了一下 Redis 的实现， Redis 的源代码十分适合阅读和分析，其中 I/O 多路复用（mutiplexing）部分的实现非常干净和优雅，在这里想对这部分的内容进行简单的整理。（文末有彩蛋！） 首先，Redis 是跑在单线程中的，所有的操…

记录一些常见的 Spark 作业里的 troubleshooting。 在 shuffle 过程中，reduce 端在拉取 map 端的数据时，每个 task 会有自己的 缓冲区用来存放每次拉取的数据，这个缓冲区默认是 48M。 如果 map 端产生的数据量非常大，并且 map…

线性回归是统计学总最常用的算法之一。从根本上来说，当你想表示两个变量间数学关系时，就可以使用线性回归。当你使用它时，你首先假设输出变量（有时称为响应变量、因变量或标签）和预测变量（有时称为自变量、解释变量或特征）之间存在线性关系。当然这种线性关系也可能存在于一个输出变量和数个预…

写文章是一个短期收益少，长期收益很大的一件事情，人们总是高估短期收益，低估长期收益。往往是很多人坚持不下来，特别是写文章的初期，刚写完文章没有人阅读会有一种挫败感，影响了后期创作。 从某种意义上说，博客是我最好的学习笔记和个人名片。在IT行业内，技术博客是了解一个开发者最好的方…

本文根据平安人寿AI资深专家吴建军老师在平安人寿&DataFunTalk算法主题技术沙龙 —“机器学习/深度学习在金融领域最新研究和应用实践”中分享的《机器学习/深度学习工程实战》编辑整理而成，在未改变原意的基础上稍做整理。 今天主要从以下几个方面进行分享：平安人寿AI应用技术…

即使学过机器学习的人，对机器学习中的MLE(极大似然估计)、MAP(最大后验估计)以及贝叶斯估计(Bayesian)仍有可能一知半解。对于一个基础模型，通常都可以从这三个角度去建模，比如对于逻辑回归（Logistics Regression）来说： 本文结合实际例子，以通俗易懂…

对于机器学习者来说，阅读开源代码并基于代码构建自己的项目，是一个非常有效的学习方法。看看以下这些Github上平均star为3558的开源项目，你错了哪些？ 1. FastText：快速文本表示和文本分类库（Github上有11786颗星，贡献者Facebook Researc…