关于 spark 的一些好文，好站，好博客

一个中等的电商平台，每天都要产生百万条原始数据，上亿条用户行为数据。一般来说，电商数据一般有3种主要类型的数据系统： 关系型数据库 ，大多数互联网公司会选用mysql作为关数据库的主选，用于存储商品，用户信息等数据。 关系型数据库对于事务性非常高的OLTP操作(比如订单，结算等…

之前发了一篇爬取去哪儿自由行的数据后，有一个读者在后台问到我怎么爬取去哪儿酒店的数据。当时简单看了下,觉得难度不大。就跟他讲了下思路。因为当时爬取自由行的网站选取的是移动端。为了能让读者学习到更多的知识，我们今天选取了去哪儿的电脑端来进行爬取。其实爬虫的思路都是一样的，无非就是…

最近几年里，Python 已成为数据科学、机器学习和深度学习领域的一门流行的编程语言。只需再配上查询语言 SQL 即可完成大多数工作。SQL 很棒，用英语即可发出指令，且只需指示想要什么，而无需关心具体如何查询。这使得底层的查询引擎可以不改变 SQL 查询就能对其进行优化。Py…

通过阅读这篇文章，你能够搭建起一个基本的环境用于支撑一个基础的推荐引擎，你也可以根据自己的需求不断的调整和完善它。在云平台上面运行推荐殷勤能够给开发者提供一个灵活、可拓展的解决方案。

在学习Spark机器学习这本书时，书上用scala完成，自己不熟悉遂用pyshark完成，更深入的理解了spark对协同过滤的实现 在这里我们的推荐模型选用协同过滤这种类型，使用Spark的MLlib中推荐模型库中基于矩阵分解（matrix factorization）的实现。…

MLlib 是 Apache Spark 的可扩展机器学习库，旨在简化机器学习的工程实践工作，并方便扩展到更大规模的数据集。 一种经常引用的英文定义是「A computer program is said to learn from experience E with resp…

本文源自于前阵子连续更新的推荐系统系列，前段时间给朋友整理一个关于推荐系统相关的知识教学体系，刚好自身业务中，预计明年初随着业务规模增长，估摸着又要启动推荐相关的项目了，所以也是趁机把相关的知识结构梳理了一遍。这这里重新做整理，并额外做了一些增减，让整体逻辑会更通顺一点。