MissFortune

主要原理是将两个权重数据转成Map[key,value],使用函数getOrElse将两个Map合并时，做有条件的处理，条件就是两个Map的key是否相同，相同就做计算，不相同则直接保留。

sparkmllib机器学习scala代码：hive查询结果：

基于电商用户对母婴类目的日常行为和基础用户信息，预测潜在购买人群，部署集群每日训练并预测结果存储至hive，主要用到了spark2.0的ml机器学期算法库，将训练特征分为连续型特征（注册天数，浏览母婴商品时长等）和离散特征（近1天是否加购，年龄分段，是否母婴会员等），对连续型特…

spark2.0开始引入dataframe作为RDD的上层封装，以屏蔽RDD层次的复杂操作，本文使用spark milib中ml机器学习库进行新闻文本多分类预测，包含数据预预处理，分词，标签和特征向量化转换、多分类模型训练（包含朴素贝叶斯、逻辑回归、决策树和随机森林），分类预测…