Dabblerwy

主要原理是将两个权重数据转成Map[key,value],使用函数getOrElse将两个Map合并时，做有条件的处理，条件就是两个Map的key是否相同，相同就做计算，不相同则直接保留。

基于电商用户对母婴类目的日常行为和基础用户信息，预测潜在购买人群，部署集群每日训练并预测结果存储至hive，主要用到了spark2.0的ml机器学期算法库，将训练特征分为连续型特征（注册天数，浏览母婴商品时长等）和离散特征（近1天是否加购，年龄分段，是否母婴会员等），对连续型特…

spark2.0开始引入dataframe作为RDD的上层封装，以屏蔽RDD层次的复杂操作，本文使用spark milib中ml机器学习库进行新闻文本多分类预测，包含数据预预处理，分词，标签和特征向量化转换、多分类模型训练（包含朴素贝叶斯、逻辑回归、决策树和随机森林），分类预测…

sparkmllib机器学习scala代码：hive查询结果：

1. 逻辑回归概述 逻辑回归与线性回归类似，但它不属于回归分析家族（主要为二分类），而属于分类家族，差异主要在于变量不同，因此其解法与生成曲线也不尽相同。 逻辑回归是无监督学习的一个重要算法，对某些数据与事物的归属（分到哪个类别）及可能性（分到某一类别的概率）进行评估。 在医学…