HungryRobot

大多数有监督机器学习模型都需要基于大量数据进行训练才能取得良好的效果。即使听起来很可笑，大多数公司仍很难向其数据科学家提供此类数据，尤其是带有“标记”的数据。后者是训练任何监督模型的关键，并且可能成为任何数据团队的主要瓶颈。 在大多数情况下，数据科学家拿到的的是一个庞大的、未标…

我们知道Spark平台是用Scala进行开发的，但是使用Spark的时候最流行的语言却不是Java和Scala，而是Python。原因当然是因为Python写代码效率更高，但是Scala是跑在JVM之上的，JVM和Python之间又是如何进行交互的呢？

我在风中藏把刀，斩尽世间秋色。 这句注定要流传千古的名诗，是xjjdog于2020年9月6日书写，体现了作者想要毁掉秋色，又对其毫无办法的矛盾心理。 秋天很让人讨厌，除了是万物萧条的开始，它还容易让人上火，容易让鼻炎复发。万物都会受到季节的影响，失去它的本性。当然，程序员也不例…

我知道，大假期的，很多人都放飞了自我。技术文章太烧脑，在假期容易看过就忘了。所以奉上小故事一枚，感叹一下岁月的蹉跎。温馨提示：本行文来源于现实，但超脱于现实。如有雷同，请勿对号入座。 从她刚来的那一天开始，我就喜欢上了她。程序员本来女生就少，何况是这么鲜艳娇嫩的一朵花。 众所周…

光的速度，是299792458m/s，即使她离你只有0.5m的距离，现在她的身影，映入你的眼帘，也需要0.5/299792458秒的传输时间。虽然微不足道，但我们还是能够用数字表达出来。 这表明了一个事实，我们眼睛看到的，全部是过去已经发生的事情，没有人能够把握当下。 时光匆忙…

在总结大家问题的时候，我不禁想到了两三年前的自己。 那会儿，小一我也刚步入社会没多久，自己会的专业技能全是为后台开发准备的。 到了部门之后，因为日常工作更偏数据分析，所以我当时也面临和大家同样的问题。疑惑、迷茫、有力使不出来的感觉。 说到这，我的眼角似乎又湿了一片...... …

一. 项目背景 二. 数据集介绍 三. 数据清洗 四. 分析模型构建 五. 总结 一. 项目背景 项目对京东电商运营数据集进行指标分析以了解用户购物行为特征，为运营决策提供支持建议。 本文采用了MySQL和Python两种代码进行指标计算以适应不同的数据分析开发环境。 二. 数…

spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed streaming， spark streaming 维护的也不积极了， 我们基于 spark 来构建大数…

图非常的重要，是文章中最有价值的部分。如果不是很重要的图一般不会亲手画 此文会很大程度上借鉴美团的文章分享内容和Spark官方资料去进行说明，也会结合笔者自身的理解。 这里会直接一笔带过，不作详细的展开了，大家可以通过搜索引擎能找到它们的详细说明。我们用最直接的话来阐述 就如字…