Moccanism

死没什么可怕的，可糟糕的是不能再活了～

赞

101

|

搜索文章

赞

文章( 100 ) 沸点( 1 )

Spark实现行列转换pivot和unpivot

做过数据清洗ETL工作的都知道，行列转换是一个常见的数据整理需求。在不同的编程语言中有不同的实现方法，比如SQL中使用case+group，或者Power BI的M语言中用拖放组件实现。今天正好需要在pyspark中处理一个数据行列转换，就把这个方法记录下来。首先明确一下啥叫…

wait4friend
7年前
15k
16
评论

用 Spark 处理复杂数据类型（Struct、Array、Map、JSON字符串等）

这种数据结构同C语言的结构体，内部可以包含不同类型的数据。还是用上面的数据，先创建一个包含struct的DataFrame Spark 最强的功能之一就是定义你自己的函数（UDFs），使得你可以通过Scala、Python或者使用外部的库（libraries）来得到你自己需要的…

萧洒的身影
6年前
29k
8
评论

数仓利器-Hive高频函数合集

前言数据准备数据集建表语句窗口函数row_number：使用频率★★★★★rank：使用频率★★★★dense_rank：使用频率★★★★rank/dense_rank/row_number对比fir

进击吧大数据
5年前
2.9k
9
1

Spark SQL 分析 Imooc 访问日志

根据需求，从日志中解析出我们需要的信息，譬如可能有：访问的系统属性：操作系统、浏览器等等访问特征：url、referer (从哪个url跳转过来的)、页面上的停留时间等访问信息：session_id、访问ip(访问城市)等 SparkStatFormatJob.scal…

小旋锋
7年前
807
6
评论

Java8用了这么久了，Stream 流用法及语法你都知道吗？

map：接收一个函数作为参数，该函数会被应用到每个元素上，映射成一个新的元素。 flatMap：接收一个函数作为参数，将流中的每个值都换成另一个流，然后把所有流连接成一个流。 Reduce（T identity, BinaryOperator accumulator）含有初始值…

前程有光
5年前
1.5k
11
1

推荐系统杂谈

推荐系统是近些年非常火的技术，不管是电商类软件还是新闻类app，都号称有精准的推荐系统能给你推送你最感兴趣的内容。现象级的资讯类app“今日头条”就得益于此成为了势头非常猛的一款产品。本文就针对推荐系统讲述一些相关概念和实践经验。首先需要明确的就是推荐系统的目标，一般来说不外…

HJ
9年前
4.0k
155
评论

关于用户画像产品构建和应用的几点经验

贝聊是一款提供给幼儿园使用的APP，兼具“工具属性”、“社交属性”和“资源属性”，主要的用户构成是家长和老师。APP里面除了常见的工具属性功能外，还有类似于微信朋友圈的动态发布功能，也有类似于小米论坛的贝聊社区讨论模块，更有类似于慕课网的孩子学习课程资源平台，等等；所以贝聊的数据…

贝途
8年前
1.4k
7
评论

干货｜个性化推荐系统五大研究热点之用户画像（四）

构建推荐系统的核心任务之一在于如何准确地分析出用户的兴趣特点，也就是我们常说的用户画像。简单说来，用户画像是指从用户产生的各种数据中挖掘和抽取用户在不同属性上的标签，如年龄、性别、职业、收入、兴趣等。完备且准确的属性标签将有力地揭示用户本质特征，因而极大地促进精准的个性化推荐…

天枢数智运营
6年前
3.1k
3
评论

使用 PostgreSQL 数据库建立用户画像系统

通常用户画像是通过给用户建标签系统来实现的，本文介绍了如何使用 PostgreSQL 的 json 数据类型来建立用户画像数据库。用户画像，英文称之为 User Profile，通过用户画像可以完美地抽象出一个用户的信息全貌，通过用户画像数据可以精准地分析用户的各种行为习惯，如消费习惯、兴趣爱好、能力情况等等重要用户信息。

LQS19815
8年前
2.7k
28
2

加入于

2018-09-05