首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
life_is_short
掘友等级
关注
私信
获得徽章 0
动态
文章
专栏
沸点
收藏集
0
关注
赞
25
文章 25
沸点 0
资讯 0
赞
25
关注
返回
|
搜索文章
life_is_short
1年前
关注
基于pandas实现UDF函数
pandas UDF pandas UDF 是用户定义的函数, 由spark来执行, 使用arrow传输数据, pandas函数处理数据(写的py函数),允许向量化(充分的...
1
评论
分享
life_is_short
1年前
关注
spark如何使用窗口函数
1 spark如何使用窗口函数 开窗函数格式: 如何使用: 通过SQL的方式来使用: 与在hive中书写格式几乎没有太大的区别 尝试使用DSL方式实现窗口函数: \...
1
评论
分享
life_is_short
1年前
关注
dataFrame的构建方式
「这是我参与11月更文挑战的第15天,活动详情查看:2021最后一次更文挑战」 RDD的checkpoint检查点 dataFrame的构建方式 方式一: 将RDD对象转换...
赞
评论
分享
life_is_short
1年前
关注
RDD的checkpoint检查点以及与缓存的区别
2 RDD的checkpoint检查点 checkPoint: 可以将某一个阶段下的RDD的数据进行持久化的保存, 可以将数据保存在HDFS上, 来确保数据的可靠性, ...
1
评论
分享
life_is_short
1年前
关注
RDD的缓存
1.RDD的缓存 RDD缓存: 指的在整个执行链条中, 可以将那些计算比较复杂RDD 而且这些RDD需要被重复的使用, 此时可以提前将这个RDD的结果数据缓存起来, 这...
1
评论
分享
life_is_short
1年前
关注
RDD的Transformation算子操作
1 RDD的Transformation算子操作 值类型的相关的操作: 数据类型只有value 或者说算子只对value对处理 map算子: 作用: 将每一个数据, 根据自...
1
评论
分享
life_is_short
1年前
关注
如何构建RDD
如何构建RDD 构建RDD对象的方式主要有二种: 1 通过并行化方式来构建RDD 代码演示: 说明: 2 通过外部数据方式构建RDD 如何设置 pycharm的python...
1
评论
分享
life_is_short
1年前
关注
Hive函数进阶
Hive函数进阶 explode(UDTF) NBA总冠军球队 lateral View 行列转换 concat 列比较 男 女 30 40 行比较 gender coun...
4
评论
分享
life_is_short
1年前
关注
Hive知识
数据库操作 数据库创建 数据库查看 数据库删除 数据库修改 数据表操作 创建(创建) 查看 删除 修改 内部表和外部表 内部表 默认情况创建的表是内部表 外部表 外部表创建...
2
评论
分享
life_is_short
1年前
关注
Hive知识
hql语句形式 DDL 库、表、视图 创建修改删除 create、alter、drop DML 表的具体数据的事务操作 数据写入 数据的修改 数据的删除 DQL 数据查询 ...
1
评论
分享
life_is_short
1年前
关注
hdfs服务
HDFS服务 HDFS设计目标 故障检测和自动恢复功能 存储大文件数据 高吞吐量 一次写入多次读取 兼容性 HDFS的特性 主从管理结构 主服务 namenode 所有请求...
1
评论
分享
life_is_short
1年前
关注
spark程序与pySpark交互流程
1.spark程序与pySpark交互流程 以提交到yarn spark集群: 部署方式为 cluster,client...
1
评论
分享
life_is_short
1年前
关注
Linux小知识
一、Linux用户与权限 1.1、用户、用户组 用户是linux 操作服务器的最基本单位 用户组,是可以将不同的用户放置在一个用户组中,添加相同权限的集合 1.2、权限 w...
1
评论
分享
life_is_short
1年前
关注
机器学习
机器学习工作流程总结: 1.获取数据 2.数据基本处理 3.特征工程 4.机器学习(模型训练) 5.模型评估 结果达到要求,上线服务 没有达到要求,重新上面步骤...
1
评论
分享
life_is_short
1年前
关注
shell命令的那些事
Shell命令 date命令 获取今天的日期 指定日期获取内容 -d或--date 日期加减 日期格式 %a 当前域的星期缩写 (Sun..Sat) %A 当前域的星期全写...
1
评论
分享
life_is_short
1年前
关注
窗口函数那些事
窗口函数 RowNumber()over() rank ()over() dense_rank() over() ntile(n)over()...
1
评论
分享
life_is_short
1年前
关注
关于数据倾斜那些事
数据倾斜 map join、Bucket-Map join、SMB join Map join skew join groupby join...
1
评论
分享
life_is_short
1年前
关注
9.20日记
2021年9月20日09:27:15 2021年9月20日09:27:42 2021年9月20日09:27:51...
1
评论
分享
life_is_short
1年前
关注
logging日志
- logging日志等级有5个: DEBUG INFO WARNING ERROR CRITICAL...
1
评论
分享
life_is_short
1年前
关注
Python中的正则表达式
Python中的正则表达式相关知识 1、为什么需要正则表达式 2、正则表达式的应用场景 3、正则表达式...
1
评论
分享
下一页
个人成就
文章被点赞
35
文章被阅读
4,469
掘力值
417
关注了
1
关注者
1
收藏集
0
关注标签
2
加入于
2021-08-02