life_is_short

pandas UDF pandas UDF 是用户定义的函数, 由spark来执行, 使用arrow传输数据, pandas函数处理数据(写的py函数),允许向量化(充分的...

1 spark如何使用窗口函数 开窗函数格式: 如何使用: 通过SQL的方式来使用: 与在hive中书写格式几乎没有太大的区别 尝试使用DSL方式实现窗口函数: \...

「这是我参与11月更文挑战的第15天，活动详情查看：2021最后一次更文挑战」 RDD的checkpoint检查点 dataFrame的构建方式 方式一: 将RDD对象转换...

2 RDD的checkpoint检查点 ​ checkPoint: 可以将某一个阶段下的RDD的数据进行持久化的保存, 可以将数据保存在HDFS上, 来确保数据的可靠性, ...

1.RDD的缓存 ​ RDD缓存: 指的在整个执行链条中, 可以将那些计算比较复杂RDD 而且这些RDD需要被重复的使用, 此时可以提前将这个RDD的结果数据缓存起来, 这...

1 RDD的Transformation算子操作 值类型的相关的操作: 数据类型只有value 或者说算子只对value对处理 map算子: 作用: 将每一个数据, 根据自...

如何构建RDD 构建RDD对象的方式主要有二种: 1 通过并行化方式来构建RDD 代码演示: 说明: 2 通过外部数据方式构建RDD 如何设置 pycharm的python...

Hive函数进阶 explode（UDTF） NBA总冠军球队 lateral View 行列转换 concat 列比较 男 女 30 40 行比较 gender coun...

数据库操作 数据库创建 数据库查看 数据库删除 数据库修改 数据表操作 创建（创建） 查看 删除 修改 内部表和外部表 内部表 默认情况创建的表是内部表 外部表 外部表创建...

hql语句形式 DDL 库、表、视图 创建修改删除 create、alter、drop DML 表的具体数据的事务操作 数据写入 数据的修改 数据的删除 DQL 数据查询 ...

HDFS服务 HDFS设计目标 故障检测和自动恢复功能 存储大文件数据 高吞吐量 一次写入多次读取 兼容性 HDFS的特性 主从管理结构 主服务 namenode 所有请求...

1.spark程序与pySpark交互流程 以提交到yarn spark集群: 部署方式为 cluster，client...

一、Linux用户与权限 1.1、用户、用户组 用户是linux 操作服务器的最基本单位 用户组，是可以将不同的用户放置在一个用户组中，添加相同权限的集合 1.2、权限 w...

机器学习工作流程总结： 1.获取数据 2.数据基本处理 3.特征工程 4.机器学习(模型训练) 5.模型评估 结果达到要求，上线服务 没有达到要求，重新上面步骤...

Shell命令 date命令 获取今天的日期 指定日期获取内容 -d或--date 日期加减 日期格式 %a 当前域的星期缩写 (Sun..Sat) %A 当前域的星期全写...

窗口函数 RowNumber()over（） rank ()over（） dense_rank() over() ntile(n)over()...

数据倾斜 map join、Bucket-Map join、SMB join Map join skew join groupby join...

2021年9月20日09:27:15 2021年9月20日09:27:42 2021年9月20日09:27:51...

- logging日志等级有5个: DEBUG INFO WARNING ERROR CRITICAL...

Python中的正则表达式相关知识 1、为什么需要正则表达式 2、正则表达式的应用场景 3、正则表达式...