life_is_short

1.spark程序与pySpark交互流程 以提交到yarn spark集群: 部署方式为 cluster，client

机器学习工作流程总结： 1.获取数据 2.数据基本处理 3.特征工程 4.机器学习(模型训练) 5.模型评估 结果达到要求，上线服务 没有达到要求，重新上面步骤

一、Linux用户与权限 1.1、用户、用户组 用户是linux 操作服务器的最基本单位 用户组，是可以将不同的用户放置在一个用户组中，添加相同权限的集合 1.2、权限 w：写入权限 r：读取权限 x

Shell命令 date命令 获取今天的日期 指定日期获取内容 -d或--date 日期加减 日期格式 %a 当前域的星期缩写 (Sun..Sat) %A 当前域的星期全写 (Sunday..Satu

2021年9月20日09:27:15 2021年9月20日09:27:42 2021年9月20日09:27:51

窗口函数 RowNumber()over（） rank ()over（） dense_rank() over() ntile(n)over()

数据倾斜 map join、Bucket-Map join、SMB join Map join skew join groupby join

- logging日志等级有5个: DEBUG INFO WARNING ERROR CRITICAL

Python中的正则表达式相关知识 1、为什么需要正则表达式 2、正则表达式的应用场景 3、正则表达式