首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
Allenzyg
掘友等级
大数据工程师
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
赞
0
文章 0
沸点 0
赞
0
返回
|
搜索文章
Allenzyg
大数据工程师
·
3月前
关注
hive表数据更新merge into
背景: 根据甲方要求,需要对大数据平台指定表(hive、impala表)的历史数据[2021-01-01至2023-03-29]指定字段进行批量更新,然后把表同步到Or...
赞
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
Hive之窗口函数lag
一、函数介绍 lag()与lead函数是跟偏移量相关的两个分析函数 通过这两个函数可以在一次查询中取出同一字段的前N行的数据(lag)和后N行的数据(lead)作为独立...
赞
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
starrocks
第1章 StarRocks简介 1.1 StarRocks介绍 StarRocks是新一代极速全场景MPP数据库 StraRocks充分吸收关系型OLAP数据库和分布式...
1
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
MySQL保证数据不丢
今天这篇文章,我会继续介绍在业务高峰期临时提升性能的方法。从文章标题“MySQL 是怎么保证数据不丢的”,你就可以看出来,今天我介绍的方法,跟数据的可靠性有关。 在前面...
赞
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
Hive 不同版本中更新操作 merge into
上篇博客《hive表数据更新insert overwrite/merge into》简单提了一下hive更新,没有详细介绍这两个命令,这篇博客就详细介绍一下。 一、使用...
赞
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
hive表新增字段,指定新增字段位置,删除字段
背景:项目中,客户使用hive内表,由于逻辑变更,原hive表结构需要调整,新增字段。 一、新增字段 遇到hive表新增字段,以往建表都是建外表,直接drop后,重新创...
赞
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
impala中的刷新元数据和刷新表
impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。 虽然Hive系统也提供了SQL...
赞
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
MySQL8.0以下版本使用ROW_NUMBER() OVER (<partition_definition> <order_definition>)实现组内排序
场景:mysql如何按多列进行写入标签列,MySQL8.0版本才有ROW_NUMBER() OVER (<partition_definition> <order_de...
赞
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
impala不支持split函数(hive支持)
场景:查看交接文档讲解,其中有一句话勾起了我的学习欲望,话是这么说的:“此逻辑有split函数impala不支持所以用的hive去执行”。 思考:难道impala不能使...
赞
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
MySQL高可用
在上一篇文章中,介绍了 binlog 的基本内容,在一个主备关系中,每个备库接收主库的 binlog 并执行。 正常情况下,只要主库执行更新生成的所有 binlog,都...
赞
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
MySQL求和SUM()结果为整数类型在kettle结果显示为小数
问题描述:MySQL求和SUM()结果为整数类型在kettle结果显示为小数 解决方案: CAST函数用于将值从一种数据类型转换为表达式中指定的另一种数据类型 语法 C...
赞
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
MySQL读写分离
在上一篇文章中,介绍了一主多从的结构以及切换流程。今天我们就继续聊聊一主多从架构的应用场景:读写分离,以及怎么处理主备延迟导致的读写分离问题。 我们在上一篇文章中提到的...
赞
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
MySQL幻读
20 幻读是什么?幻读会造成什么后果? 在上一篇文章最后,遗留了一个关于加锁规则的问题。今天,我们就从这个问题说起。 为了便于说明问题,这篇文章,我们就先使用一个小一点...
赞
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
impala中group_concat()函数无法对内容进行order by
描述: 使用的是impala数据库,假设有四笔数据,是无序的,业务上要求将其行转列成一行数据,并且里面的数据要按从小到大排序。 过程: 猜测: 数据库Oracle、My...
赞
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
MySQL表导入到Parquet格式HDFS文件,同步到Hive的Parquet表
步骤:step1:创建mysql表并插入数据 create table base_category ( id varchar(10), name varchar(50)...
赞
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
MySQL对json值如何正确取数
场景:MySQL要对'{pfAutoFinishStatus":"","shine":""挺好"","submitTime":"2023-04-05"}'这样的json...
赞
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
python数据分析
一、数据处理 1.爬取数据 我们将使用Python的requests和BeautifulSoup库来爬取数据。在这个示例中,我们将爬取豆瓣电影Top250的数据。 im...
赞
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
Oracle 关联表更新
背景: 根据甲方要求,需要对大数据平台指定表(hive、impala表)的历史数据[2021-01-01至2023-03-29]指定字段进行批量更新,然后把表同步到Or...
赞
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
sql查询不以某些指定字符开头(正则表达式)
我们用到的最多的是:查询以特定字符或字符串开头的记录 字符^用来匹配以特定字符或字符串开头的记录。 例 1 在 tb_students_info 表中,查询 name ...
赞
评论
分享
Allenzyg
大数据工程师
·
3月前
关注
MySQL主备一致
在前面的文章中,我不止一次地和你提到了 binlog,大家知道 binlog 可以用来归档,也可以用来做主备同步,但它的内容是什么样的呢?为什么备库执行了 binlog...
赞
评论
分享
下一页
个人成就
文章被点赞
47
文章被阅读
44,798
掘力值
1,403
关注了
0
关注者
10
收藏集
0
关注标签
0
加入于
2021-07-19