Allenzyg

​ 背景： 根据甲方要求，需要对大数据平台指定表(hive、impala表)的历史数据[2021-01-01至2023-03-29]指定字段进行批量更新，然后把表同步到Or...

​ 一、函数介绍 lag()与lead函数是跟偏移量相关的两个分析函数 通过这两个函数可以在一次查询中取出同一字段的前N行的数据(lag)和后N行的数据(lead)作为独立...

​ 第1章 StarRocks简介 1.1 StarRocks介绍 StarRocks是新一代极速全场景MPP数据库 StraRocks充分吸收关系型OLAP数据库和分布式...

​ 今天这篇文章，我会继续介绍在业务高峰期临时提升性能的方法。从文章标题“MySQL 是怎么保证数据不丢的”，你就可以看出来，今天我介绍的方法，跟数据的可靠性有关。 在前面...

​ 上篇博客《hive表数据更新insert overwrite/merge into》简单提了一下hive更新，没有详细介绍这两个命令，这篇博客就详细介绍一下。 一、使用...

​ 背景：项目中，客户使用hive内表，由于逻辑变更，原hive表结构需要调整，新增字段。 一、新增字段 遇到hive表新增字段，以往建表都是建外表，直接drop后，重新创...

impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。 虽然Hive系统也提供了SQL...

​ 场景：mysql如何按多列进行写入标签列，MySQL8.0版本才有ROW_NUMBER() OVER (<partition_definition> <order_de...

​ 场景：查看交接文档讲解，其中有一句话勾起了我的学习欲望，话是这么说的：“此逻辑有split函数impala不支持所以用的hive去执行”。 思考：难道impala不能使...

​ 在上一篇文章中，介绍了 binlog 的基本内容，在一个主备关系中，每个备库接收主库的 binlog 并执行。 正常情况下，只要主库执行更新生成的所有 binlog，都...

​ 问题描述：MySQL求和SUM()结果为整数类型在kettle结果显示为小数 解决方案： CAST函数用于将值从一种数据类型转换为表达式中指定的另一种数据类型 语法 C...

​ 在上一篇文章中，介绍了一主多从的结构以及切换流程。今天我们就继续聊聊一主多从架构的应用场景：读写分离，以及怎么处理主备延迟导致的读写分离问题。 我们在上一篇文章中提到的...

​ 20 幻读是什么？幻读会造成什么后果？ 在上一篇文章最后，遗留了一个关于加锁规则的问题。今天，我们就从这个问题说起。 为了便于说明问题，这篇文章，我们就先使用一个小一点...

​ 描述： 使用的是impala数据库，假设有四笔数据，是无序的，业务上要求将其行转列成一行数据，并且里面的数据要按从小到大排序。 过程： 猜测： 数据库Oracle、My...

​ 步骤：step1：创建mysql表并插入数据 create table base_category ( id varchar(10), name varchar(50)...

​ 场景：MySQL要对'{pfAutoFinishStatus":"","shine":""挺好"","submitTime":"2023-04-05"}'这样的json...

​ 一、数据处理 1.爬取数据 我们将使用Python的requests和BeautifulSoup库来爬取数据。在这个示例中，我们将爬取豆瓣电影Top250的数据。 im...

​ 背景： 根据甲方要求，需要对大数据平台指定表(hive、impala表)的历史数据[2021-01-01至2023-03-29]指定字段进行批量更新，然后把表同步到Or...

​ 我们用到的最多的是：查询以特定字符或字符串开头的记录 字符^用来匹配以特定字符或字符串开头的记录。 例 1 在 tb_students_info 表中，查询 name ...

​ 在前面的文章中，我不止一次地和你提到了 binlog，大家知道 binlog 可以用来归档，也可以用来做主备同步，但它的内容是什么样的呢？为什么备库执行了 binlog...