大数据技术派

1. mysql建表test; 2. 安装logstash（跟es版本一致） 3. 新建es索引test 4. 编辑配置文件，vim ~/script/logstash/logstash_mysql2

什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等

什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等

什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等

时代的变迁，生死的轮回，历史长河滔滔，没有什么是永恒的，只有变化才是不变的，技术亦是如此，当你选择互联网的那一刻，你就相当于乘坐了一个滚滚向前的时代列车，开往未知的方向，不论什么样的技术架构只有放在当前的时代背景下，才是有意义的，人生亦是如此。 时间就是一把尺子，它能衡量奋斗者…

并不是索引越多越好，索引是一种以空间换取时间的方式，所以建立索引是要消耗一定的空间，况且在索引的维护上也会消耗资源。本文首发我的个人博客mysql索引不生效 这里有张用户浏览商品表，建表语句： 可以看

介绍 Python 是一门独特的语言，快速浏览一下他的要点： 面向对象：每一个变量都是一个类，有其自己的属性（attribute）与方法（method）。 语法块：用缩进（四个空格）而不是分号、花括号

redis大key，这里指的是大的集合数据类型，如（set/hash/list/sorted set），一个key包含很多元素。由于redis是单线程，在删除大key(千万级别的set集合)的时候，或者清理过期大key数据时，主线程忙于删除这个大key，会导致redis阻塞、崩…

数据仓库系列文章(持续更新) 数仓架构发展史 数仓建模方法论 数仓建模分层理论 数仓建模—宽表的设计 数仓建模—指标体系 数据仓库之拉链表 数仓—数据集成 数仓—数据集市 数仓—商业智能系统 数仓—埋

今天(2022-03-30)是我在上海租房的小区被封的第三天，由于我的大意，没有屯吃的，外卖今天完全点不到了，中午的时候我找到了一包快过期的肉松饼，才补充了1000焦耳的能量。但是中午去做核酸的时候，

可以看出，男女数量差异比较明显，但是在这个人口基数大国中，这个差异得以放大。那么，这个性别数量差异是怎么造成的呢？我们继续探究。 以前在农村重男轻女现象比较严重，我村里一户人家想要一个男孩，结果接连生了5胎，都是女孩。人生就是这样的倔强，也需要顽强，有时候你不坚持一下，你都不知…

Spark系列面试题 Spark面试题（一） Spark面试题（二） Spark面试题（三） Spark面试题（四） Spark面试题（五）——数据倾斜调优 Spark面试题（六）——Spark资源调

数据仓库系列文章(部分已出，持续更新) 数仓架构发展史 数仓建模方法论 数仓建模分层理论 数仓建模—宽表的设计 数仓建模—指标体系 数据仓库之拉链表 数仓—数据集成 数仓—数据集市 数仓—商业智能系统

数据仓库系列文章(持续更新) 数仓架构发展史 数仓建模方法论 数仓建模分层理论 数仓建模—宽表的设计 数仓建模—指标体系 数据仓库之拉链表 数仓—数据集成 数仓—数据集市 数仓—商业智能系统 数仓—埋

同比环比的计算 测试数据 销售量的月年占比 关联实现 窗口实现 同比环比 与上年度数据对比称"同比"，与上月数据对比称"环比"。 相关公式如下: ####lead lag 的实现 这里我们就用环比做个

数据仓库系列文章(部分已出，持续更新) 数仓架构发展史 数仓建模方法论 数仓建模分层理论 数仓建模—宽表的设计 数仓建模—指标体系 数据仓库之拉链表 数仓—数据集成 数仓—数据集市 数仓—商业智能系统

Flink系列文章 第01讲：Flink 的应用场景和架构模型 第02讲：Flink 入门程序 WordCount 和 SQL 实现 第03讲：Flink 的编程模型与其他框架比较 第04讲：Flin

拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。 下面就是一张拉链表，存储的是用户的最基本信息以及每条记录的生命周期。我们可以使用这张表拿到最新的当天的最新数据以及之前的历史数据。 有一些…

metadata ：hive元数据，即hive定义的表名，字段名，类型，分区，用户这些数据。一般存储关系型书库mysql中，在测试阶段也可以用hive内置Derby数据库。 metastore ：hivestore服务端。主要提供将DDL，DML等语句转换为MapReduce，…

在Python里面，函数可以作为参数传入一个函数，函数也可以复制给变量，通过变量调用函数。装饰器可以扩展一个函数的功能，为函数做一个装饰器注解，可以把装饰器里面定义的功能于所有函数提前执行，提升代码的复用程度。 现在有这么个场景。 互联网公司里面有各种员工，程序员，前台...，…