jiuquguiyu

MySQL基础知识 InnoDB 为什么要用自增 ID 作为主键？ 自增主键的插入模式，符合递增插入，每次都是追加操作，不涉及挪动记录，也不会触发叶子节点的分裂。 每次插入...

高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partitio...

Flink中的执行图一般是可以分为四类，按照生成顺序分别为：StreamGraph-> JobGraph-> ExecutionGraph->物理执行图。顾名思义，这里代表...

sealer是阿里巴巴开源的集群镜像的一个实现方式，项目地址：https://github.com/sealerio/sealer 。sealer[ˈsiːlər]是一款分...

当我们要实现自定义数据源的时候，我们需要先实现DynamicTableSourceFactory, DynamicTableSinkFactory这两个工厂类，在工厂类里面...

Standalone模式需要提前确认好每个任务需要使用的资源，并在配置文件里面配置，每一个任务都是固定资源大小，申请多了浪费，少了怕出问题。Native模式不需要预先确定需...

本文适用于flink1.10-1.12版本。1.flink on k8s 的APP 模式下，读取hadoop需要先添加依赖jar包，我是添加flink-shaded-had...

索引是一种数据结构，用于帮助我们在大量数据中快速定位到我们想要查找的数据。 索引最形象的比喻就是图书的目录了。注意这里的大量，数据量大了索引才显得有意义，如果我想要在 [1...

kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处...

http://spark.apache.org/docs/2.3.2/configuration.名称默认含义spark.streaming.backpressure.en...

java开发中，常见的resource文件有：.xml,.properties,.txt文件等，后台开发中经常用到读取资源文件，处理业务逻辑，然后返回结果。//Class....

@JsonFormat(shape = JsonFormat.Shape.#JsonInclude.Include.#JsonInclude.Include.#JsonIn...

spark读取hive是最简单的，构造一个sparksession对象，直接执行SQL就得读取，然后直接insert就能写入。因为spark客户端配置了你的hive数据库的...

spark读取MySQL就是通过最简单的jdbc实现读取和写入的，操作起来十分方便。但是在实际的项目当中，如果你有频繁的操作MySQL的话，建议最好加上连接池，不然速度会很...

SparkSession spark = SparkSession.builder().Dataset<Row> row = spark.sqlContext().read...

老版本的kafka比较麻烦，streaming提供的只有checkpoint方法实现断点续读功能，但是当修改程序之后就没法平滑部署。因为checkpoint存储的是整个st...

Hive内部提供了很多操作字符串的相关函数，本文将对其中部分常用的函数进行介绍。下表为Hive内置的字符串函数，具体的用法可以参见本文的下半部分。返回类型函数名描述inta...

Spark读取文件有很多方法，我这里主要介绍一下读取非结构化的文件的两种方式，针对多文件读取，单文件读取也是一样的。String afsFilePath="afs://af...