聆听金生

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 Shuffle对性能消耗的原理详解 Spark Shuffle过程中影响性能的操作： 磁盘I/O 网络I/O 压缩 解...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 application.yml配置 canal.properties配置 instance配置 mapping映射配置...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 6、API CDC在Sql中无法开窗故用API做demo示例。 6、技术探讨 6.1 延迟数据 所以迟到数据可以说是一...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 4.2 DIM层数据处理 维表数据回表 创建商品表视图 Flink 加载维表数据 4.3 DWD层数据处理 4.4 A...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 基于FlinkSql实时数仓构建 实时数仓主要解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析，实...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 Logstash的介绍 Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。输入插件从数据源那里...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 docker是什么？ Docker的思想来自于 集装箱，集装箱解决了什么问题？在一艘大船上，可以把货物规整的摆放起来。...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 jconsole远程连接 程序启动加入参数： 如果遭遇 Local host name unknown：XXX的错误，...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 优化环境 有一个50万PV的资料类网站（从磁盘提取文档到内存）原服务器32位，1.5G 的堆，用户反馈网站比较缓慢，因...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 JVM调优第一步，了解JVM常用命令行参数 JVM的命令行参数参考：https://docs.oracle.com/j...

GC和GC Tuning 本文已参与「新人创作礼」活动，一起开启掘金创作之路。 GC的基础知识 1.什么是垃圾 没有任何引用指向的一个对象或者多个对象（循环引用） 2.如何...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 配置指南 Maven Assembly 配置详细解释...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 普罗米修斯 1、安装 安装 2、配置监控 [Prometheus + Grafana（八）系统监控之Kafka] Pr...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 项目设计对第三方开源的组件进行集成，使用的是Jetty开发的接口无法向SpringBoot的注册中心注册，又不想在项目...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 1、介绍 kakfa版本：2.5.1 kafka集群中Topic用来存储数据对应的数据，Topic又被由一个或者多个分...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 KafkaProducer介绍 KafkaProducer是kafka生成者生成数据写入kafka集群，通过实例化对象...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 1、zookeeper的安装(单机) 1、环境变量配置 2、配置文件 3、启动zk 4、推荐参考 2、Zookeepe...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 1、Kerberos简介 Kerberos是一种网络安全认证协议，最早由麻省理工研发，用来保护项目 Athena提供的...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 一、相关配置文件 kafka_client_jaas.conf配置项 krb5.conf配置项 密钥配置项相关导出的k...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 1、Kafka 开启ACL 1.1 开启acl认证 在kafka中server.properties文件中添加如下配置...