大数据

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 Shuffle对性能消耗的原理详解 Spark Shuffle过程中影响性能的操作： 磁盘I/O 网络I/O 压缩 解压缩 序列化 反序列化 调优

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 6、API CDC在Sql中无法开窗故用API做demo示例。 6、技术探讨 6.1 延迟数据 所以迟到数据可以说是一种特殊的乱序数据，因为是在窗

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 基于FlinkSql实时数仓构建 实时数仓主要解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析，实时大屏展示，实时监控报警各个

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 Logstash的介绍 Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。输入插件从数据源那里消费数据，过滤器插件根据你的

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 docker是什么？ Docker的思想来自于 集装箱，集装箱解决了什么问题？在一艘大船上，可以把货物规整的摆放起来。并且各种各样的货物被集装箱标

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 普罗米修斯 1、安装 安装 2、配置监控 [Prometheus + Grafana（八）系统监控之Kafka] Prometheus 监控之 k

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 1、安装apacheDS 1.1执行安装脚本 1.2 默认安装配置 1.3 启动ApacheDS 1.4 添加Apache服务端连接 1.5 密码

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 支持用户定义自定义选项 Sqoop解析用户传递的参数并存储在SqoopOptions对象中。然后，此对象充当数据传输对象。在运行实际的MapRed

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 开发API参考 外部API Sqoop通过配置自动生成把关系型数据库导入Hadoop系统的类。该类包含导入Hadoop的每个字段。该类的实例保存表

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 JVM 参数调优 步骤: 在 添加打印 GC 日志的参数:spark.executor.extraJavaOptions=-verbose:gc

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 Spark 内存调优以及 JVM 调优 目前Spark使用的内存管理模型有两个,分别是: StaticMemoryManager UnifiedM