落叶飞逝的恋

一、什么是Redis Redis是一种面向key-value数据类型的内存数据库，可以满足我们对海量数据的快速读写需求 Redis的key只能是字符串，Value支持多种数...

一、线程的六种状态 1.1、New 新创建的 new表示线程被创建但尚未启动的状态 1.2、Runnable 可运行的 当线程调用start方法，线程就处于Runnable...

一、实现线程只有一种方式！ 实现线程是并发编程中的基础，必须要先实现多线程，才可以继续后续的一系列的操作。而实现线程的的方式到底有几种？ 2种？ 3种？ 4种？ 1.1、实...

一、JVM参数调优 登录服务器，使用jps查看kafka的进程id 使用jstat查看GC信息 YGC：年轻代GC发生的次数 YGCT：年轻代GC的消耗的时间 修改kafk...

一、Broker扩展 https://kafka.apache.org/documentation/#brokerconfigs 配置文件：server.propertie...

#### 一、什么是消息队列 0. 消息队列（Message Queue）简称MQ 0. 顾名思义，消息+队列，保存消息的队列 0. 主要提供生成、消费接口供外部调用做数据...

一、相关概念 SparkSQL集成Hive其实就是在SparkSQL中直接操作Hive中的表。在SparkSQL中操作Hive表，底层走的就不是MapReduce引擎了，而...

一、Spark SQL Spark SQL是Spark的一个模块，主要用于进行结构化数据的处理，它提供的最核心的编程抽象，就是DataFrame DataFrame=RDD...

1.1、map与mapPartitions map：一次处理一条数据 mapPartitions：一次处理一个分区的数据 mapPartitions 创建数据库链接，使用m...

携手创作，共同成长！这是我参与「掘金日新计划 · 12 月更文挑战」的第11天，点击查看活动详情 一、性能优化分析 一个计算任务的执行主要依赖于CPU、内存、带宽 实际工作...

携手创作，共同成长！这是我参与「掘金日新计划 · 12 月更文挑战」的第10天，点击查看活动详情 一、宽依赖和窄依赖 窄依赖（Norrow Dependency）指父RDD...

携手创作，共同成长！这是我参与「掘金日新计划 · 12 月更文挑战」的第9天，点击查看活动详情 一、RDD持久化实战 scala代码 java 二、共享变量的工作原理 默认...

携手创作，共同成长！这是我参与「掘金日新计划 · 12 月更文挑战」的第8天，点击查看活动详情 一、创建RDD的三种方式 RDD是Spark编程的核心，在进行Spark编程...

携手创作，共同成长！这是我参与「掘金日新计划 · 12 月更文挑战」的第7天，点击查看活动详情 一、WordCount程序 读取文件中的所有内容，计算每个单词出现的次数 1...

一、什么是Spark Spark是一个用于大规模数据处理的统一计算引擎 Spark中一个最重要的特征就是基于内存进行计算，从而让它的速度可以达到MapReduce的几十倍甚...

一、什么是函数式编程 Scala是一门既面向对象，又面向过程的语言 在Scala中，函数与类、对象一样，都是一等公民。Java中，函数不能脱离类存在的 Scala中的函数是...

一、类（class） 1.1、class定义 Scala中定义和Java一样，都是使用class关键字 和Java一样，使用new关键字创建对象 1.2、构造函数const...

一、什么是Scala Scala是一门多范式编程语言，一种类似Java编程语言 Scala基于Java虚拟机，也就是基于JVM的一门编程语言 Scala和Java可以无缝相...