Spark技术栈

介绍 Spark 3系列已经发布了第六版3.5.0，目前最新3.5.1。 使用最广泛的大数据可扩展计算引擎。 数以千计的公司，包括 80% 的财富 500 强企业，都在使用 Apache Spark。

性能相关问题及疑难杂症的摸排定位，技术人员不怕bug，怕的是有问题现象却找不到原因。性能问题往往就是没有变更、没有警告、没有报错的三无问题，本文即是一个性能问题的检查单式的性能问题分析方法（总体版）

Spark 3.3.2是一个包含稳定性修复的维护版本。这个版本是基于Spark的3.3版本线最新维护分支。 1. spark-shell启动报错NoClassDefFound……

概述 KafkaConsumer is not safe for multi-threaded access的报错通常是因为KafkaConsumer被多个线程共享导致的

解决ES-Hive在开启Xpack下的数据互通问题 公共步骤 环境信息 Elasticsearch 7.3.x Hadoop 3.1.x Hive 3.1.x CentOS 7.4 （x86-64）

Spark3源码编译-IDEA 之前可以在linux环境进行spark源码的修改和编译，没有在笔记本上走通过编译流程，记录遇到的问题和解决方案。在电脑上修改编译源码方便日常的调试使用，步骤如下。

ES 出现failed to execute pipeline for a bulk request问题 已知情况： 当前环境各组件运行正常，数据由HBase侧不停写入ES； 索引

Apache Hudi 是下一代流数据湖平台。Apache Hudi 将数仓和数据库核心功能迁移到数据湖。Hudi 提供表、 事务、高效的 upserts/deletes、高级索引、 流式摄取、数据集

问题描述 使用spark提交任务到YARN时，在没有配置spark.yarn.archive或者spark.yarn.jars时， 看到输出的日志在输出： 使用spark-shell 或 spark.

背景 基于TPCDS的100G，500G数据进行了99SQL综合调优测试 测试机为物理机5台，1台为管理节点，4台为计算节点 可用内存约1T，核心数（vCore）200大概 重要参数 执行器个数 --

开发层面通常使用嵌入式的Java应用程序或连接JanusGraph Server的模式与JanusGraph数据交互，但作为分布式图数据库的一个代表，不与Spark这样的分布式计算引擎产生一点瓜葛……

2019年就快结束啦，又到了总结过去展望未来的时候，最近和小伙伴们在进行Spark的功能的梳理，以便进一步研究学习。 Spark Streaming是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。数据可以从像 Kafka, Flume, Kine…

maven版本过低，安装一下maven3.5.4，配置环境变量即可。 就是hbase-spark-1.0.1-SNAPSHOT.jar，现在可以在项目中使用了。 经查询，数据成功写入HBase。

以上两张表就创建好了，简单。 官网的 Example 36. HBaseContext Usage Example 如下： new SparkContext("local", "test") 这种写法是这个包独有的。详情如下： 两种API方法底层均调用SparkHadoopWr…

结果中只有default数据库，并无其他hive中已创建好的数据库，读取并处理更无从谈起。而期望是能显示hive中的其他多个数据库名称。 推测可能是新版本的集成包中，spark采用了一套独立的配置，因而可以正常启动，但读取不到hive的数据库。 能够正常显示我在hive中创建的…

按照官网SparkBench配置各项，参考SparkBench配置。 但如果这些配置已经是合理的（最大值或较大值），则本方法无效。 这两个参数的意思是说是否启动一个线程检查每个任务正使用的物理内存量和虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。此处试了，没有…