首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
Spark技术栈
朝朝mumu
创建于2021-05-11
订阅专栏
Spark连接世界
等 5 人订阅
共14篇文章
创建于2021-05-11
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
Spark3.3.2适配Hadoop3踩坑实践
Spark 3.3.2是一个包含稳定性修复的维护版本。这个版本是基于Spark的3.3版本线最新维护分支。 1. spark-shell启动报错NoClassDefFound……
Spark消费Kafka数据多线程异常的解决方案
概述 KafkaConsumer is not safe for multi-threaded access的报错通常是因为KafkaConsumer被多个线程共享导致的
解决ES-Hive在开启Xpack下的数据互通问题
解决ES-Hive在开启Xpack下的数据互通问题 公共步骤 环境信息 Elasticsearch 7.3.x Hadoop 3.1.x Hive 3.1.x CentOS 7.4 (x86-64)
Spark3源码在IDEA中的编译步骤
Spark3源码编译-IDEA 之前可以在linux环境进行spark源码的修改和编译,没有在笔记本上走通过编译流程,记录遇到的问题和解决方案。在电脑上修改编译源码方便日常的调试使用,步骤如下。
ES集群异常修复与进阶实践
ES 出现failed to execute pipeline for a bulk request问题 已知情况: 当前环境各组件运行正常,数据由HBase侧不停写入ES; 索引
Hudi + Spark3入门第一课
Apache Hudi 是下一代流数据湖平台。Apache Hudi 将数仓和数据库核心功能迁移到数据湖。Hudi 提供表、 事务、高效的 upserts/deletes、高级索引、 流式摄取、数据集
Spark3设置HDFS jar包位置
问题描述 使用spark提交任务到YARN时,在没有配置spark.yarn.archive或者spark.yarn.jars时, 看到输出的日志在输出: 使用spark-shell 或 spark.
Spark SQL参数调优汇总|提速100%的秘籍
背景 基于TPCDS的100G,500G数据进行了99SQL综合调优测试 测试机为物理机5台,1台为管理节点,4台为计算节点 可用内存约1T,核心数(vCore)200大概 重要参数 执行器个数 --
使用Spark批量导入数据到JanusGraph完整实践
开发层面通常使用嵌入式的Java应用程序或连接JanusGraph Server的模式与JanusGraph数据交互,但作为分布式图数据库的一个代表,不与Spark这样的分布式计算引擎产生一点瓜葛……
Spark功能点思维导图|【收藏】
2019年就快结束啦,又到了总结过去展望未来的时候,最近和小伙伴们在进行Spark的功能的梳理,以便进一步研究学习。 Spark Streaming是核心Spark API的扩展,可实现实时数据流的可伸缩,高吞吐量,容错流处理。数据可以从像 Kafka, Flume, Kine…
Spark On Hbase的官方jar包编译与使用
maven版本过低,安装一下maven3.5.4,配置环境变量即可。 就是hbase-spark-1.0.1-SNAPSHOT.jar,现在可以在项目中使用了。 经查询,数据成功写入HBase。
Spark2.3读写Hbase2.0最新API实践(CURD)
以上两张表就创建好了,简单。 官网的 Example 36. HBaseContext Usage Example 如下: new SparkContext("local", "test") 这种写法是这个包独有的。详情如下: 两种API方法底层均调用SparkHadoopWr…
Spark-SQL读不到Hive数据库的新坑指北
结果中只有default数据库,并无其他hive中已创建好的数据库,读取并处理更无从谈起。而期望是能显示hive中的其他多个数据库名称。 推测可能是新版本的集成包中,spark采用了一套独立的配置,因而可以正常启动,但读取不到hive的数据库。 能够正常显示我在hive中创建的…
Spark性能测试WordCount负载-HiBench-执行报错
按照官网SparkBench配置各项,参考SparkBench配置。 但如果这些配置已经是合理的(最大值或较大值),则本方法无效。 这两个参数的意思是说是否启动一个线程检查每个任务正使用的物理内存量和虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是true。此处试了,没有…