首页
沸点
课程
数据标注
HOT
AI Coding
更多
直播
活动
APP
插件
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
禁止你发言
掘友等级
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
14
文章 14
沸点 0
赞
14
返回
|
搜索文章
最新
热门
Spark OOM
Caused by: java.lang.OutOfMemoryError: Notenough memory to build and broadcast the table to all work
关于Spark Cache
最近有一个用户抱怨很简单的spark作业运行了很长时间,检查发现用户把所有的中间dataset都cache了一遍,在建议用户去掉不必要的cache后,打算对spark的作业执行过程中的cache进行一
动态加载外部SDK
动态加载外部SDK 最近由于公司要升级cyberark(密码托管的服务器)版本,开发环境已经升级,生产环境还没有升级。而连接cyberark的SDK新旧版本不兼容,导致用户需要在不同环境用不同版本的服
Spark写CSV空值引号问题
Spark写CSV空值引号问题 用户有一个作业是从hive中读取数据,经过一系列聚合转换后,写入CSV文件,发生了这样一个现象。 源记录 目标记录 而用户期望的目标记录是 看过用户的描述后,我认为用户
并行读Oracle数据结果不匹配问题
并行读Oracle数据结果不匹配问题 最近有用户抱怨,用我们的服务并行读oracle数据并写到hive, 虽然count前后匹配,但是求和前后不匹配的问题,用户数据量大概260万左右,并行度设置为10
Tectia打不开登陆服务器
Tectia打不开登陆服务器 同事说她的tectia一直打不开,且重启三次了,但着急在服务器上开发。让我帮忙看看,排查思路 进入Tectia客户端的主路径打开客户端,避免快捷方式损坏 双击ssh-cl
如何查看parquet文件的schema信息
如何查看parquet文件的schema信息 IDEA 插件 下载一个Avro and Parquet Viewer插件 https://plugins.jetbrains.com/plugin/12
本地读hive表问题
org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: The root scrach dir: file:/tmp/h
Windows本地写hive表问题解决
ERROR org.apache.hadoop.hive.metastore.RetryingHMSHanlder - java.lang.UnsatisfiedLinkError: org.apac
HIVE API 计算表记录数
由于我们在做数据迁移项目,数据迁移后需要验证原始表记录数是否与迁移后一致,需要实现一个用HIVE api来获取表记录数的功能,同事在调研后说HIVE API实现不了,只能用HIVE JDBC, 我向来
下一页
个人成就
文章被阅读
6,216
掘力值
110
关注了
3
关注者
0
收藏集
0
关注标签
9
加入于
2022-02-19