禁止你发言

Caused by: java.lang.OutOfMemoryError: Notenough memory to build and broadcast the tab...

最近有一个用户抱怨很简单的spark作业运行了很长时间，检查发现用户把所有的中间dataset都cache了一遍，在建议用户去掉不必要的cache后，打算对spark的作业...

动态加载外部SDK 最近由于公司要升级cyberark（密码托管的服务器）版本，开发环境已经升级，生产环境还没有升级。而连接cyberark的SDK新旧版本不兼容，导致用户...

Spark写CSV空值引号问题 用户有一个作业是从hive中读取数据，经过一系列聚合转换后，写入CSV文件，发生了这样一个现象。 源记录 目标记录 而用户期望的目标记录是 ...

并行读Oracle数据结果不匹配问题 最近有用户抱怨，用我们的服务并行读oracle数据并写到hive, 虽然count前后匹配，但是求和前后不匹配的问题，用户数据量大概2...

Tectia打不开登陆服务器 同事说她的tectia一直打不开，且重启三次了，但着急在服务器上开发。让我帮忙看看，排查思路 进入Tectia客户端的主路径打开客户端，避免快...

如何查看parquet文件的schema信息 IDEA 插件 下载一个Avro and Parquet Viewer插件 https://plugins.jetbrains...

org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: The root scrach di...

ERROR org.apache.hadoop.hive.metastore.RetryingHMSHanlder - java.lang.UnsatisfiedLinkE...

由于我们在做数据迁移项目，数据迁移后需要验证原始表记录数是否与迁移后一致，需要实现一个用HIVE api来获取表记录数的功能，同事在调研后说HIVE API实现不了，只能用...

javax.jdo.JDOFatalUserException: Class org.datanucleus.api.jdo.JDOPersistenceManagerFa...

Spark has no access to table mytable. Clients can access this table only if they have ...

zsh: parse error near `}' 最近按着教程在本地创建ES索引，报错： 原因是zsh将每行看作单独的命令，用单引号将-d参数值包住，修改如下 所以创建成...

Exception in thread "main" java.lang.UnsupportedOperationException: The Security Manag...

不知不觉中，2022 年已经过去了一多半，然而这2022 年的上半年却显得过得很仓促。仓促的不在于工作上的紧张，而是随着时间一分一秒地流走，悄然发现自己的年纪也越来越大。...

拼多多离职员工的这半年。从一个互联网公司到了另一个互联网公司。是福报还是坑？他有什么思考和总结？对于你的未来又会有什么启发？...