明哥的IT随笔

hive on spark 的架构和常见问题 - hive on spark 使用的是 yarn client 模式还是 yarn cluster 模式？ 1. 回顾下 s...

有趣的 Oracle JDBC 驱动包命名问题 - ojdbc6 和 ojdbc14 哪个新?! 1 背景概述 最近协助一个小兄弟排查了某作业使用 sqoop 采集 ora...

如何获取特定 HIVE 库的元数据信息如其所有分区表和所有分区 1. 问题背景 有时我们需要获取特定 HIVE 库下所有分区表，或者所有分区表的所有分区，以便执行进一步的操...

聊聊 oracle varchar2 字段的gbk/utf8编码格式和字段长度问题 1 问题现象 最近在排查某客户现场的数据同步作业报错问题时，发现了部分 ORACLE 表...

盘点下常见 HDFS JournalNode 异常的问题原因和修复方法 最近在多个客户现场以及公司内部环境，都遇到了因为 JournalNode 异常导致 HDFS 服务不...

记录一个因 MYSQL 服务端和JDBC驱动版本不一致导致 HMS 启动失败问题 1. 问题现象 某运维同学安装 CDH 后 HIVE 服务报警，查看发现 HS2 的金丝雀...

企业真实的网络环境是复杂多变的，在复杂的网络环境中部署并使用 hadoop 时，如果服务端的配置或客户端的使用不当，就可能会遇见各种问题....

开启 Kerberos 安全认证的大数据环境中如何正确指定 HS2 的 jdbc url 地址？HIVE 的认证方式可以通过参数 hive.server2.authenti...

在大数据生态系统中，HIVE是离线数据仓库事实上的标准，绝大多数的大数据分析型系统或数据仓库系统，都是基于HIVE来构建的。 如何访问TDH中Inceptor 底层的元数据...

YARN 存在Remote code execution (RCE) 安全漏洞问题，攻击者可在未经过身份验证的情况下通过该漏洞在受影响主机执行任意命令，最终控制服务器。...

聊聊 Zookeeper 的 4lw 与信息安全：ZooKeeper默认开启在2181端口，在未进行任何访问控制情况下，攻击者可通过执行envi命令获得系统大量的敏感信息。...

本文介绍下 IP packet 的 TTL 与TCP segment 的 MSL，两者都跟数据包在网络上的生存时间有关。...

最近在针对某系统进行性能优化时，发现了一个hive on spark 模式下使用 HikariCP 数据库连接池造成的资源泄露问题，该问题具有普适性，故特地拿出来跟大家分享...

hive 作业的性能优化是一个永恒的话题，其优化方法也有很多，在此分享一个优化点，即编写 SQL 时使用公共表表达式 CTE 替换临时表，经测试优化效果还不错，尤其是涉及到...

更改HIVE 表字段数据类型有哪些注意事项？ 1. 使用 HIVE 表的常见规范 2. 更改HIVE 表字段数据类型的注意事项 3. 相关JIRA...

1 YARN 资源管理框架与公平/容量调度器 2 公平/容量调度器配置原则概述 3 如何排查调度器资源配置引起的业务问题 4 公平调度器相关重要参数 5 容量调度器相关重要...

一篇文章彻底理解 HDFS 的安全模式 什么是 HDFS 的安全模式 什么情况下 HDFS 会进入安全模式 HDFS 进入安全模式怎么办 HDFS 安全模式相关参数 一个某...

如何杜绝 spark history server ui 的未授权访问? 默认状况下，Spark history Sever ui 是没有任何访问控制机制的....

数据库的超时参数有哪些？ 事务超时的含义是什么？ 查询超时的含义是什么？ 查询超时的工作机制是什么? 套接字超时的含义是什么？ 查询超时和套接字超时有何关系？ 如何配置常见...

分享一个某业务系统的线上 hive on spark 作业在高并发下频现作业失败问题的原因分析和解决方法...