首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
明哥的IT随笔
掘友等级
大数据架构师
十四年IT老兵,十年外企经验,六年大数据经验,现任某头部金融科技企业的大数据架构师;在大数据上,历任过应用研发和优化,集群搭建和运维,架构设计和咨询等多种技术岗位,擅长各种线上问题的排查分析和解决优化.
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
0
文章 0
沸点 0
赞
0
返回
|
搜索文章
明哥的IT随笔
大数据架构师
·
6月前
关注
聊聊复杂网络环境下hdfs的BlockMissingException异常|参数dfs.client.use.datanode.hostname
企业真实的网络环境是复杂多变的,在复杂的网络环境中部署并使用 hadoop 时,如果服务端的配置或客户端的使用不当,就可能会遇见各种问题....
赞
评论
分享
明哥的IT随笔
大数据架构师
·
6月前
关注
开启 Kerberos 安全认证的大数据环境中如何正确指定 HS2 的 jdbc url 地址?
开启 Kerberos 安全认证的大数据环境中如何正确指定 HS2 的 jdbc url 地址?HIVE 的认证方式可以通过参数 hive.server2.authenti...
赞
评论
分享
明哥的IT随笔
大数据架构师
·
6月前
关注
如何访问TDH中Inceptor 底层的元数据库TxSQL
在大数据生态系统中,HIVE是离线数据仓库事实上的标准,绝大多数的大数据分析型系统或数据仓库系统,都是基于HIVE来构建的。 如何访问TDH中Inceptor 底层的元数据...
赞
评论
分享
明哥的IT随笔
大数据架构师
·
11月前
关注
YARN 远程代码执行(RCE)安全漏洞问题分析与解决方案
YARN 存在Remote code execution (RCE) 安全漏洞问题,攻击者可在未经过身份验证的情况下通过该漏洞在受影响主机执行任意命令,最终控制服务器。...
赞
评论
分享
明哥的IT随笔
大数据架构师
·
11月前
关注
聊聊 Zookeeper 的 4lw 与信息安全
聊聊 Zookeeper 的 4lw 与信息安全:ZooKeeper默认开启在2181端口,在未进行任何访问控制情况下,攻击者可通过执行envi命令获得系统大量的敏感信息。...
赞
评论
分享
明哥的IT随笔
大数据架构师
·
11月前
关注
聊聊 IP packet 的 TTL 与 tcp segment 的 MSL
本文介绍下 IP packet 的 TTL 与TCP segment 的 MSL,两者都跟数据包在网络上的生存时间有关。...
1
评论
分享
明哥的IT随笔
大数据架构师
·
1年前
关注
分享一个 hive on spark 模式下使用 HikariCP 数据库连接池造成的资源泄露问题
最近在针对某系统进行性能优化时,发现了一个hive on spark 模式下使用 HikariCP 数据库连接池造成的资源泄露问题,该问题具有普适性,故特地拿出来跟大家分享...
11
评论
分享
明哥的IT随笔
大数据架构师
·
1年前
关注
分享一个 HIVE SQL 性能优化点-使用公共表表达式 CTE 替换临时表
hive 作业的性能优化是一个永恒的话题,其优化方法也有很多,在此分享一个优化点,即编写 SQL 时使用公共表表达式 CTE 替换临时表,经测试优化效果还不错,尤其是涉及到...
赞
评论
分享
明哥的IT随笔
大数据架构师
·
1年前
关注
更改 HIVE 表字段数据类型有哪些注意事项?
更改HIVE 表字段数据类型有哪些注意事项? 1. 使用 HIVE 表的常见规范 2. 更改HIVE 表字段数据类型的注意事项 3. 相关JIRA...
赞
评论
分享
明哥的IT随笔
大数据架构师
·
1年前
关注
公共大数据集群中如何配置 YARN 的公平调度器和容量调度器
1 YARN 资源管理框架与公平/容量调度器 2 公平/容量调度器配置原则概述 3 如何排查调度器资源配置引起的业务问题 4 公平调度器相关重要参数 5 容量调度器相关重要...
赞
评论
分享
明哥的IT随笔
大数据架构师
·
1年前
关注
一篇文章彻底理解 HDFS 的安全模式
一篇文章彻底理解 HDFS 的安全模式 什么是 HDFS 的安全模式 什么情况下 HDFS 会进入安全模式 HDFS 进入安全模式怎么办 HDFS 安全模式相关参数 一个某...
赞
评论
分享
明哥的IT随笔
大数据架构师
·
1年前
关注
如何杜绝 spark history server ui 的未授权访问?
如何杜绝 spark history server ui 的未授权访问? 默认状况下,Spark history Sever ui 是没有任何访问控制机制的....
赞
评论
分享
明哥的IT随笔
大数据架构师
·
1年前
关注
一篇文章彻底理解数据库的各种超时参数
数据库的超时参数有哪些? 事务超时的含义是什么? 查询超时的含义是什么? 查询超时的工作机制是什么? 套接字超时的含义是什么? 查询超时和套接字超时有何关系? 如何配置常见...
赞
评论
分享
明哥的IT随笔
大数据架构师
·
1年前
关注
线上 hive on spark 作业执行超时问题排查案例分享
分享一个某业务系统的线上 hive on spark 作业在高并发下频现作业失败问题的原因分析和解决方法...
赞
评论
分享
明哥的IT随笔
大数据架构师
·
1年前
关注
如何更改 datax 以支持hive 的 DECIMAL 数据类型?
JAVA 数据类型 - float/double 与 BigDecimal hive 数据类型 - Double,DECIMAL,Numeric 如何更改 datax 以支...
赞
评论
分享
明哥的IT随笔
大数据架构师
·
1年前
关注
线上数据问题排查案例分享-因为 HMS 和底层 orc 文件中某字段的数据精度不一致造成的数据丢失问题
线上数据问题排查案例分享-因为 HMS 和底层 orc 文件中某字段的数据精度不一致造成的数据丢失问题...
赞
评论
分享
明哥的IT随笔
关注了
CodeFox
大数据架构师
明哥的IT随笔
大数据架构师
·
1年前
关注
CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui
CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui ?...
赞
评论
分享
明哥的IT随笔
大数据架构师
·
1年前
关注
大数据平台 CDP 中如何配置 hive 作业的 YARN 队列以确保SLA?
大数据平台 CDP 中如何将不同用户的 HIVE 作业提交到不同的 YARN 队列,以利用队列资源隔离的特性确保SLA?...
赞
评论
分享
明哥的IT随笔
大数据架构师
·
1年前
关注
数据平台发展史-从数据仓库数据湖到数据湖仓
回顾数据平台发展历史,梳理数据平台变迁脉络,更全面准确地理解数据仓库数据湖和数据湖仓!数据平台发展史-从数据仓库数据湖到数据湖仓...
2
评论
分享
下一页
个人成就
文章被点赞
28
文章被阅读
13,257
掘力值
621
关注了
1
关注者
3
收藏集
0
关注标签
34
加入于
2022-01-15