首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
大数据
jzy3711
创建于2022-04-18
订阅专栏
大数据相关内容,kafka,hive,zookeeper,spark,flink等
等 7 人订阅
共103篇文章
创建于2022-04-18
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
Hive SQL溯源秘籍:基于YARN Timeline的SQL执行全链路追踪
Hive SQL溯源秘籍:基于YARN Timeline的SQL执行全链路追踪》 在大数据生态中,精准追踪Hive SQL的执行足迹是运维与优化的核心挑战。本文提出一套基于 YARN Timeline
国产化适配鲲鹏arm环境:hive on tez 单节点部署实践总结
国产化适配鲲鹏arm环境:hive on tez 单节点部署实践总结 本文详细指导如何在已安装Java的鲲鹏服务器环境下,从下载Hadoop开始,依次配置环境变量、YARN和HDFS设置,然后安装并配
国产化适配鲲鹏arm环境:hive on tez 单节点部署实践问题总结
国产化适配鲲鹏arm环境:hive on tez 单节点部署实践问题总结 本文详细指导如何在已安装Java的鲲鹏服务器环境下,从下载Hadoop开始,依次配置环境变量、YARN和HDFS设置,然后安装
征服国产生态!Ambari 完美适配银河麒麟 V20 实战指南:打通大数据管理“最后一公里”
征服国产生态!Ambari 完美适配银河麒麟 V20 实战指南:打通大数据管理“最后一公里” 背景挑战 随着国产化替代进程加速,银河麒麟(Kylin)V20 操作系统已成为关键领域的主流选择。
CentOS 7 ARM架构安装Ambari:详尽步骤与避坑指南
本指南旨在为您提供一份清晰、详尽且经过实践验证的路线图,手把手引导您完成整个Ambari在CentOS 7 ARM服务器上的安装与初始化过程。
DeepSeek智眸—— 极简内存/Swap双阈值监控脚本 | 实时告警 + 智能日志管理
DeepSeek智眸—— 极简内存/Swap双阈值监控脚本 | 实时告警 + 智能日志管理 一键部署,资源风险无处遁形! 基于DeepSeek技术理念设计的轻量级Shell监控脚本,专为服务器/开发
Hive疑难杂症全攻克:从分隔符配置到权限避坑实战指南
Hive疑难杂症全攻克:从分隔符配置到权限避坑实战指南:本文深度剖析Hive高频痛点,直击问题根源,提供从“报错红屏”到“丝滑运行”的一站式解决路径。
AI(DeepSeek) + ODPS SDK :5分钟搞定ODPS元数据入MySQL!
AI(DeepSeek) + ODPS SDK :5分钟搞定ODPS元数据入MySQL! 为实现ODPS元数据向MySQL的全量覆盖同步,本方案通过以下设计确保数据一致性与执行效率: 1. 全量覆盖机
告别浏览器兼容性警告!Ambari 页面“DOMNodeInserted”弃用问题终极修复指南
告别浏览器兼容性警告!Ambari 页面“DOMNodeInserted”弃用问题终极修复指南 随着浏览器技术的迭代升级,Ambari 页面因依赖已弃用的 DOMNodeInserted 事件而频繁报
实战:华为cce使用docker安装nginx tomcat jar程序等
华为cce使用docker安装nginx tomcat jar程序等 安装tomcat dockerfile startup.sh 安装nginx dockerfile 安装jdk ssh cento
实战:动态网络中的路由管理──优化连接的策略与实践之双网卡打通内外网
实战:动态网络中的路由管理──优化连接的策略与实践之双网卡打通内外网 背景 在现代网络环境中,组织往往经历频繁的网络拓扑变更,如子网重组、网关变更或设备迁移。这些变化要求 IT 管理团队迅速调整网络配
实战:解析hive sql——将别名表、字段转化为指示表字段
hivesql解析 为了确保从复杂的 SQL 表达式中正确提取实际涉及的表列,我们需要递归地解析 SQL 表达式,并准确地提取所有嵌套函数和运算中的列。
实战:使用 PySpark 和 Apache Hudi 进行数据处理
使用 PySpark 和 Apache Hudi 进行数据处理 主要功能是从多个数据库表中提取数据,根据特定条件进行过滤和操作,然后将结果数据写入 Hudi 表中。
高效数据管理:利用PySpark和Apache Hudi实现数据湖中的插入与更新
高效数据管理:利用PySpark和Apache Hudi实现数据湖中的插入与更新 在现代数据密集型任务中,高效的数据管理变得尤为重要。
实战:python管理多个PostgreSQL数据库的连接
python管理多个PostgreSQL数据库的连接 主要实现了通过读取配置文件中的PostgreSQL服务信息,连接到相应的PostgreSQL数据库。
实战:ubuntu 18 离线安装ambari HDP
ubuntu 18 离线安装ambari HDP 基础环境 修改hosts 修改 做免密 sshScript.sh 修改UMASK 关闭防火墙 安装jdk installJDK.sh
实战:高效改进!防止DataX从HDFS导入关系型数据库丢数据
高效改进!防止DataX从HDFS导入关系型数据库丢数据 针对DataX在从HDFS导入数据到关系型数据库过程中的数据丢失问题,优化了分片处理代码。改动包括将之前单一分片处理逻辑重构为循环处理所有分片
实战:shell调用datax从HDFS导出到关系数据库(如MySQL、Oracle、PostgreSQL)
shell调用datax从HDFS导出到关系数据库(如MySQL、Oracle、PostgreSQL) 脚本非常详细地展示了如何将数据从HDFS导出到关系数据库(如MySQL、Oracle、Postg
实战:hive orc格式纯数字使用string类型导致weher条件加该字段报错
在Hive中使用ORC格式存储数据时,如果纯数字字段定义为String类型,当使用该字段在WHERE条件中进行查询时,可能会导致报错。
国产化适配:ambari 轻松适配Kylin v10 arm版,以及mysql8
本指南将详细介绍如何在Kylin v10 ARM版本上轻松地安装和配置Ambari以及MySQL 8。
下一页