首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
武子康
掘友等级
后端工程师
永远好奇 无限进步!
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
35
文章 34
沸点 1
赞
35
返回
|
搜索文章
最新
热门
大数据-21 Sqoop 数据迁移 ETL工具 MySQL与Hive数据互相迁移 导入导出
Apache Sqoop 是一款开源工具,主要用于在关系型数据库(如 MySQL、Oracle)与 Hadoop(HDFS、Hive、HBase)之间高效传输数据。
大数据-20-Flume 采集数据双写+HDFS 监控目录变化 Agent MemoryChannel Source
Apache Flume 是一个分布式、高可靠的日志采集框架,常用于将日志从本地系统采集并传输至如 HDFS、Kafka 等大数据系统。Flume 主要由 Source(数据源)、Channel
大数据-19 Flume Agent采集数据至HDFS集群 监听Hive日志 操作记录写入
Apache Flume 是一款分布式、高可用的数据采集系统,广泛应用于日志收集与传输场景。其核心架构由 Source、Channel 和 Sink 三大组件组成。
大数据-18 Flume HelloWorld 实现Source Channel Sink 控制台流式收集
Apache Flume 是一个高可用、可扩展的日志采集系统,广泛应用于大数据环境中,支持将日志数据高效传输至 HDFS、Kafka 等目标系统。
大数据-17 Flume 分布式日志收集 实时采集引擎 Source Channel Sink 串行复制负载均衡
Flume 是一个分布式、高可靠的日志采集系统,广泛用于大数据环境中日志数据的实时传输和汇聚。它的核心架构由 Source(数据源)、Channel(缓冲通道)和 Sink(数据输出)三大组件组成。
大数据-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog
HiveServer2(HS2)是Hive提供的服务端组件,允许远程客户端通过Thrift协议执行SQL查询并返回结果,支持跨平台、跨语言访问。为了部署HS2,需要配置Hadoop集群节点
大数据-15-Hive 元数据管理与存储 Metastore Metadata 内嵌模式 本地模式 远程模式
Hive 的 Metastore 是管理元数据的核心组件,用于描述表结构与文件映射关系,是 SQL 查询能准确定位数据文件的基础。Metastore 有三种部署模式。
大数据-14-Hive HQL 表连接查询 HDFS导入导出 逻辑运算 函数查询 全表查询
导入方面,常见方式包括 LOAD DATA 将本地或 HDFS 文件载入表中,INSERT 用于结构化插入查询结果,以及通过外部表读取 HDFS 中已存在的数据。
大数据-13-Hive 启动Hive DDL DML 增删改查 操作Hive的HQL
通过在命令行输入 hive 进入交互式界面后,用户可执行数据定义语言(DDL)操作,如创建/删除数据库与表,支持内部表和外部表管理。随后介绍了数据操作语言(DML),包括从本地或 HDFS 加载数据
大数据-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hive 是基于 Hadoop 的数据仓库,能将 SQL 转换为 MapReduce 执行,适合海量日志分析任务。我们在 h122 节点上部署 Hive,配置了环境变量,并将元数据存储。
下一页
个人成就
文章被点赞
35
文章被阅读
1,585
掘力值
746
关注了
1
关注者
6
收藏集
0
关注标签
10
加入于
2019-11-11