大数据

一、hadoop Yarn是什么 在古老的 Hadoop1.0 中，MapReduce 的 JobTracker 负责了太多的工作，包括资源调度，管理众多的 TaskTracker 等工作。这自然是不

一 集群设备信息： 序号 主机名称 别名 IP地址 1 wg-bigdata-master1.arch.local wg-bigdata-master1.arch.local 172.21.216.9

1、进入机器172.16.224.55（新发展）、172.25.144.12 （太仓） 2、使用命令yarn application -list | grep wdd查看对应容器，如下图 3、ping

一、定义 一个高可靠、高吞吐量的分布式文件系统。对于HDFS而言，他具有数据切割、制作副本、分散存储数据的能力。 相关概念 HDFS数据块 MapReduce基本原理 通过 HDFS 我们解决了分布式

大数据的思想：数据移动是一个高成本的动作，所以计算资源抽象成一个容器，将容器发布到各个节点上进行计算。

定义 分布式离线并行计算框架 对于MapReduce，官网上是这样给出的介绍：Hadoop MapReduce是用于轻松编写应用程序，以可靠，容错的方式在大型集群（数千个节点）的商用硬件上并行处理大量

Storm 部署文档 1 上传storm tar包到 所有需要安装storm服务的IP节点上 2 解压包 tar -zxvf /opt/apache-storm-1.0.3.tar.gz 3 修改配置

背景： 随着存算项目正式迁移，需要平衡在线业务和大数据任务的资源使用。 目前常态化yumc3在线业务已经每日定时扩容使用潮汐资源 现状: 部分在线服务无法实现优雅下线, 故需要切流缩容 目标： 在合理

概述 CDH,全称Cloudera's Distribution, including Apache Hadoop。由美国的Cloudera公司推出的大数据产品，CDH是基于稳定版本的Apache H

版本号 版本描述 编著 日期 V1.0 第一版 TechOps Team 2022.01.10 V1.1 更改部署版本为openresty-1.0.0.0-2 TechOps Team 2022.02

1、进入机器172.16.224.55（新发展）、172.25.144.12 （太仓） 2、使用命令yarn application -list | grep wdd查看对应容器，如下图 3、ping

一、flink清单 CDH 1.23日迁移 任务名称 强依赖中间件 依赖中间资源 flink资源（核数） 内存 是否允许跨站 搬家方式 fbi-onebyone-data-collect-flink

目录 键入章标题(第 1 级)1 键入章标题(第 2 级)2 键入章标题(第 3 级)3 键入章标题(第 1 级)4 键入章标题(第 2 级)5 方案概述 本手册详细描述了 POCKETBI-QC 集

一、概述与说明 1.1 概述 背景：描述此文档的背景和要解决的技术问题 技术定位：初级 目标群体：使用Flink的应用开发用户 技术应用场景：Standalone 是 Flink 的独立部署模式，它不

一 .概述 Apache Kafka是一款开源的消息引擎系统，根据维基百科的定义，消息引擎系统是一组规范，业用这组规范在不同的系统之间传递语义准确的消息，实现松耦合的异步式数据传递。通俗来讲，就是系统

hadoop生态 hadoop版本说明 hadoop生态 hadoop版本说明 hadoop生态 hadoop版本说明

兄弟们，直接上干活 一、准备 版本：7.6.2 kibana和es的版本要一致 在centos7.6上使用rpm方式安装 二、安装与配置 安装kibana 配置yml文件 启动Kibana 访问kib

概述 Elasticsearch 是分布式搜索和分析引擎，其核心是 Elastic Stack。Logstash 和 Beats 有助于收集、聚合和 丰富的数据并将其存储在 Elasticsearch