YBCarry_段松啓

1. 认识ZooKeeper 调。 ZooKeeper是一种集中式服务，用于维护配置信息，命名，提供分布式同步和提供组服务。所有这些类型的服务都以分布式应用程序的某种形式使用。每次实施它们都需要做很多工作来修复不可避免的错误和竞争条件。由于难以实现这些类型的服务，应用程序最初通…

1. RHEL7解决yum服务问题 多数教程中提供的是使用网易云或者阿里云提供的CentOS-yum源来替换RHEL中的默认yum，试了几种源后亲测在RHEL7.4中替换失败。 2. 安装MySQL $ cmake . -DCMAKE_INSTALL_PREFIX=/usr/l…

1. 安装准备 2. 安装libaio 3. 配置MySQL Yum Repository 4. 安装MySQL 5. 修改MySQL指定用户密码

1. 认识Hive Apache Hive™数据仓库软件有助于使用SQL读取，编写和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据中。提供了命令行工具和JDBC驱动程序以将用户连接到Hive。 hive提供了SQL查询功能 hdfs分布式存储。 hive本质H…

1. hive日志信息查看 2. 加载数据失败 3. 加载驱动失败 4. Hive建表报错

1. 认识Sqoop 概述：Apache Sqoop是一种工具，用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据——数据迁移。 2. sqoop-1.4.7安装配置流程 3. Sqoop操作 **注意：**merge操作是一个新表替代旧表的操…

1. 认识Flume 概述：Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。它使用简单的可扩展数据模型，允许在线分析应用程序。 <1…

1. 认识Azkaban Azkaban是一套简单的任务调度服务，整体包括三部分webserver、dbserver、executorserver。 Azkaban是linkin的开源项目，开发语言为Java。 Azkaban是在LinkedIn上创建的批处理工作流作业调度程序…

1. 认识HBase Apache HBase™是Hadoop数据库，是一个分布式，可扩展的大数据存储。 当需要对大数据进行随机、实时读/写访问时，请使用Apache HBase™。该项目的目标是托管非常大的表 - 数十亿行X百万列 - 在商品硬件集群上。Apache HBas…