Hadoop分布式系统详解

2018-12-27 144 阅读9分钟

原文链接： blog.csdn.net

原分布式系统详解--框架（Hadoop-YARN的HA搭建及测试）

分布式系统详解--框架（Hadoop-YARN的HA搭建及测试）由上一节内容的基础分布式系统详解--框架（Hadoop-HDFS的HA搭建及测试），我们就直接开始配置yarn的高可用。一、yarn的规划 IP 主机名节点 192.168.71.234 ...

2018-10-29 10:50:37

阅读数：39

评论数：0

原分布式系统详解--框架（Hadoop-HDFS的HA搭建及测试）

分布式系统详解 - 框架（Hadoop的HDFS的HA搭建及测试）一，背景概述解决问题1：通过上面的图我们可以明确的看出来，如果的的Namenode坏掉了，那我们的整个集群可以说就是要瘫痪了也就是单节点故障问题。于是现在就出现了另外一张图，我截取的〜在这...

2018-10-23 13:26:40

阅读数：104

评论数：0

原分布式系统详解--框架（Zookeeper-基本shell命令）

分布式系统详解--框架（Zookeeper-基本shell命令简介）一、启动连接 1.1 启动zookeeper集群 ./zkServer.sh start 1.2 查看节点状态 ./zkServer.sh status 1.3 关闭节点 ./zkServ...

2018-10-19 11:52:39

阅读数：22

评论数：0

原分布式系统详解--框架（Zookeeper-简介和集群搭建）

分布式系统详解--框架（Zookeeper-简介和集群搭建）一、Zookeeper简介 1.1 Zookeeper是什么？ Zookeeper是一个集中式服务，用于维护配置信息，命名提供分布式同步和提供组服务。所有这些类型的服务都已分布式应用程序的...

2018-10-18 16:19:40

阅读数：27

评论数：0

原分布式系统详解--框架（Hadoop--RPC协议）

分布式系统详解--框架（Hadoop--RPC协议）在之前的一篇文章当中已经写过一篇文章是关于RPC通信协议的文章，是分布式系统详解--基础知识（通信）。是讲的关于网络通信的最基本的知识。这篇文章也简单讲一下关于hadoop内部的网络...

2018-10-15 12:23:23

阅读数：24

评论数：0

原分布式系统详解--框架（Hadoop--JAVA操作HDFS文件）

分布式系统详解--框架（Hadoop--JAVA操作HDFS文件）前面的文章介绍了怎么将整个集群系统搭建起来，并进行了有效的测试。为了解决登录一台服务器登录其他服务器需要多次输入密码的问题，提供了SSH免密码登录解决方案。还有一些hadoop的简单操作shell命...

2018-10-12 17:37:20

阅读数：30

评论数：0

原分布式系统详解--框架（Hadoop-基本shell命令）

分布式系统详解--框架（Hadoop-基本shell命令）前面的文章我们已经将一个集群搭建好了，现在就需要知道一些关于hadoop的基本操作命令，这篇文章就简单介绍一下hadoop的基本操作shell命令。一、安装hadoop后，hadoop ...

2018-10-11 16:44:34

阅读数：34

评论数：0

原分布式系统详解--框架（Hadoop-Ssh免密登陆配置）

分布式系统详解--框架（Hadoop-Ssh免密登陆配置）配置Ssh非常简单，其实就是为了避免将来集群机器变得很多导致操作本机、后者操作其它服务器输入密码的次数太多而浪费了太多的时间，在这儿我们配置了这个Ssh免登录将会节省一大部分时间。我们看如何...

2018-10-11 15:19:07

阅读数：21

评论数：0

原分布式系统详解--框架（Hadoop-集群搭建）

分布式系统详解--框架（Hadoop-集群搭建）前面的文章也简单介绍了，hadoop的环境搭建分为三种，单机版，伪分布式，全分布式。这篇文章为介绍hadoop的全分布式的架构搭建。一、步骤总纲二、搭建规划主机名称 IP地...

2018-10-09 16:48:20

阅读数：46

评论数：0

原分布式系统详解--架构（Hadoop-克隆服务器）

分布式系统详解--架构（Hadoop-克隆服务器）分布式系统上一个呢，写了一下分布式系统的单机版安装教程，并且对于hadoop来说进行了一个单机版的应用测试。我们这篇文章主要讲解一下利用hadoop来进行分布式搭建。当然在搭建分布式集群之...

2018-10-09 10:01:12

阅读数：87

评论数：0

原分布式系统详解--框架（Hadoop-单机版搭建）

分布式系统详解--框架（Hadoop-单机版搭建）前面讲了这么多的理论知识，也有一些基础的小知识点，很简单的概括了一下。从这篇文章开始，就会进入到一个理论实践相结合中，这篇文章主要是讲的Hadoop，讲解它的基础认识、安装、常用命令、还有就...

2018-09-25 15:29:18

阅读数：36

评论数：0

原分布式系统详解--Linux（权限）

分布式系统详解--Linux（权限）之前再windows上面其实也是有权限的，只是因为我们登录windows系统的时候，可能直接登录的我们自己的电脑，所以直接登录的是管理员权限级别的用户，但是再linux上面，常常是以服务器的...

2018-09-21 11:15:36

阅读数：47

评论数：0

原分布式系统详解--架构简介（微服务）

分布式系统详解--架构简介（微服务）前面的一个集合我们也差不多聊完了整个分布式的基础知识，把基本上包含的内容点也简单做了一下了解和分析，在每一个基础店里面，如果细细探讨和研究，都是至少一本数的技术和含量，而这里只能起到一个抛砖...

2018-09-14 15:38:48

阅读数：38

评论数：0

原分布式系统详解--基础知识（并发）

分布式系统详解--基础知识（并发）在前面曾经写了一篇文章时分布式系统详解--基础知识（线程）已经简单介绍了一下关于线程的一些小故事，今天再来看一下我们的并发的问题，并发的情况出现。今天来了解一下并发的基本知识，然后通过内部程序上...

2018-09-13 19:03:09

阅读数：43

评论数：0

原分布式系统详解--基础知识（安全）

分布式系统详解--基础知识（安全）前一篇文章提到了分布式系统详解--基础知识（CAP），让我们了解到了分布式中一致性、可用性和分区容错性之间的爱恨情仇，今天的安全性我想更是重中之重，没有安全，好像什么都没有了，这篇文章当中...

2018-09-12 19:29:23

阅读数：186

评论数：0

原分布式系统详解--基础知识（CAP）

分布式系统详解--基础知识（CAP）前面呢，文章写到了分布式系统详解--基础知识（通信），在RPC中看到通信为题的重要性，但是分布式系统当中又要牵扯到另外一个地方，就是数据的一致性（Consistency）、可用性（Avai...

2018-09-11 17:10:01

阅读数：75

评论数：0

原分布式系统详解--基础知识（通信）

分布式系统详解--基础知识（通信）上一篇文章我们写到了分布式系统详解--基础知识（线程），简单了解了一下线程的基本概念和线程和分布式的那斩不断理还乱的关系。今天再讲解一下它的另外一个必备知识--通信！进程之间进行通信是分布式的...

2018-09-10 17:51:12

阅读数：115

评论数：0

原分布式系统详解--基础知识（线程）

分布式系统详解--基础知识（线程）一、导读前面跟大家讲了一下分布式系统详解--基础知识（概论），可以稍微了解一下大体上分布式是怎么一回事了。这片篇文章主要是讲述一下线程的问题分别介绍一下，什么线程，进程和线程之间的关系，最...

2018-09-07 17:35:06

阅读数：121

评论数：0

原分布式系统详解--基础知识（概论）

分布式系统详解--基础知识（概论）一、引言由于网上介绍的分布式的系统讲解并没有多少，所以在这儿就希望可以写一套系统的分布式的详解，未来也结合springboot的搭建分布式系统进行详细构建。也愿意坚持写下去，写给自己也分享给大...

2018-09-06 15:38:28

阅读数：166

评论数：0