ikroal

本文主要分析了 Giraph1.3 SNAPSHOT 的 Job 提交和初始化的过程。其中 Job 提交部分的分析根据运行在 Standalone 模式下的 Hadoop 部分进行，分析仅涉及本地运行时执行的代码， 而初始化部分则主要根据集群模式进行分析。 该部分不属于源码，而…

本文主要总结了如何利用 Giraph 提供的 API 实现图计算编程，并说明了将 Giraph 源码导入 IDEA 进行调试的过程。 下一 Superstep 邻接顶点处理接收到的 message 然后和顶点值进行比较，如果 message 小于顶点值则对顶点值进行更新，并向邻…

Giraph 是基于 Hadoop 开发的上层应用，因此其运行模式取决于 Hadoop 的运行模式。关于 Hadoop 的运行模式请参照 Hadoop 基础之搭建环境 一文。 本次环境搭建基于 Hadoop 2.5.1 以及 Giraph 1.2.0，系统环境是 Ubuntu …

本文主要阐述了 Giraph 由来及其作用，并根据 Giraph 的系统架构和计算模型简要介绍了 Giraph 的运行流程。 Giraph 是 Google 于 2010 年发布的论文 Pregel: a system for large-scale graph process…

本文主要介绍了 HDFS 的体系架构以及其执行流程，并给出了读写操作的编程实例，希望对 HDFS 有个初步的认识。 HDFS (Hadoop Distributed File System) 是一个运行在商业 PC 上的分布式文件系统，其设计思想源自于 Google 2003 …

本文主要介绍了 Hadoop 的三种运行模式以及配置的方式。 该模式下没有任何守护进程，用户程序和 Hadoop 程序运行在同一个 Java 进程，使用的文件系统是本地文件系统而不是分布式文件系统，此模式下一般用于本地调试。 本次配置基于 Hadoop2.9.2，其中 Stan…

本文主要目的是介绍 Hadoop 的基本架构以及衍生出来的各种工具，以期对 Hadoop 有个整体的认识。 HDFS 是 Google 于 2003 发表的 分布式文件系统 GFS 论文的开源实现版本，主要目的是使用普通商业电脑解决大量数据的存储以及读取速度问题，在 GFS 出…