太厉害了!终于有人把Hadoop+Spark+HBase+Netty+分布式讲明白了

1,099 阅读6分钟
原文链接: www.toutiao.com

一、Hadoop实战

Hadoop是Apache软件基金会旗下的一一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce ( Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。HDFS的高容错性、高伸缩性等优点允许用户将Hadoop部署在低廉的硬件上,形成分布式系统;

MapReduce分布式编程模型允许用户在不了解分布式系统底层细节的情况下开发并行应用程序。所以用户可以利用Hadoop轻松地组织计算机资源,从而搭建自己的分布式计算平台,并且可以充分利用集群的计算和存储能力,完成海量数据的处理。

而本书是一本系统且极具实践指导意义的Hadoop工具书和参考书。内容全面,对Hadoop整个技术体系进行了全面的讲解,不仅包括HDFS和MapReduce这两大核心内容,而且还包括Hive、HBase、Mahout、Pig、 ZooKeeper、 Avro、 Chukwa 等与Hadoop相关的子项目的内容。实战性强,为各个知识点精心设计了大量经典的小案例,易于理解,可操作性强。

目录

  • Haoop简介
  • Hadoop的安装与配置
  • Haoop应用案例分析
  • MapReduce计算模型
  • 开发MapReduce应用程序
  • MapRe duce应用案例
  • MapRe duce.工作机制
  • Hadoop I/0操作
  • HDFS详解
  • Hadoop的管理
  • Hive详解
  • HBase详解
  • Mahout详解
  • Pig详解
  • Zooeeper详解
  • Avro详解
  • Chulkv a详解
  • Hadoop的常用插件与开发
太厉害了!终于有人把Hadoop+Spark+HBase+Netty+分布式讲明白了

太厉害了!终于有人把Hadoop+Spark+HBase+Netty+分布式讲明白了

二、Spark大数据分析实战

Spark大数据技术还在如火如荼地发展,Spark中国峰会的召开,各地meetup的火爆举行,开源软件Spark也因此水涨船高,很多公司已经将Spark大范围落地并且应用。Spark使用者的需求已经从最初的部署安装、运行实例,到现在越来越需要通过Spark构建丰富的数据分析应用。写一本Spark实用案例类的技术书籍,是-一个持续了很久的想法。由于工作较为紧张,最初只是将参与或学习过的Spark相关案例进行总结,但是随着时间的推移,最终还是打算将其中通用的算法、系统架构以及应用场景抽象出来,并进行适当简化,也算是一种总结和分享。

目录

  • Spark简介
  • Spark开发与环境配置程序
  • BDAS简介
  • Lamda架构日志分析流水线
  • 基于云平台和用户日志的推荐系统
  • Twitter情感分析
  • 热点新闻分析系统
  • 构建分布式的协同过滤推荐系统
  • 基于Sparl的社交网络分析
  • 基于Spark的大规模新闻主题分析
  • 构建分布式的搜索引擎
太厉害了!终于有人把Hadoop+Spark+HBase+Netty+分布式讲明白了

太厉害了!终于有人把Hadoop+Spark+HBase+Netty+分布式讲明白了

三、Hbase

HBase是- -种NoSQL存储系统,专门设计用来快速随机读写大规模数据。HBase运行在普通商用服务器上,可以平滑扩展,以支持从中等规模到数十亿行、数百万列的数据集。.

本书是一本基于经验提炼而成的指南,它教给读者如何运用HBase设计、搭建及运行大数据应用系统。全书共分为4个部分。前两个部分分别介绍了分布式系统和大规模数据处理的发展历史,讲解HBase的基本原理模式设计以及如何使用HBase的高级特性;第三部分通过真实的应用和代码示例以及支持这些实践技巧的理论知识,进一步探索HBase的一些实用技术;第四部分讲解如何把原型开发系统升级为羽翼丰满的生产系统。

目录

第一部分HBase基础

  1. HBase介绍
  2. 入门
  3. 分布式的Base 、HDFS和MapReduce

第二部分高级概念

  1. HBase表设计
  2. 使用协处理器扩展iBase
  3. 其他的HBase客 户端选择

第三部分应用系统实例

  1. 通过实例学习HBase: OpenTSDB
  2. 在HBase 上查询地理信息系统

第四部分让HBase运转起来

  1. 部署IBase
  2. 运维
太厉害了!终于有人把Hadoop+Spark+HBase+Netty+分布式讲明白了

太厉害了!终于有人把Hadoop+Spark+HBase+Netty+分布式讲明白了

四、分布式服务架构原理、设计与实战

本书以当前流行的分布式服务架构为主线,讲解了分布式服务架构的原理、设计与实践。

本书首先介绍了分布式服务架构的背景和演化,然后深入阐述了保证分布式服务的一-致性、 高性能、高可用性等的设计思想和可实施的方案;然后介绍了大规模、高并发线上服务的应急流程和技术攻关过程,并给出了发现和定位问题的有效、常用工具集;最后详细介绍了分布式服务架构中容器化过程分析、敏捷开发和上线的工具,为从事高并发服务架构的开发人员提供了便利

目录

  • 分布式微服务架构设计原理
  • 彻底解决分布式系统一致性的问题
  • 服务化系统容量评估和性能保障
  • 大数据日志系统的构建
  • 基于调用链的服务治理系统的设计与实现
  • Java服务的线上应急和技术攻关
  • 服务的容器化过程
  • 敏捷开发2.的自动化工具
太厉害了!终于有人把Hadoop+Spark+HBase+Netty+分布式讲明白了

太厉害了!终于有人把Hadoop+Spark+HBase+Netty+分布式讲明白了

五、Netty实战原理

Netty是一款用于快速开发高性能的网络应用程序的Java框架。它封装了网络编程的复杂性,使网络编程和Web技术的最新进展能够被比以往更广泛的开发人员接触到。Netty不只是一个接口和类的集合;它还定义了一种架构模型以及一套丰富的设计模式。但是直到现在,依然缺乏一个全面的、系统性的用户指南,已经成为入门Netty的一个障碍,这种情况也是本书旨在改变的。除了解释该框架的组件以及API的详细信息之外,本书还会展示Netty如何能够帮助开发人员编写更高效的、可复用的、可维护的代码。

目录

第一部分Netty的概念及体系结构

  1. Netty--异步和事件驱动
  2. 你的第一款Hetty应用程序
  3. Netty的组件和设计
  4. 传输
  5. ByteBuf
  6. ChannelHandler和 ChannelPipeline
  7. EventLoop和线程模型
  8. 引导
  9. 单元测试

第二部分编解码器

  1. 编解码器框架
  2. 预置的ChannelHandl er和编解码器

第三部分网络协议

  1. WebSocket
  2. 使用VDP广播事件

第四部分案例研究

  1. 案例研究,第一部分
  2. 案例研究,第二部分
太厉害了!终于有人把Hadoop+Spark+HBase+Netty+分布式讲明白了

太厉害了!终于有人把Hadoop+Spark+HBase+Netty+分布式讲明白了

这些互联网行业十分火、热门的PDF小编已经为大家整理好了,需要领取的朋友转发、转发、转发小编这篇文章+私信小编【架构书籍】即可。