三年前，Uber 采用 Hadoop 作为大数据分析系统中海量存储（HDFS）和并行计算（YARN）的底层架构方案。随着业务的发展，Uber 不断对这套系统的稳定性、可用性以及用户体验进行了持续的改善。 Uber 使用 Hadoop 的场景有很多，包括批处理和流式计算。其涵盖的…

Hadoop 社区为了解决 HDFS 横向扩展的问题，早前的版本中实现了基于 ViewFs 的 Federation 架构，而在最新的 Hadoop 版本中，社区又实现了基于 Router 的 Federatio n架构，并且在这个架构之上还实现了许多增强集群管理能力的特性。R…

HDFS 架构设计

从零开始的高并发系列我们已经把 zookeeper 给更新完了，顺带一提之前的zookeeper并没有结合大数据来进行说明。重新开个坑一方面是一直都想找个理由来总结一下大数据方面的东西，另一方面则是抓住时代的走向吧，毕竟也是为了自己，所以废话不多说我们就开始吧。 单个文件比较大…

因为 HDFS 这样一个系统已经存在了非常长的时间，应用的场景已经非常成熟了，所以这部分我们会比较简单地介绍。 HDFS 全名 Hadoop Distributed File System，是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。…

随着公司业务的高速发展，字节跳动目前 HDFS 服务的规模已经到达“双 10”的级别：单集群节点 10 万台级别、单集群数据量达到 10EB 级别。