分布式存储的战争

模型训练推场景对文件系统提出了更高的要求，比如高吞吐读、低延迟写、高IOPS、海量小文件无瓶颈等等。但在计算机软件的世界里是没有“银弹”的，一个系统不可能解决所有问题，必须要进行权衡，舍弃一些不那么重

数据编排层不仅仅提供了数据缓存这一单一功能，并涵盖了数据的生命周期管理、位置调度、跨存储统一视图、访问协议抽象等能力。

对象存储的设计哲学就是：无限扩展、扁平命名空间、简单API。S3的核心目标就是简化存储，它并没有类似HDFS的POSIX兼容性。你就存你的文件，然后调用PUT/GET/DELETE等接口，就这么简单。

本系列文章专注于剖析 HDFS 的主要设计点和其问题，并分析分布式存储是如何兴起的，以及HDFS在云+AI 时代 HDFS 是如何落伍的。