JuiceFS 是一款为云环境设计的分布式高性能文件系统。Amazon EFS 易于使用且可伸缩，适用于多种应用。Amazon FSx for Lustre 则是面向处理快速和大规模数据工作负载的高性能文件系统。
在本文中，我们将通过一系列测试，来评估这三种主流文件系统的性能与成本表现，帮助用户快速了解这些产品。
01 测试环境 测试采用了AWS 的 c5.4xlarge 实例（16核，32GB 内存，10Gbps 网络带宽），涵盖了AWS EFS、JuiceFS 云服务（位于美西2区），以及 AWS FSx for Lustre（1.2 TB、1,200 MB/s配置）。
JuiceFS 客户端测试：配置了 4 个线程，同时测试大文件（1,024 MiB 文件，每块1 MiB 读/写）和小文件（128 KiB 文件，100 个文件读/写）。
02 性能测试与用例 性能测试主要用于评估大文件和小文件的顺序读写性能：
大文件顺序读写：对于需要持续吞吐量的应用非常关键，例如大语言模型（LLM）的数据处理和训练、基因测序、大数据分析、视频流和数据备份； 小文件顺序读写：模拟了在计算机视觉数据处理和模型训练、媒体处理、科学计算等领域常见的工作负载。 下表显示了吞吐量的测试结果（单位 MiB/s）： 测试场景 EFS JuiceFS FSx for Lustre 写大文件 475 1,116 594 读大文件 568 1,016 590 写小文件 29 8 297 读小文件 104 160 274 大文件：JuiceFS 在读写大文件方面是最快的。 小文件：FSx for Lustre 在读写小文件方面表现最佳。 挂载 JuiceFS 的参数如下：
- buffer-size=1024
- max-upload=200
- max-download=200 1 2 3 03 费用比较 下表列出了这些产品的收费标准（单位 $）：
费用项目 EFS JuiceFS FSx for Lustre 存储 0.30/GB-month 0.02/GB-month + S3 0.023/GB-month 0.60/GB-month 写访问 0.06/GB 0.10/GB cross AZ Free same region + S3 API 0.0004/1,000 requests Free same AZ0.10/GB cross AZ 读小文件 104 160 274 AWS EFS 根据存储和访问量收费，对于大规模使用来说相对成本较高； 使用 JuiceFS 产生的费用，包括 S3 和 JuiceFS 两部分，但仍然是一个成本较低方案，尤其是当数据在同一区域内访问时，成本效益尤为突出； FSx for Lustre 提供了高性能，但其存储成本最高。 需要特别注意的是一项隐藏费用，跨可用区（AZ）数据传输费用。对于 AWS EFS 和FSx for Lustre 来说，跨不同可用区的数据传输可能会带来额外的成本。而 JuiceFS 利用了 S3 存储在同一地区内的可免费访问的特性，从而减少了这部分的费用。
04 POSIX 兼容性对比 在 AI 应用中，数据处理流程较为复杂，POSIX 兼容性成为团队考量的重要因素。因此，本次比较的结尾部分将提供这三种文件系统在 POSIX 兼容性方面的详细对比。在我们的另一篇博客文章中，对比了云上七款文件系统的 POSIX 兼容性，其中 JuiceFS 通过了全部 8832 项测试，EFS 未通过 1895 项测试，失败比例为 21%，具体测试项目可以参考这篇博客。
之前的测试未包含 FSx for Lustre, 我们按照上述博客中的测试方法，对 FSx for Lustre 的 POSIX 兼容性再次进行了测试，FSX for Lustre 有 16 项测试未通过， 其中 chown 失败 14 项，utimensat 失败 2 项。
此外，JuiceFS 支持 POSIX ACL、回收站、子目录挂载、子目录配额、数据透明压缩、数据在传输和静态时的加密、跨区域复制等功能。
05 小结 JuiceFS在顺序读/写场景中展现出了显著的性能优势，超越了AWS EFS，与 AWS FSx for Lustre 结果相当，但成本更低提供了。而针对随机读/写操作，通常网络文件系统是相对低效的，在这种情况下，为了获得最佳性能，建议使用高级集群技术，将操作集中在本地，同时将远程过程进行批量处理。
总体而言， JuiceFS 提供了兼顾性能与成本优势的方案，在需要大量顺序读/写工作负载的场景，JuiceFS 是一个不错的选择。
希望这篇内容能够对你有一些帮助，如果有其他疑问欢迎加入 JuiceFS 社区与大家共同交流。
文章知识点与官方知识档案匹配，可进一步学习相关知识 Python入门技能树首页概览445302 人正在系统学习中
Juicedata 关注
25
6
0
MiniMax：如何基于 JuiceFS 构建高性能、低成本的大模型 AI 平台 959 MiniMax 成立于 2021 年 12 月，是领先的通用人工智能科技公司，致力于与用户共创智能。MiniMax 自主研发了不同模态的通用大模型，其中包括万亿参数的 MoE 文本大模型、语音大模型以及图像大模型。基于不同模态的通用大模型，MiniMax 推出生产力工具 “海螺 AI” 、沉浸式 AI 内容社区 “星野” 等原生应用。MiniMax 开放平台为企业和开发者提供安全、灵活、可靠的 API 服务，助力快速搭建 AI 应用。
Clobotics 计算机视觉场景存储实践：多云架构、 POSIX 全兼容、低运维的统一存储 1346 Clobotics 是一家将计算机视觉和机器学习技术应用于风电以及零售行业的企业。在风电行业，Clobotics 利用无人机对风力发电机叶片进行检查，显著降低了对人工作业的依赖。在零售领域，公司通过分析捕获的包装商品图像来提供基于实时数据的洞察，以增加销售额并减少运营成本。存储方面，Clobotics 原本直接使用云 SDK，而部分系统则使用了内部的封装器，没有形成统一的存储层，同时还面临多云架构、海量小文件、兼容性方面的挑战。
JuiceFS 在多云架构中加速大模型推理 2013 下图是一个典型的大模型推理服务的架构。我们可以观察到几个关键特点。首先，架构跨越多个云服务或多个数据中心。目前在大模型领域， GPU 资源紧张，多数厂商或公司倾向于采用多云、多数据中心或混合云的策略来部署他们的推理服务。另一个特点是，为了确保数据一致性和管理的便捷性，会在特定地区选择公有云的对象存储作为所有模型数据的存储点。当进行推理任务调度时，可能会选取特定云服务进行任务调度。数据模型的拉取过程需要人工介入，如提前进行数据拷贝。
如何判断数据库和对象存储是否被 JuiceFS 使用？ 792 以上两个场景分别介绍了如何判断已有的数据库和对象存储是否被 JuiceFS 使用，掌握了这些技巧，相信读者可以更好地管理 JuiceFS 文件系统，避免误删、误操作等问题。使用单机数据库作为元数据引擎时，数据库命名尽量有意义和简短。这样既方便识别，又方便后续使用；预计会长期使用的文件系统，数据库和 Bucket 建议让 JuiceFS 独享，尽量不要与其他应用共享使用，避免潜在的误操作和使用冲突；
如何在 Kubernetes 中使用 ClickHouse 和 JuiceFS 1067 ClickHouse 结合 JuiceFS 一直是一个热门的组合，社区中有多篇实践案例。今天的文章来自美国公司 Altinity，一家提供 ClickHouse 商业服务的企业，作者是 Vitaliy Zakaznikov，他尝试了这个组合并公开了过程中使用的代码。原文有两篇文章，“”、“JuiceFS 是一个兼容 POSIX 的文件系统，能够在 S3 对象存储上运行。作为一个分布式且云原生的文件系统，它具备多种功能，包括数据一致性、传输与静态加密、BSD 和 POSIX 文件锁，以及数据压缩。
一文详解 JuiceFS 读性能：预读、预取、缓存、FUSE 和对象存储 2052 JuiceFS 社区版架构分为客户端、数据存储和元数据三部分。数据访问支持多种接口，包括 POSIX 、HDFS API、S3 API，还有 Kubernetes CSI，以满足不同的应用场景。在数据存储方面，JuiceFS 支持几十种对象存储，包括公共云服务和自托管解决方案，如 Ceph 和 MinIO。元数据引擎支持多种常见的数据库，包括 Redis、TiKV 和 MySQL 等。企业版与社区版的主要区别在图片左下角元数据引擎和数据缓存的处理。
小文件写入性能 5 倍于 S3FS，JuiceFS 加速生信研究 1699 在生物信息学研究领域，NextFlow 是一款主流数据分析工具，广泛应用于多种研究项目。MemVerge，内存融合基础架构厂商，其公有云计算平台产品 Memory Machine Cloud (MMCloud) 无缝集成了 NextFlow，为生物信息学家提供了自动化的高性能计算、checkpoint/restore 功能和云主机选型优化，使他们无需适应新的复杂基础设施管理环境。
JuiceFS 直连 NFS 新功能介绍，赋能 NAS 进行 AI 训练 722 JuiceFS v1.2.0 版本新增的直连 NFS 存储功能，让 JuiceFS 可以更好的与 NAS 配合使用，提升了 JuiceFS 对 NFS 的兼容性，同时也为企业提供了更简易的存储解决方案。用户可以利用现有的存储资源在本地构建高性能、高可用的分布式文件系统，为 AI 模型训练、数据分析等场景提供更好的支持。欢迎大家下载试用 JuiceFS v1.2.0 版本，体验直连 NFS 创建文件系统，为本地 AI 模型训练提供强大动力！
seaweedfs + TiKV 部署保姆级教程 653 在使用 JuiceFS 时，我们选择了 SeaweedFS 作为对象存储，以及 TiKV 作为元数据存储，目前在 SeaweedFS 上已经存储了近1.5PB 的数据。关于 SeaweedFS 和 TiKV 配置的参考资料不多，本文将为社区各位用户提供我们的部署实践，并提供详细的命令示例，希望能给社区各位用户一些参考。此外，在文章的最后会附上我们通过多个文件实现配额管理以及在 JuiceFS 文件系统内进行跨机房数据迁移的实践。
基于 JuiceFS 构建高校 AI 存储方案：高并发、系统稳定、运维简单 1072 由于我们使用 PyTorch 框架进行模型训练，如果系统支持 POSIX 接口，将极大地降低用户的学习成本，同时减少对现有代码的改动。
JuiceFS 社区版 v1.2 发布，新增企业级权限管理、平滑升级功能 708 JuiceFS 社区版 v1.2 今天正式发布，这是自 2021 年开源以来的第三个大版本。v1.2 也是一个长期支持版本（LTS）。我们将持续维护 v1.2 以及 v1.1 这两个版本，v1.0 将停止更新。JuiceFS 是为云环境设计的分布式文件系统，支持超过 10 种元数据引擎和 30 种以上的数据存储引擎。这些丰富的选择使得用户可以灵活应对多变的企业环境和数据存储需求；
贝壳找房: 为 AI 平台打造混合多云的存储加速底座 850 贝壳在机器学习平台建设方面起步较早，因此我们可以利用这些成熟的技术和框架来优化模型管理和分发。例如，我们已经成功将 JuiceFS 等技术应用于模型存储和管理中，进一步提升了系统的效率和稳定性。我们基于 JuiceFS 的架构设计了一套 AI 模型仓库方案。
稳定、省钱的 ClickHouse 读写分离方案：基于 JuiceFS 的主从架构实践 674 Jerry 是一家位于北美的科技公司，利用人工智能和机器学习技术，简化汽车保险和贷款的比价和购买流程。在美国，Jerry 的应用在其所属领域排名第一。随着数据规模的增长，Jerry 在使用 AWS Redshift 时遇到了一些性能与成本的挑战。Jerry 重新设计了系统架构，使用 ClickHouse 后，数据查询性能提升了 20 倍，并大幅降低了成本。但在使用过程中也遇到了磁盘损坏和数据恢复等诸多存储挑战。作为初创公司，Jerry 希望避免对 ClickHouse 集群进行大量的维护工作。。
详解 JuiceFS sync 新功能，选择性同步增强与多场景性能优化 590 JuiceFS sync 是一个强大的数据同步工具，支持在多种存储系统之间进行并发同步或迁移数据，包括对象存储、JuiceFS、NFS、HDFS、本地文件系统等。此外，该工具还提供了增量同步、模式匹配（类似 Rsync）、分布式同步等高级功能。在最新的 v1.2 版本中，针对 Juice sync 我们引入了多项新功能，并对多个场景进行了性能优化，以提高用户在处理大目录和复杂迁移时的数据同步效率。
JuiceFS v1.2-beta1，Gateway 升级，多用户场景权限管理更灵活 1068 JuiceFS 将文件分块存储到底层的对象存储中，向用户提供 POSIX 接口访问 JuiceFS 中的文件。当用户需要同时用 S3 兼容接口访问文件时，就需要用 JuiceFS Gateway。在本次 JuiceFS 1.2-beta1 版本中，我们对 Gateway 功能新增了两项备受期待的模块：身份和访问管理（IAM）：支持多用户的管理和访问控制，支持匿名访问控制；事件通知：可以使用桶事件通知来监控桶中对象发生的事件。
如何使用 Grafana 监控文件系统状态 804 本文主要介绍了如何使用 Grafana Cloud 为 JuiceFS 搭建可视化的状态监控系统，为了满足不同经验背景的读者需要，每个环节尽量选择最简单的方式来实现。事实上，任何 IT 系统的搭建都是一个个选择堆叠而成。不难发现，在本文介绍的步骤中，有很多环节是可以有其他的选择，比如，Prometheus 的数据上报方式，文中选择了 Grafana Agent，而读者还可以选择用本地自建的 Prometheus。所以，本文只是抛砖引玉，最终的部署和使用方法还是需要读者自己灵活选择和搭配。
大模型存储实践：性能、成本与多云 1066 大模型应用领域的迅猛发展，也推动着基础技术领域持续探索和进步。文件存储服务在 AI 基础设施中成为不可或缺的重要部分。在过去 18 个月的时间里，JuiceFS 团队与 MiniMax，阶跃星辰，智谱 AI，面壁智能，零一万物等大模型团队展开了交流与合作，已经支持了多家客户生产环境中数千卡的训练任务。在这篇文章中，我们将分享大型语言模型在存储领域面临的一些挑战与 JuiceFS 在服务这些场景时的实践经验，为相关企业提供参考。
知乎：多云架构下大模型训练，如何保障存储稳定性? 1098 知乎，中文互联网领域领先的问答社区和原创内容平台，2011 年 1 月正式上线，月活跃用户超过 1 亿。平台的搜索和推荐服务得益于先进的 AI 算法，数百名算法工程师基于数据平台和机器学习平台进行海量数据处理和算法训练任务。为了提高系统的易用性和灵活性，知乎实施了多云混合部署架构，允许不同云上的作业和服务透明地处理文件，且用户可以在容器中灵活与文件交互，无需关注文件的具体存放位置。
在 Google Colab 中使用 JuiceFS 1027 本文介绍了如何在 Google Colab 中使用 JuiceFS 来持久化保存数据，通过实例介绍了如何为 JuiceFS 准备元数据引擎和对象存储来尽量发挥它的性能，以及在 Colab 中的安装和挂载方法。最后通过 Fooocus 和 Chroma 两个例子，演示了在实际应用中如何利用 JuiceFS 来更好地保存并重复利用数据。希望这 ————————————————
