开源云原生分布式文件系统JuiceFS 1.0 beta版本发布

2,196 阅读2分钟

1月13日,juicedata创始人兼首席执行官刘洪清(Davies)在GitHub上上传了JuiceFS 1.0的beta版本,该版本包括了来自22个贡献者的300+ commits。

JuiceFS是一款云原生分布式文件系统,兼容 POSIX、HDFS、S3 访问协议,并提供 Kubernetes CSI 驱动。2021年1月11日,juicedata 正式开源JuiceFS。开源至今,共有40+贡献者完成了 800 次 Pull Requests,发布了16次新版本。

JuiceFS 1.0 beta1功能更新一览

JuiceFS 1.0 beta1版本共有9个功能更新,33个更改和27个错误修复。

其中,新增的功能包括:

  • 默认每隔一小时将整个元数据作为压缩的 JSON 文件备份到对象存储中,这样我们可以在丢失整个元数据库的情况下取回大部分数据。(#975
  • 添加垃圾箱:删除或覆盖的文件将被移动到垃圾箱,将在配置天数后删除。(#1066
  • 添加config更新现有卷配置的命令 ( #1137 )
  • 添加destroy清理卷的所有数据和元数据的命令(#1164
  • 添加了限制并发删除的选项(#917
  • 添加了向 consul 注册 prometheus 指标 api 的选项(#910
  • 为 S3 网关添加了一个选项以保留上传对象的 etag 信息 ( #1154 )
  • 添加--check-all--check-new验证数据完整性 ( #1208 )
  • sync命令支持匿名访问 S3 ( #1228 )

JuiceFS的技术更新与商业落地

开源一年多时间,JuiceFS在技术更新和商业落地方面都有了很多变化。

之前,JuiceFS元数据引擎只支持Redis,现在JuiceFS的云数据引擎相关代码进行了可插拔改造,支持关系型数据库和事务型KV存储;支持40+种对象存储,覆盖公有云、私有云、边缘云等环境中部署所需的存储种类;之前JuiceFS只支持POSIX API,如今支持 HDFS、S3 API,和 Kubernetes CSI 和 Windows 操作系统。

在商业落地方面,小米、Shopee、理想汽车、知乎、航天宏图、尧信等都在生产环境中部署了 JuiceFS。小米用 JuiceFS 做 AI 平台的存储底座;Shopee 将 JuiceFS 作为云平台的文件存储服务提供给各业务线,支持多样业务场景;理想汽车用 JuiceFS 实现了数仓的存算分离;知乎用 JuiceFS 把 Flink 流计算的启动加载提速 4 倍。