1月13日,juicedata创始人兼首席执行官刘洪清(Davies)在GitHub上上传了JuiceFS 1.0的beta版本,该版本包括了来自22个贡献者的300+ commits。
JuiceFS是一款云原生分布式文件系统,兼容 POSIX、HDFS、S3 访问协议,并提供 Kubernetes CSI 驱动。2021年1月11日,juicedata 正式开源JuiceFS。开源至今,共有40+贡献者完成了 800 次 Pull Requests,发布了16次新版本。
JuiceFS 1.0 beta1功能更新一览
JuiceFS 1.0 beta1版本共有9个功能更新,33个更改和27个错误修复。
其中,新增的功能包括:
- 默认每隔一小时将整个元数据作为压缩的 JSON 文件备份到对象存储中,这样我们可以在丢失整个元数据库的情况下取回大部分数据。(#975)
- 添加垃圾箱:删除或覆盖的文件将被移动到垃圾箱,将在配置天数后删除。(#1066)
- 添加
config
更新现有卷配置的命令 ( #1137 )
- 添加
destroy
清理卷的所有数据和元数据的命令(#1164)
- 添加了限制并发删除的选项(#917)
- 添加了向 consul 注册 prometheus 指标 api 的选项(#910)
- 为 S3 网关添加了一个选项以保留上传对象的 etag 信息 ( #1154 )
- 添加
--check-all
并--check-new
验证数据完整性 ( #1208 )
sync
命令支持匿名访问 S3 ( #1228 )
JuiceFS的技术更新与商业落地
开源一年多时间,JuiceFS在技术更新和商业落地方面都有了很多变化。
之前,JuiceFS元数据引擎只支持Redis,现在JuiceFS的云数据引擎相关代码进行了可插拔改造,支持关系型数据库和事务型KV存储;支持40+种对象存储,覆盖公有云、私有云、边缘云等环境中部署所需的存储种类;之前JuiceFS只支持POSIX API,如今支持 HDFS、S3 API,和 Kubernetes CSI 和 Windows 操作系统。
在商业落地方面,小米、Shopee、理想汽车、知乎、航天宏图、尧信等都在生产环境中部署了 JuiceFS。小米用 JuiceFS 做 AI 平台的存储底座;Shopee 将 JuiceFS 作为云平台的文件存储服务提供给各业务线,支持多样业务场景;理想汽车用 JuiceFS 实现了数仓的存算分离;知乎用 JuiceFS 把 Flink 流计算的启动加载提速 4 倍。