JuiceFS – 千亿规模高性能开源分布式文件系统

简介

JuiceFS  采用数据与元数据分离架构设计,元数据存储可用 Redis、TiKV 等开源存储引擎以及自研分布式元数据服务,应对不同场景的存储需求。 高性能,弹性吞吐 分布式多级缓存机制提供弹性扩展的吞吐量

JuiceFS采用「数据」与「元数据」分离存储的架构，从而实现文件系统的分布式设计。文件数据本身会被切分保存在对象存储（例如 Amazon S3），而元数据则可以保存在 Redis、MySQL、TiKV、SQLite 等多种数据库中，你可以根据场景与性能要求进行选择。

功能特性

1. POSIX 兼容：像本地文件系统一样使用，无缝对接已有应用，无业务侵入性；
2. HDFS 兼容：完整兼容 HDFS API，提供更强的元数据性能；
3. S3 兼容：提供 S3 网关 实现 S3 协议兼容的访问接口；
4. 云原生：通过 Kubernetes CSI 驱动 轻松地在 Kubernetes 中使用 JuiceFS；
5. 分布式设计：同一文件系统可在上千台服务器同时挂载，高性能并发读写，共享数据；
6. 强一致性：确认的文件修改会在所有服务器上立即可见，保证强一致性；
7. 强悍性能：毫秒级延迟，近乎无限的吞吐量（取决于对象存储规模），查看性能测试结果；
8. 数据安全：支持传输中加密（encryption in transit）和静态加密（encryption at rest），查看详情；
9. 文件锁：支持 BSD 锁（flock）和 POSIX 锁（fcntl）；
10. 数据压缩：支持 LZ4 和 Zstandard 压缩算法，节省存储空间。

使用部署

使用部署详情参见https://juicefs.com/docs/zh/community/getting-started/installation