linux有什么分布式文件系统

共计 3744 个字符，预计需要花费 10 分钟才能阅读完成。

今天丸趣 TV 小编给大家分享一下 linux 有什么分布式文件系统的相关知识点，内容详细，逻辑清晰，相信大部分人都还太了解这方面的知识，所以分享这篇文章给大家参考一下，希望大家阅读完这篇文章后有所收获，下面我们一起来了解一下吧。

linux 分布式文件系统有：1、OpenAFS，是一套开放源代码的分布式文件系统；2、MooseFs，是一个具备容错功能的网络分布式文件统；3、googleFs，是一个可扩展分布式文件系统等。

linux 分布式文件系统有哪些？

NFS（www.tldp.org/HOWTO/NFS-HOWTO/index.html）

网络文件系统是 FreeBSD 支持的文件系统中的一种，也被称为 NFS。

NFS 允许一个系统在网络上与它人共享目录和文件。通过使用 NFS，用户和程序可以象访问本地文件一样访问远端系统上的文件。它的好处是：

1、本地工作站使用更少的磁盘空间，因为通常的数据可以存放在一台机器上而且可以通过网络访问到。

2、用户不必在每个网络上机器里面都有一个 home 目录。home 目录可以被放在 NFS 服务器上并且在网络上处处可用。

3、诸如软驱、CDROM、和 ZIP 之类的存储设备可以在网络上面被别的机器使用。可以减少整个网络上的可移动介质设备的数量。

开发语言 c /c++, 可跨平台运行。

OpenAFS（www.openafs.org）

OpenAFS 是一套开放源代码的分布式文件系统，允许系统之间通过局域网和广域网来分享档案和资源。OpenAFS 是围绕一组叫做 cell 的文件服务器组织的，每个服务器的标识通常是隐藏在文件系统中，从 AFS 客户机登陆的用户将分辨不出他们在那个服务器上运行，因为从用户的角度上看，他们想在有识别的 Unix 文件系统语义的单个系统上运行。

文件系统内容通常都是跨 cell 复制，一便一个硬盘的失效不会损害 OpenAFS 客户机上的运行。OpenAFS 需要高达 1GB 的大容量客户机缓存，以允许访问经常使用的文件。它是一个十分安全的基于 kerbero 的系统，它使用访问控制列表(ACL）以便可以进行细粒度的访问，这不是基于通常的 Linux 和 Unix 安全模型。开发协议 IBM Public，运行在 linux 下。

MooseFs（derf.homelinux.org）

Moose File System 是一个具备容错功能的网络分布式文件统，它将数据分布在网络中的不同服务器上，MooseFs 通过 FUSE 使之看起来就 是一个 Unix 的文件系统。但有一点问题，它还是不能解决单点故障的问题。开发语言 perl, 可跨平台操作。

pNFS（www.pnfs.com）

网络文件系统 (Network FileSystem,NFS) 是大多数局域网(LAN）的重要的组成部分。但 NFS 不适用于高性能计算中苛刻的输入书橱密集型程序，至少以前是这样。NFS 标准的罪行修改纳入了 Parallel NFS(pNFS），它是文件共享的并行实现，将传输速率提高了几个数量级。

开发语言 c /c++, 运行在 linux 下。

googleFs

据说是一个比较不错的一个可扩展分布式文件系统，用于大型的，分布式的，对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能，它可以给大量的用户提供性能较高的服务。google 自己开发的。

相关拓展：

常用的分布式文件系统有：GFS、TFS、HDFS、MooseFs、FastDfs、MogileFs、GridFs、MinIO、SeaweedFS、GlusterFS、Ceph、GlusterFS 等。

常见分布式文件系统比对

1、GFS（Google File System）
Google 公司为满足公司需求而开发的基于 Linux 的可扩展的分布式文件系统，用于大型的、分布式的、对大数据进行访问和应用，成本低，应用于廉价的普通硬件上，但不开源，暂不考虑。

2、TFS（Taobao File System）
阿里巴巴为满足了淘宝对小文件存储的需求而开发的一个可扩展、高可用、高性能、面向互联网服务、开源的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的 Linux 机器集群上，可为外部提供高可靠和高并发的存储访问。TFS 为淘宝提供海量小文件存储，通常文件大小不超过 1M，这个也暂不考虑。

3、HDFS（Hadoop Distributed File System）
Hadoop 分布式文件系统，适合运行在通用硬件上做分布式存储和计算，因为它具有高容错性和可扩展性的特点，可部署在廉价的机器上，适合大数据的处理，在离线批量处理大数据上有先天的优势。
Hadoop 是 Apache Lucene 创始人 Doug Cutting 开发的使用广泛的文本搜索库。它起源于 Apache Nutch，后者是一个开源的网络搜索引擎，本身也是 Luene 项目的一部分。Aapche Hadoop 架构是 MapReduce 算法的一种开源应用，是 Google 开创其帝国的重要基石。

4、MooseFS
MooseFS 是来自波兰的开源且具备冗余容错功能的分布式 POSIX 文件系统，也是参照了 GFS 的架构，实现了绝大部分 POSIX 语义和 API，它支持通过 FUSE 方式将文件挂载操作，同时其提供的 web 管理界面非常方便查看当前的文件存储状态，对 master 服务器有单点依赖，用 perl 编写，用于中、大型文件应用，但性能相对较差，由于可能会实时访问所以暂不考虑。
备注：POSIX 表示可移植操作系统接口(Portable Operating System Interface of UNIX, 缩写为 POSIX)，POSIX 标准定义了操作系统应该为应用程序提供的接口标准

5、FastDFS
由淘宝的余庆先生所开发的一个开源分布式文件系统。它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS 为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 搭建一套高性能的文件服务器集群提供文件上传、下载等服务。但是 FastDFS 部署有点麻烦，且它的 SKD 是不全的。

6、MogileFS
MogileFS 是一套高效开源的文件自动备份组件，由 Six Apart 开发，广泛应用在包括 LiveJournal 等 web2.0 站点上。支持多节点冗余，可实现自动的文件复制。不需要 RAID，应用层可以直接实现 RAID，不共享任何东西，通过集群接口提供服务工作于应用层，没有特殊的组件要求。使用 HTTP 方式通信。

国内所知道的使用 MogileFS 的公司有图片托管网站 yupoo 又拍,digg, 土豆, 豆瓣,1 号店, 大众点评, 搜狗, 安居客等等网站. 基本很多网站容量，图片都超过 30T 以上。

7、GridFS
MongoDB 是一种知名的 NoSql 数据库，GridFS 是 MongoDB 的一个内置功能，它用于存储和恢复那些超过 16M（BSON 文件限制）的文件(如：图片、音频、视频等)，是文件存储的一种方式，但是它是存储在 MonoDB 的集合中。它可以直接利用已建立的复制或分片机制，所以对于文件存储来说故障恢复和扩展都容易，且 GridFS 不产生磁盘碎片。

8、MinIO
MinIO 是一个基于 Apache License v2.0 开源协议的对象存储服务。它兼容亚马逊 S3 云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器 / 虚拟机镜像等，而一个对象文件可以是任意大小，从几 kb 到最大 5T 不等。它也是一个非常轻量的服务, 可以很简单的和其他应用的结合。MinIO 的特色在于简单、轻量级，对开发者友好，学习成本低，安装运维简单，开箱即用。

9、SeaweedFS
SeaweedFS 是基于 go 语言开发高度可扩展开源的分布式存储系统，能存储数十亿文件（最终受制于你的硬盘大小）、并且速度快，内存占用小。上手使用比 fastDFS 要简单很多，自带 Rest API。对于中小型文件效率非常高，但是单卷最大容量被程序限制到 30G，建议存储文件以 100MB 以内为主。

10、Ceph
Ceph 是 Red Hat 旗下一个成熟的分布式文件系统，而且还是一个有企业级功能的对象存储生态环境。该系统具备高性能、高可用性、高可扩展性、实时存储性等特点。虽然 ceph 很强大，但是学习成本高、安装运维复杂。Ceph 用 C ++ 编写，存储容量可轻松达到 PB 级别。

11、GlusterFS
GlusterFS 是由美国的 Gluster 公司开发的 POSIX 分布式文件系统（以 GPL 开源），它主要应用在集群系统中，具有高扩展性、高可用性、高性能、可横向扩展等特点，并且其没有元数据服务器的设计，让整个服务没有单点故障的隐患。该系统主要是为中大型文件设计的，存储容量可轻松达到 PB。它存在扩容缩容影响服务器较多、遍历目录下文件耗时、小文件性能较差的缺点。

以上就是“linux 有什么分布式文件系统”这篇文章的所有内容，感谢各位的阅读！相信大家阅读完这篇文章都有很大的收获，丸趣 TV 小编每天都会为大家更新不同的知识，如果还想学习更多的知识，请关注丸趣 TV 行业资讯频道。