创新路
我们一直在努力

mogilefs搭建企业分布式文件系统(企业海量小文件【图片】高可用存储系统架构方案)

MogileFS组成部分
MogileFS3个部分组成:
    1server:主要包括mogilefsmogstored两个应用程序。mogilefs实现的是tracker,它通过数据库来保存元数据信息,包括站点domainclasshots等;mogstored是存储节点(storgenode’),它其实是个WsbDAV服务,默认监听在7500 端口,接受客户端的文件存储请求。在Mogilefs安装完后,要运行mogadm工具将所有storge node注册到mogilefs的数据库里,mogilefs会对这些节点进行管理和监控。
    2utils(工具集):主要是Mogilefs的一些管理工具,例如mogadm
    3、客户端APImogilefs的客户端API很多,例如PerlPHPjavapython等,用这个模块可以编写客户端程序,实现文件的备份管理功能等;

MogileFS特性
    1  工作与应用层
    2  无单点:三大组件(trackermogstoredatabase)皆可实现高可用;
    3  自动完成文件复制:复制的最小单位不是文件,而是class,文件可以被自动复制到多个有足够存储空间的存储节点上;
    4  传输无需特殊协议:可以通过NFSHTTP协议进行通信;
    5  名称空间:文件通过一个给定的key来确定,是一个全局的命名空间,没有目录基于域实现文件隔离;
    6  不共享任何数据:无需通过昂贵的SAN来共享磁盘,每个存储节点只需维护自己所属的存储设备(device);

MogileFS原理
术语解释
         tracker:借助数据库保存各个节点的元数据信息,便于检索定位数据位置并监控各个节点,告知客户端存储区的位置并指挥storage节点复制数据副本,进程为mogilefsd
         database:为tracker节点存储节点文件的元数据信息;
         storage:将指定域中的键转换我I特有的文件名存储与在特定的设备文件中,转换后文件名为值,storage自动维护键值之间的对应关系,storage节点使用http进行数据传输,依赖于perbl,进程为mogstoredperbal
         Domain:一个域中的键值为唯一的,一个Mogilefs可以有多个域来存储不同类型的文件;
         Class:复制的最小单位,管理文件属性,定义文件存储在不同设备上的分数;
         device:一个存储节点,可以有多个device,就是用来存放文件的目录,每个设备都有一个设备ID,需要在mogstored配置文件中docroot配置,设备不能删除,只能将设备的状态置为dead,置为dead之后数据就无法恢复了,并且设备ID也无法使用。(建议每个节点只有一个device,文件存储多份时,有多余数据备份在当前节点其他设备,等于没有备份,若只备份2份,节点发生故障,数据就会丢失);

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

案例效果:

图片.png

客官点个赞呗! (0)
分享到:

评论 抢沙发

评论前必须登录!

天府云博 - 做有态度的开发&运维&设计学习分享平台!

联系我们百度云主机