存储组件之MFS详解

MFS:MooseFS是一个具有冗余容错功能的分布式网络文件系统,具有高可靠性,高可扩展性,高可容错性和高数据一致性
应用场景:
1、大规模高并发的线上数据存储及访问(不论大文件还是小文件)
2、大规模的数据处理,如日志分析、小文件强调性能不用HDFS

二、组件

管理服务器 managing server,简称master:它是管理整个mfs文件系统的主服务器,出了分发用户请求外,还用来存储整个文件系统的metadata信息,包括目录、socket管道、块设备等的大小、属性、文件路径等内容
元数据备份服务器 metadata backup server,简称metalogger:此组件作用是备份管理服务器master的metadata信息日志文件,文件类型为changelog_ml.*.mfs,用于在管理服务器出现问题时,可以经过简单的操作让新的主服务器进行工作
数据存储服务器 data server(chunk server),简称data:该组件是存放数据文件的实体服务器,可以由多台不同的物理服务器或不同的磁盘充当,当配置数据的副本多余一份时,或数据写入到另一台数据服务器后,会根据算法在其他数据服务器进行同步备份
客户机服务器组 client server,简称client:此组件是用于挂载使用mfs文件系统的客户端,当读写文件时,客户端会连接到主管理服务器获取数据的metadata信息,然后根据得到的元数据信息访问数据服务器读取或写入文件实体,mfs客户端通过fuse机制实现挂载mfs文件系统的目的。因此,只要系统支持fuse,就可以作为客户端访问mfs整个文件系统

三、安装使用

实验环境:
|IP|备注|
|–|--|
| 192.168.43.200 | master节点 |
| 192.168.43.201 | Metalogger节点 |
| 192.168.43.202 | chunk server节点1 |
| 192.168.43.203 | chunk server节点2 |
| 192.168.43.204 | client节点 |

  1. 前期准备
    准备yum源,以centos7为例

    curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
    curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo

    2.

    Master主节点

    安装主程序

    yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli

    修改解析/etc/hosts

    192.168.43.200 mfsmaster

    启动服务

     

    systemctl start moosefs-master
    systemctl start moosefs-cgiserv

    1. 访问http://192.168.43.20:9425,出现则表示主节点部署完成

    2. 元数据节点Metaloger Server部署
      安装软件 yum install -y moosefs-metalogger
      修改解析/etc/hosts

      192.168.43.200   mfsmaster

      启动服务

      systemctl start moosefs-metalogger

      1. 存储服务器chunk server部署
        存储节点1:
        安装软件包yum install -y moosefs-chunkserver
        修改解析/etc/hosts
        bash 192.168.43.200 mfsmaster
        配置数据目录
        bash mkdir /mnt/chunk1 chown mfs.mfs /mnt/chunk1 #存储是mfs的块文件 echo '/mnt/chunk1'>> /etc/mfs/mfshdd.cfg #定义mfs共享点
        启动服务
        bash systemctl start moosefs-chunkserver
        存储节点2:
        安装软件包yum install -y moosefs-chunkserver
        修改解析/etc/hosts
        bash 192.168.43.200 mfsmaster
        配置数据目录
        bash mkdir /mnt/chunk2 chown mfs.mfs /mnt/chunk2 #存储是mfs的块文件 echo '/mnt/chunk2'>> /etc/mfs/mfshdd.cfg #定义mfs共享点
        启动服务
        bash systemctl start moosefs-chunkserver
        验证
        存储组件之MFS详解
        存储组件之MFS详解

      2. client客户端部署
        安装软件包yum install -y moosefs-client
        修改解析/etc/hosts

        192.168.43.200   mfsmaster

        定义客户端默认挂载vi /etc/mfs/mfsmount.cfg

        mfsmaster=mfsmaster # 挂载地址
        /mnt/mfs # 挂载目录

         

文章链接: https://www.mfisp.com/10145.html

文章标题:存储组件之MFS详解

文章版权:梦飞科技所发布的内容,部分为原创文章,转载请注明来源,网络转载文章如有侵权请联系我们!

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
人已打赏
建站教程投稿分享

存储组件之NFS详解

2022-9-16 14:26:38

建站教程投稿分享

Linux运维必会的命令详解(一)

2022-9-19 9:25:13

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
客户经理
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

梦飞科技 - 最新云主机促销服务器租用优惠