分布式文件系统实战，使用MinIO构建分布式文件系统！

2022-12-26 17:34:12

随着文件数据的越来越多，传统的文件存储方式通过tomcat或nginx虚拟化的静态资源文件在单一的服务器节点内已经无法满足系统需求，也不利于文件的管理和维护，这就需要一个系统来管理多台计算机节点上的文件数据，这就是分布式文件系统。

一、什么是分布式文件系统？

1.1 什么是分布式文件系统

分布式文件系统（Distributed File System，DFS）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点（可简单的理解为一台计算机）相连；或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。DFS为分布在网络上任意位置的资源提供一个逻辑上的树形文件系统结构，从而使用户访问分布在网络上的共享文件更加简便。

1.3 分布式文件系统的优势

可扩展：分布式存储系统可以扩展到数百甚至数千个这样的集群大小，并且系统的整体性能可以线性增长。

高可用性：在分布式文件系统中，高可用性包含两层，一是整个文件系统的可用性，二是数据的完整和一致性

低成本：分布式存储系统的自动容错和自动负载平衡允许在成本较低服务器上构建分布式存储系统。此外，线性可扩展性还能够增加和降低服务器的成本。

弹性存储: 可以根据业务需要灵活地增加或缩减数据存储以及增删存储池中的资源，而不需要中断系统运行

1.4 分布式文件系统的应用场景

分布式文件系统广泛适用于互联网、金融等海量非结构化数据的存储需求：

电商网站：海量商品图片
视频平台：视频、图片文件存储
网盘应用：文件存储
社交网站：海量视频、图片

二、分布式文件系统与传统文件系统对比

传统的网络存储系统采用集中的服务器存放所有数据，到一定程度服务器会成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。

分布式文件系统是将文件分散的存储在多台服务器上，采用可扩展的系统结构，利用多台服务器分担负荷，利用位置服务器定位存储信息。这不但提高了系统的可靠性、可用性和存取效率，还易于扩展，避免单点故障。

	分布式文件系统	一般文件系统
存储方式	数据分散的存储在多台服务器上	集中存放所有数据，在一台服务器上。
特点	分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。	传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。

使用分布式文件系统可以解决如下几点问题：

海量文件数据存储
文件数据高可用(冗余备份)
读写性能和负载均衡

以上三点都是传统文件系统无法达到的，这也是我们为什么要使用分布式文件系统的原因。

目前，可用于文件存储的网络服务选择有很多，其中常用的分布式文件系统有：DFS、FastDfs、MinIO、Ceph等。接下来我们就来详细介绍MinIO并通过MinIO搭建分布式存储系统。

三、MinIO简介

3.1 什么是MinIO？

MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储。它与 Amazon S3 云存储服务 API 兼容。使用 MinIO 为机器学习、分析和应用程序数据工作负载构建高性能基础架构。

官方文档：https//docs.min.io/

中文文档：http://docs.minio.org.cn/docs/

GitHub 地址：https://github.com/minio/minio

3.2 MinIO的特点

数据保护——分布式 MinIO采用纠删码来防范多个节点宕机和位衰减 bit rot。分布式 MinIO至少需要 4 个硬盘，使用分布式 MinIO自动引入了纠删码功能。
高可用——单机MinIO服务存在单点故障风险，相反，如果是一个有 N 块硬盘的分布式 MinIO,只要有 N/2 硬盘在线，你的数据就是安全的。不过你需要至少有 N/2+1 个硬盘来创建新的对象。
一致性——MinIO在分布式和单机模式下，所有读写操作都严格遵守 read-after-write 一致性模型。

3.3 MinIO的优点

部署简单，一个二进制文件（minio）即是一切，还可以支持各种平台；
支持海量存储，可以按 zone 扩展，支持单个对象大 5TB；
低冗余且磁盘损坏高容忍，标准且高的数据冗余系数为 2(即存储一个 1M 的数据对象，实际占用磁盘空间为 2M)。但在任意 n/2 块 disk 损坏的情况下依然可以读出数据(n 为一个纠删码集合中的 disk 数量)。并且这种损坏恢复是基于单个对象的，而不是基于整个存储卷的；
读写性能优异，MinIO号称是目前速度快的对象存储服务器。在标准硬件上，对象存储的读/写速度高可以高达183 GB/s和171 GB/s。

3.4 MinIO 基础概念

S3——Simple Storage Service，简单存储服务，这个概念是 Amazon 在 2006 年推出的，对象存储就是从那个时候诞生的。S3 提供了一个简单 Web 服务接口，可用于随时在 Web 上的任何位置存储和检索任何数量的数据；
Object——存储到 MinIO 的基本对象，如文件、字节流等各种类型的数据；Bucket——用来存储 Object 的逻辑空间。每个 Bucket 之间的数据是相互隔离的；
Drive——部署 MinIO设置的磁盘，MinIO 中所有的对象数据都会存储在 Drive 里；
Set——一组 Drive 的集合，分布式部署根据集群规模自动划分一个或多个 Set ，每个 Set 中的 Drive 分布在不同位置。

一个对象存储在一个 Set 上
一个集群划分为多个 Set
一个 Set 包含的 Drive 数量是固定的，默认由系统根据集群规模自动计算得出
一个 SET 中的 Drive 尽可能分布在不同的节点上

Set /Drive 的关系

Set /Drive 这两个概念是 MinIO 里面重要的两个概念，一个对象终是存储在 Set 上面的。
Set 是另外一个概念，Set 是一组 Drive 的集合，图中，所有蓝色、橙色背景的 Drive（硬盘）的就组成了一个 Set。

3.5 什么是纠删码（Erasure Code）？

前面我们介绍MinIO的时候提到过：Minio 采用纠删码来防范多个节点宕机或是故障，保证数据安全。那究竟什么是纠删码呢？

纠删码（Erasure Code）简称 EC，它是一种恢复丢失和损坏数据的算法，也是一种编码技术。通过将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置，比如磁盘、存储节点或者其它地理位置，实现数据的备份与安全。

其实，简单来说就是：纠删码可通过将 n 份原始数据，增加 m 份校验数据，并能通过 n+m 份中的任意 n 份原始数据，还原为原始数据。即如果有任意小于等于 m 份的校验数据失效，仍然能通过剩下的数据还原出来。

目前，纠删码技术在分布式存储系统中的应用主要有三类：阵列纠删码（Array Code: RAID5、RAID6 等）、RS(Reed-Solomon)里德-所罗门类纠删码和LDPC(LowDensity Parity Check Code)低密度奇偶校验纠删码。

Minio 采用 Reed-Solomon code 将对象拆分成 N/2 数据和 N/2 奇偶校验块。在同一集群内，MinIO 自己会自动生成若干纠删组（Set），用于分布存放桶数据。一个纠删组中的一定数量的磁盘发生的故障（故障磁盘的数量小于等于校验盘的数量），通过纠删码校验算法可以恢复出正确的数据。

四、MinIO安装部署

4.1MinIO部署方式

MinIO支持多种部署方式：单主机单硬盘模式、单主机多硬盘模式、多主机多硬盘模式（也就是分布式）。下面介绍下这三种方式。

4.1.1 单主机，单硬盘模式

如上图所示，此模式下MinIO 只在一台服务器上搭建服务，且数据都存在单块磁盘上，该模式存在单点风险，主要用作开发、测试等使用

4.1.2 单主机，多硬盘模式

如上图所示，该模式下MinIO 在一台服务器上搭建服务，但数据分散在多块（大于 4 块）磁盘上，提供了数据上的安全保障。

4.1.3 多主机、多硬盘模式（分布式）

如上图所示，此模式是 MinIO 服务常用的架构，通过共享一个 access_key 和 secret_key,在多台服务器上搭建服务，且数据分散在多块（大于 4 块，无上限）磁盘上，提供了较为强大的数据冗余机制（Reed-Solomon 纠删码）。

4.2MinIO 分布式部署

4.2.1 环境准备

由于是MinIO分布式部署，准备了2台Linux虚拟机，Centos 7.5的操作系统。同时每台服务器额外增加了2个磁盘。Nginx则是用于集群的负载均衡，也可以使用etcd。

节点	IP	磁盘
minio node1	192.168.78.101	/mnt/disk1,/mnt/disk2
minio node2	192.168.78.102	/mnt/disk1,/mnt/disk2
nginx	192.168.78.101	/usr/local/nginx

【温馨提示】磁盘大小必须>1G，这里我添加的是 4*1G 的盘。

MinIO官网下载地址：https://min.io/download#/linux

4.2.2 搭建MinIO集群

1）创建安装目录

首先，在每台服务器上创建minio的目录。

mkdir -p /home/minio/{run,conf} && mkdir -p /etc/minio

2）下载MinIO

接下来进入到我们刚刚创建的minio目录，下载MinIO程序，具体命令如下所示：

cd /home/minio/runwget https://dl.min.io/server/minio/release/linux-amd64/miniochmod +x minio

minio的程序很简单，下载后就一个可执行文件。两台服务器都要执行如下操作，当然也可以一台服务器上面执行，然后拷贝到另一台服务器。

3）配置服务启动脚本

Minio 默认9000端口，在配置文件中加入–address “127.0.0.1:9029” 可更改端口。同时还有一些启动参数如下所示：

MINIO_ACCESS_KEY：用户名，长度小是 5 个字符；
MINIO_SECRET_KEY：密码，密码不能设置过于简单，不然 minio 会启动失败，长度小是 8 个字符；
–config-dir：指定集群配置文件目录；
–address：api 的端口，默认是9000
--console-address ：web 后台端口，默认随机；

编写启动脚本（/home/minio/run/minio-run.sh）

#!/bin/bashexport MINIO_ACCESS_KEY=adminexport MINIO_SECRET_KEY=12345678/home/minio/run/minio server --config-dir /home/minio/conf \--address "192.168.78.102:9000" --console-address ":50000" \http://192.168.78.102/mnt/disk1 http://192.168.78.102/mnt/disk2 \http://192.168.78.101/mnt/disk1 http://192.168.78.101/mnt/disk2 \

如上示例代码所示，我们的minio服务绑定主机192.168.1.102和端口9000，后台端口50000，配置MinIO服务的登录账号密码为：admin\12345678。此启动脚本同样需要复制到另外一台服务器。

【温馨提示】脚本复制时 \ 后不要有空格，还有就是上面的目录是对应的一块磁盘，而非简单的在/mnt 目录下创建四个目录，要不然会报如下错误，看提示以为是 root 权限问题。part of root disk, will not be used (*errors.errorString)

4）启动Minio集群

MinIO配置完成后，在两台测试服务器上都执行该脚本，即以分布式的方式启动MINIO服务。sh /home/minio/run/minio-run.sh

集群启动成功后，接下来分别访问节点上的MinIO后台管理页面，两个节点都可以访问http://192.168.78.101:50000/，http://192.168.78.102:50000/ 。账号密码：admin/12345678

以上，说明MinIO集群启动成功。

4.2.3 使用 nginx 负载均衡

上面我们部署好了MinIO集群，我们知道每个集群上的节点都可以单独访问，虽然每个节点的数据都是一致的，但这样显然不合理。接下来我们通过使用 nginx 进行负载均衡。具体的的配置如下：

upstream minio_server {    server 192.168.78.101:9000;    server 192.168.78.102:9000;}upstream minio_console {    server 192.168.78.101:50000;    server 192.168.78.102:50000;}server{    listen       9001;    server_name  192.168.78.101;    ignore_invalid_headers off;    client_max_body_size 0;    proxy_buffering off;    location / {        proxy_set_header   X-Forwarded-Proto $scheme;        proxy_set_header   Host              $http_host;        proxy_set_header   X-Real-IP         $remote_addr;        proxy_connect_timeout 300;        proxy_http_version 1.1;        chunked_transfer_encoding off;        proxy_ignore_client_abort on;        proxy_pass http://minio_server;    }}server{    listen       50001;    server_name  192.168.78.101;    ignore_invalid_headers off;    client_max_body_size 0;    proxy_buffering off;    location / {        proxy_set_header   X-Forwarded-Proto $scheme;        proxy_set_header   Host              $http_host;        proxy_set_header   X-Real-IP         $remote_addr;        proxy_connect_timeout 300;        proxy_http_version 1.1;        chunked_transfer_encoding off;        proxy_ignore_client_abort on;        proxy_pass http://minio_console;    }}