随着数据的增长,与移动数据相关的挑战也随之增加。确实,将PB数据从AWS迁移出来所需的带宽成本要比将数据保留在那里多年还要多。尽管如此,客户仍然经常需要以一定的频率转移大量数据(从TB到PB)。
亚马逊知道这一点,并以其高度关注客户的方式在亚马逊中提出了一个聪明的解决方案Snowball。Snowball价格合理,并且可以移动大量数据。在他们的“常见问题”页面中,此便捷表格提供了一些上下文。在这些速度下,FedEx和UPS是更好的选择。
但是,有一个问题值得注意,那就是Amazon的CLI(用于提取数据)非常有限。将数据移出Snowball之前,需要一个等效容量的暂存区域,然后才能将其移至另一个对象存储系统。暂存区域必须是NAS或文件系统。
为了促进将数据从AWS的Snowball直接移到另一个与S3兼容的对象存储中,我们使用了流行的MinIO Client(MC)工具。
Snowball支持S3,但我们注意到它仅比较受限制。
通过增强mc以将Snowball识别为S3兼容对象存储服务器,可以获得所有mc命令来管理Snowball上的数据。通过添加我们的网关(如Azure,HDFS,NAS,GCS,阿里巴巴),用户甚至可以将数据从Snowball迁移到不兼容的S3对象存储,或从不兼容的S3对象存储迁移。
随意镜像,迁移和移动。
新版本提供了此增强功能,对于数据/开发人员/基础架构专业人员而言,将大量数据移入和移出AWS确实非常简单。
下载新的MC:
wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc
./mc --help
虽然这肯定会加快那些希望将其部分或全部数据返还的人们的工作,但如果客户需要的话,它也将使将数据轻松存储到 AWS S3 上变得更加容易。
以下是为AWS Snowball 配置mc的说明。如前所述,Amazon Snowball实现了受限制的S3 API。
新版本的mc将自动检测到Snowball并相应地运行。
在开始之前,用户必须按此处所述获取AWS Snowball凭证。
有两种移动数据的方法,安全的和不安全的。虽然我们建议使用安全方法,但我们在此处详细介绍了两者。
安全(推荐)
在将mc配置为使用HTTPs终结点之前,请确保获取Snowball Edge证书。
获得证书后,其外观应类似于以下证书:
~ mkdir -p ${HOME}/.mc/certs/CAs
~ snowballEdge get-certificate --certificate-arn arn:aws:snowball-device:::certificate/78EXAMPLE516EXAMPLEf538EXAMPLEa7 > ${HOME}/.mc/certs/CAs/snowball.pem
保存证书。下一步是使用获得的凭据创建别名,如下所示:
~ mc config host add mysnowball https://<YOUR-SNOWBALL-IP>:8443 YOUR-SNOWBALL-ACCESS-KEY YOUR-SNOWBALL-SECRET-KEY
不安全的
Snowball还暴露了一个不安全的端点,没有证书。
~ mc config host add mysnowball https://<YOUR-SNOWBALL-IP>:8443 YOUR-SNOWBALL-ACCESS-KEY YOUR-SNOWBALL-SECRET-KEY
完成后,我们现在将注意力转向MinIO端点。
开始镜像
假设您已将MinIO服务器配置为“ myminio”,请启动镜像以将Amazon Snowball上的所有存储桶和所有对象复制到MinIO。
~ mc mirror mysnowball/ myminio/
瞧!
现在,从mc的角度来看,您的Snowball是的对象存储服务器。
来源 https://www.modb.pro/db/380487