绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
使用mc往/从AWS Snowball迁移数据
2022-04-25 17:52:24

随着数据的增长,与移动数据相关的挑战也随之增加。确实,将PB数据从AWS迁移出来所需的带宽成本要比将数据保留在那里多年还要多。尽管如此,客户仍然经常需要以一定的频率转移大量数据(从TB到PB)。

亚马逊知道这一点,并以其高度关注客户的方式在亚马逊中提出了一个聪明的解决方案SnowballSnowball价格合理,并且可以移动大量数据。在他们的“常见问题”页面中,此便捷表格提供了一些上下文。在这些速度下,FedEx和UPS是更好的选择。

但是,有一个问题值得注意,那就是Amazon的CLI(用于提取数据)非常有限。将数据移出Snowball之前,需要一个等效容量的暂存区域,然后才能将其移至另一个对象存储系统。暂存区域必须是NAS或文件系统。

为了促进将数据从AWS的Snowball直接移到另一个与S3兼容的对象存储中,我们使用了流行的MinIO Client(MC)工具。

Snowball支持S3,但我们注意到它仅比较受限制。

通过增强mc以将Snowball识别为S3兼容对象存储服务器,可以获得所有mc命令来管理Snowball上的数据。通过添加我们的网关(如Azure,HDFS,NAS,GCS,阿里巴巴),用户甚至可以将数据从Snowball迁移到不兼容的S3对象存储,或从不兼容的S3对象存储迁移。

随意镜像,迁移和移动。

新版本提供了此增强功能,对于数据/开发人员/基础架构专业人员而言,将大量数据移入和移出AWS确实非常简单。

下载新的MC:

wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc
./mc --help

虽然这肯定会加快那些希望将其部分或全部数据返还的人们的工作,但如果客户需要的话,它也将使将数据轻松存储 AWS S3 变得更加容易

以下是为AWS Snowball 配置mc的说明如前所述,Amazon Snowball实现了受限制的S3 API

新版本的mc将自动检测到Snowball并相应地运行。

在开始之前,用户必须按此处所述获取AWS Snowball凭证

有两种移动数据的方法,安全的和不安全的。虽然我们建议使用安全方法,但我们在此处详细介绍了两者。

安全(推荐)

在将mc配置为使用HTTPs终结点之前,请确保获取Snowball Edge证书

获得证书后,其外观应类似于以下证书:

    ~ mkdir -p ${HOME}/.mc/certs/CAs
    ~ snowballEdge get-certificate --certificate-arn arn:aws:snowball-device:::certificate/78EXAMPLE516EXAMPLEf538EXAMPLEa7 > ${HOME}/.mc/certs/CAs/snowball.pem



    保存证书。下一步是使用获得的凭据创建别名,如下所示:

      ~ mc config host add mysnowball https://<YOUR-SNOWBALL-IP>:8443 YOUR-SNOWBALL-ACCESS-KEY YOUR-SNOWBALL-SECRET-KEY

      不安全的

      Snowball还暴露了一个不安全的端点,没有证书。

        ~ mc config host add mysnowball https://<YOUR-SNOWBALL-IP>:8443 YOUR-SNOWBALL-ACCESS-KEY YOUR-SNOWBALL-SECRET-KEY

        完成后,我们现在将注意力转向MinIO端点。

        开始镜像

        假设您已将MinIO服务器配置为“ myminio”,请启动镜像以将Amazon Snowball上的所有存储桶和所有对象复制到MinIO。

        ~ mc mirror mysnowball/ myminio/

        瞧!

        现在,从mc的角度来看,您的Snowball是的对象存储服务器

        来源 https://www.modb.pro/db/380487

        分享好友

        分享这个小栈给你的朋友们,一起进步吧。

        Snowball
        创建时间:2022-04-25 17:51:30
        Snowball
        展开
        订阅须知

        • 所有用户可根据关注领域订阅专区或所有专区

        • 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

        • 专区发布评论属默认订阅所评论专区(除付费小栈外)

        技术专家

        查看更多
        • itt0918
          专家
        戳我,来吐槽~