存储COS之间的数据该怎么进行迁移

73次阅读
没有评论

共计 2284 个字符,预计需要花费 6 分钟才能阅读完成。

存储 COS 之间的数据该怎么进行迁移,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

下面介绍腾讯云 COS 间迁移,应如何配置全托管公网迁移任务,实现数据迁移。

准备工作

一、腾讯云对象存储

1. 创建目标存储空间,用于存放迁移的数据。

2. 创建用于迁移的子用户并授予相关权限:

登录腾讯云访问管理控制台。

在左导航栏中选择【用户】【用户列表】,进入用户列表页面。

新建子用户,勾选编程访问及腾讯云控制台访问。

搜索并勾选 QcloudCOSAccessForMSPRole 及 QcloudCOSFullAccess 策略。

完成子用户创建并保存子用户名,访问登录密码,SecretId,SecretKey。

说明:  迁移服务也可以使用主账号操作,但是出于安全考虑,建议新建子用户并使用子用户 API 密钥进行迁移,迁移完成后删除。

操作步骤

一、登录迁移服务平台

1. 登录控制台找到迁移服务平台  ,在左导航栏中单击进入【迁移工具】页面。

2. 找到【文件迁移工具】模块,单击【立即使用】,进入文件迁移工具配置页面。

二、新建迁移任务

1. 在文件迁移工具页面,单击【新建任务】,进入新建文件迁移任务界面,进行迁移参数的设置。

2. 设置迁移任务名称。

任务名称:字符长度为 1 至 60 个字符,允许的字符为中文、英文、0-9、_、-。此处设置的名称,将用于在任务列表中查看迁移状态和迁移进度。

3. 设置要迁移的文件来源。
此处迁移源服务提供商应选择腾讯云 COS,并在下方 AccessKey,SecretKey 文本框中输入先前新建用于迁移的腾讯云子用户 SecretId,SecretKey。源对象存储桶列表可在填入密钥后单击下拉框右侧刷新按钮获取。
 

4. 选择文件存储方式。
根据迁移的需求,设定迁移后文件的存储方式,可以选择:标准存储、低频存储、保持原存储属性、归档存储。
 

5. 选择 Header 设置。
如果源桶中的文件设定了 Header/Tag 并且需要在迁移后保留,请选择保留或设置替换规则。
 

6. 设定迁移规则。
选择对指定桶中的全部文件进行迁移,或仅迁移指定前缀的文件。

7. 指定迁移任务的开始时间。
如需在指定时间开始迁移,开启此开关并设定开始时间。

8. 设定最高并发数。
各公有云厂商的对象存储都有最高并发限制。为确保业务稳定,请在迁移前与源厂商确认并设置最高迁移可用 QPS。
 

9. 选择要迁移到的目标位置。
在迁移目标信息中,输入用于迁移的腾讯云子用户 SecretId,SecretKey。目标对象存储桶列表可在填入密钥后单击下拉框右侧刷新按钮获取。
 

10. 指定迁移到目标桶的指定目录。

例如:
源桶中的文件 /a.txt,/dir/b.txt 两个文件,文本框中填写“dest”,那么迁移后这两个文件在目标桶中的路径为:/dest/a.txt,/dest/dir/b.txt。
如果文本框中填写 dest/20180901,那么迁移后这两个文件在目标桶中的路径为:/dest/20180901/a.txt,/dest/20180901/dir/b.txt。

注意:若迁移源与目标源有内容不同,名称相同的文件,建议在【同名文件】配置处选择【跳过(保留目标桶中已有的同名文件)】,系统默认选择【覆盖(源桶中的文件会覆盖目标桶中的同名文件)】。若在迁移过程中文件内容有变化,需要进行二次迁移。

若迁移源与目标源有内容不同,名称相同的文件,建议在【同名文件】配置处选择【跳过(保留目标桶中已有的同名文件)】,系统默认选择【覆盖(源桶中的文件会覆盖目标桶中的同名文件)】。

若在迁移过程中文件内容有变化,需要进行二次迁移。

保存到根目录:直接将源桶中的文件按原始相对路径保存到目标桶的根目录。

保存到指定目录:将源桶中的文件保持原始相对路径保存到指定目录中。

11. 选择迁移模式。

新建迁移任务后立即启动全托管迁移:选择托管迁移,用户单击“新建并启动”后 MSP 服务将通过公网访问源存储进行迁移。

新建迁移任务后手动下载 Agent 启动迁移:选择 Agent 模式迁移,用户在单击“新建并启动”后,将仅创建任务配置,需要用户手动下载 Agent 在迁移源一侧的服务器上部署之后才会正式启动迁移。Agent 模式适用于已有专线希望通过专线迁移的场景。

12.  单击【新建并启动】,即可启动迁移任务。

三、迁移状态和进度

在文件迁移工具主界面中,可以查看所有文件迁移任务的状态和进度:

“任务完成”状态,绿色是任务完成并且所有文件都迁移成功,黄色是迁移任务完成但部分文件迁移失败。

单击“重试失败任务”链接后,该任务中失败的文件将会重试迁移,已经成功迁移的文件不会重传。

单击“导出”链接可以导出迁移过程中失败的文件列表。

四、迁移完成时间

迁移速度由迁移过程中涉及到的每一个环节的最低速度决定,同时受到网络传输速度和最大并发数影响。

影响因素有:

影响因素说明迁出源的读取速度数据源的读取速度因不同的服务商而不同,通常:

传输速度在 50Mbps – 200Mbps 之间。

文件读取并发在 500 – 3000 之间(大量小文件的传输受并发限制)。

MSP 平台的传输速度 MSP 平台提供最大 200Mbps 的迁移带宽。迁入目标位置的写入速度腾讯云对象存储 COS:写入传输速度 200Mbps,写入并发 500 – 800 之间。
整体迁移速度会是 6MByte – 25MByte(即 21GB/ 小时 – 87GB/ 小时)之间。

关于存储 COS 之间的数据该怎么进行迁移问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注丸趣 TV 行业资讯频道了解更多相关知识。

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-16发表,共计2284字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)