腾讯云 COS 间迁移如何进行?如何利用MSP进行内网迁移

操作场景

全托管公网迁移模式中,无需自主部署 Agent,任务创建之后自动化执行。腾讯云 COS 间迁移时 MSP 将通过内网拉取源对象存储桶数据并保存到目标对象存储桶,不会产生额外费用。

下文将详细介绍腾讯云 COS 间迁移,应如何配置全托管公网迁移任务,实现数据迁移。

准备工作

腾讯云对象存储 COS

  1. 创建目标存储空间,用于存放迁移的数据,详情请参见 创建存储桶
  2. 创建用于迁移的子用户并授予相关权限:
    1. 登录腾讯云 访问管理控制台
    2. 在左导航栏中选择用户 > 用户列表,进入用户列表页面。
    3. 新建子用户,勾选编程访问及腾讯云控制台访问。
    4. 搜索并勾选 QcloudCOSAccessForMSPRole 及 QcloudCOSFullAccess 策略。
    5. 完成子用户创建并保存子用户名,访问登录密码,SecretId,SecretKey。
说明:

迁移服务也可以使用主账号操作,但是出于安全考虑,建议新建子用户并使用子用户 API 密钥进行迁移,迁移完成后删除。

操作步骤

登录迁移服务平台

  1. 登录 迁移服务平台
  2. 在左导航栏中单击对象存储迁移,进入对象存储迁移页面。

新建迁移任务

  1. 在对象存储迁移页面,单击新建任务,进入对象存储迁移任务配置页面,进行迁移参数的设置。
  2. 设置迁移任务名称。
    图片[1]-腾讯云 COS 间迁移如何进行?如何利用MSP进行内网迁移-栗子博客
    任务名称:字符长度为1至60个字符,允许的字符为中文、英文、0-9、_、-。此处设置的名称,将用于在任务列表中查看迁移状态和迁移进度。
  3. 设置要迁移的文件来源。
    此处迁移源服务提供商应选择腾讯云 COS,并在下方 AccessKey,SecretKey 文本框中输入先前新建用于迁移的腾讯云子用户 SecretId,SecretKey。填入密钥后,单击下拉框右侧刷新按钮,即可获取源对象存储桶列表。
    图片[2]-腾讯云 COS 间迁移如何进行?如何利用MSP进行内网迁移-栗子博客
  4. 选择文件存储方式。
    根据迁移的需求,设定迁移后文件的存储方式,可以选择:标准存储、低频存储、保持原存储属性、归档存储。
    图片[3]-腾讯云 COS 间迁移如何进行?如何利用MSP进行内网迁移-栗子博客
  5. Header 设置。
    如果源桶中的文件设定了 Header/Tag 并且需要在迁移后保留,请选择保留或设置替换规则。
    图片[4]-腾讯云 COS 间迁移如何进行?如何利用MSP进行内网迁移-栗子博客
  6. 设定迁移规则。
    选择对指定桶中的全部文件进行迁移,或仅迁移指定前缀的文件。

    • 只迁移匹配前缀的文件: 部分迁移时请在文本框中指定迁移的文件路径前缀(每行指定一个前缀,最多10个)文件路径前缀无需包含桶名称,但需要完整路径,例如 home/aaaa
    • 只迁移匹配正则表达式的文件:使用正则表达式过滤时,请在文本框中填写过滤的正则表达式(每行一条正则表达式,最多10个)多条正则表达式之间式之间是”或”的关系,即源文件匹配任何一条正则表达式即视为符合迁移条件提示:正则过滤规则需要遍历源桶中的全部文件,如果源桶中文件数量较多会降低迁移速度。
      图片[5]-腾讯云 COS 间迁移如何进行?如何利用MSP进行内网迁移-栗子博客
  7. 设定时间范围。
    开启时间范围,只迁移指定时间范围内新增或变更的文件。
    图片[6]-腾讯云 COS 间迁移如何进行?如何利用MSP进行内网迁移-栗子博客
  8. 设定最高并发数。
    各公有云厂商的对象存储都有最高并发限制。为确保业务稳定,请在迁移前与源厂商确认并设置最高迁移可用 QPS。
    图片[7]-腾讯云 COS 间迁移如何进行?如何利用MSP进行内网迁移-栗子博客
  9. 选择要迁移到的目标位置。
    在迁移目标信息中,输入用于迁移的腾讯云子用户 SecretId,SecretKey。填入密钥后,单击下拉框右侧刷新按钮,即可获取目标对象存储桶列表。
    图片[8]-腾讯云 COS 间迁移如何进行?如何利用MSP进行内网迁移-栗子博客
  10. 指定迁移到目标桶的指定目录。
    • 保存到根目录: 直接将源桶中的文件按原始相对路径保存到目标桶的根目录。
    • 保存到指定目录:将源桶中的文件保持原始相对路径保存到指定目录中。
      图片[9]-腾讯云 COS 间迁移如何进行?如何利用MSP进行内网迁移-栗子博客
      例如:
      源桶中的文件/a.txt/dir/b.txt两个文件,文本框中填写“dest”,那么迁移后这两个文件在目标桶中的路径为:/dest/a.txt/dest/dir/b.txt
      如果文本框中填写dest/20180901,那么迁移后这两个文件在目标桶中的路径为:/dest/20180901/a.txt/dest/20180901/dir/b.txt

      注意:

       

      • 若迁移源与目标源有内容不同,名称相同的文件,建议在同名文件配置处选择跳过(保留目标桶中已有的同名文件),系统默认选择覆盖(源桶中的文件会覆盖目标桶中的同名文件)
      • 若在迁移过程中文件内容有变化,需要进行二次迁移。
  11. 选择迁移模式。
    • 新建迁移任务后立即启动全托管迁移:选择托管迁移,用户单击“新建并启动”后 MSP 服务将通过公网访问源存储进行迁移。
    • 新建迁移任务后手动下载 Agent 启动迁移:选择 Agent 模式迁移,用户在单击“新建并启动”后,将仅创建任务配置,需要用户手动下载 Agent 在迁移源一侧的服务器上部署之后才会正式启动迁移。Agent 模式适用于已有专线希望通过专线迁移的场景。
      图片[10]-腾讯云 COS 间迁移如何进行?如何利用MSP进行内网迁移-栗子博客
  12. 单击新建并启动,即可启动迁移任务。

查看迁移状态和进度

在文件迁移工具主界面中,可以查看所有文件迁移任务的状态和进度:

  • “任务完成”状态,绿色是任务完成并且所有文件都迁移成功,黄色是迁移任务完成但部分文件迁移失败。
  • 单击“重试失败任务”链接后,该任务中失败的文件将会重试迁移,已经成功迁移的文件不会重传。
  • 单击“导出”链接可以导出迁移过程中失败的文件列表。

预估文件迁移时间

迁移速度由迁移过程中涉及到的每一个环节的最低速度决定,同时受到网络传输速度和最大并发数影响。影响因素有:

影响因素 说明
迁出源的读取速度 数据源的读取速度因不同的服务商而不同,通常:

  • 传输速度在50Mbps – 200Mbps之间。
  • 文件读取并发在500 – 3000之间(大量小文件的传输受并发限制)。
MSP 平台的传输速度 MSP 平台提供最大200Mbps的迁移带宽。
迁入目标位置的写入速度 腾讯云对象存储 COS:写入传输速度200Mbps,写入并发500 – 800之间。
整体迁移速度会是6MByte – 25MByte(即21GB/小时 – 87GB/小时)之间。
© 版权声明
THE END
点赞0
抢沙发
头像
提交
头像

昵称

取消
昵称
一言一语