数据备份

数据备份

云数据库 RDS_云数据库 RDS FOR MARIADB-备份原理:备份方案

备份方案 表1提供了常见的数据备份和下载备份文件的方法。 表1 备份方案 任务类型 备份类型 使用场景 数据备份 自动备份 RDS会在数据库实例的备份时段中创建数据库实例的自动备份,自动备份为全量备份。系统根据您指定的备份保留期保存数据库实例的自动备份。如果需要,您可以将数据恢复到备份保留期中的任意时间点。 开启自动备份策略后,会自动触发一次全量备份,备份方式为物理备份。之后会按照策略中的备份时间段和备份周期进行全量备份。自动备份策略开启后,实例每五分钟会自动进行一次增量备份,以保证数据库可靠性。 手动备份 手动备份是由用户启动的数据库实例的全量备份,备份方式为物理备份。手动备份会一直保存,不会随着RDS实例的删除而释放,直到用户手动删除。 增量备份 增量备份即Binlog备份,RDS for MariaDB默认自动开启。 在进行全量备份的同时系统每五分钟会自动生成增量备份,用户不需要设置。生成的增量备份可以用来将数据恢复到指定时间点。 下载备份文件 下载全量备份文件 包含使用OBS Browser+下载、直接浏览器下载、按地址下载三种方式。 下载增量备份文件 支持下载单个Binlog文件,或者合并下载Binlog文件。 合并下载Binlog文件包含使用OBS Browser+下载、直接浏览器下载、按地址下载三种方式。

云数据库 RDS_云数据库 RDS FOR MARIADB

数据备份

云数据库 RDS_云数据库 RDS FOR MARIADB-备份原理:备份机制

备份机制 RDS for MariaDB默认开启自动备份,且不支持关闭。RDS for MariaDB自动全备按照备份策略中的备份时间段和备份周期进行全量备份。Binlog备份为实例每5分钟或一定数据量时对上一次自动全备,或Binlog备份后更新的数据会进行备份,以保证数据库可靠性。实例恢复到指定时间点,会从OBS备份空间中选择一个该时间点最近的全量备份下载到实例上进行全量恢复,再重放Binlog备份到指定时间点。 图1 备份原理

云数据库 RDS_云数据库 RDS FOR MARIADB

数据备份

云数据库 RDS_云数据库 RDS FOR MARIADB-备份原理:备份清理

备份清理 备份文件清理分为两种场景:手动备份清理和自动备份清理。 手动备份是由用户触发产生的全量备份,需要用户手动删除,否则会一直保存。 自动备份的备份文件不支持手动删除,可通过设置同区域备份策略调整备份保留天数,超出备份保留天数的已有备份文件会被自动删除。 Binlog本地日志清理: 清理Binlog日志时,即使设置保留时长为0,RDS也会保证主节点的Binlog同步到备节点、只读节点全部完成,并且备份到OBS成功以后才会执行清理。 如果选择的保留时长大于0,例如设置1天,那么在Binlog同步及备份成功后,本地Binlog日志将会继续保留1天,到期后自动删除。

云数据库 RDS_云数据库 RDS FOR MARIADB

数据备份

云数据库 RDS_云数据库 RDS FOR MARIADB-备份原理:备份触发过程

备份触发过程 单机实例 采用单个数据库节点部署架构。与主流的主备实例相比,它只包含一个节点,但具有高性价比。备份触发后,从主库备份数据并以压缩包的形式存储在 对象存储服务 上,不会占用实例的磁盘空间。 主备实例 采用一主一备的经典高可用架构,主备实例的每个节点的规格保持一致。备份触发后,从备库备份数据并以压缩包的形式存储在对象存储服务上(当主备复制延迟较高时会切换到主机备份),不会占用实例的磁盘空间。 当数据库或表被恶意或误删除,虽然RDS支持主备高可用,但备机数据库会被同步删除且无法还原。因此,数据被删除后只能依赖于实例的备份保障数据安全。

云数据库 RDS_云数据库 RDS FOR MARIADB

数据备份

云数据库 RDS_云数据库 RDS FOR MARIADB-备份类型:按照执行方式:分为自动备份和手动备份。

按照执行方式:分为自动备份和手动备份。 表2 自动备份和手动备份对比 备份类型 自动备份 手动备份 描述 您可以在管理控制台设置自动备份策略,系统将按照自动备份策略中设置的备份时间段和备份周期进行自动备份,并且会按照设置的备份保留天数对备份文件进行存储。 自动备份的备份文件不支持手动删除,可通过修改自动备份策略来调整备份保留天数,超出备份保留天数的已有备份文件(包括全量备份和增量备份)会被自动删除。 手动备份是由用户触发产生的全量备份,会一直保存,直到用户手动删除。 建议您定期对数据库进行备份,当数据库故障或数据损坏时,可以通过备份恢复数据库,从而保证数据可靠性。 是否默认开启 是 是 保留时长 根据设置的备份保留天数保存自动备份。 备份保留天数的设置范围为:1~732天 一直保存,直到手动删除。 设置方法 设置同区域备份策略 创建手动备份

云数据库 RDS_云数据库 RDS FOR MARIADB

数据备份

云数据库 RDS_云数据库 RDS FOR MARIADB-备份类型:按照数据量:分为全量备份和增量备份。

按照数据量:分为全量备份和增量备份。 表1 全量备份和增量备份对比 备份类型 全量备份 增量备份 描述 全量备份是备份数据库所有数据。 增量备份是备份某个时间段内变化的数据。 是否默认开启 是 是 保留时长 自动备份为设置的保留天数。减少保留天数,会针对已有的备份文件生效。 手动备份会一直保存,不会随着RDS实例的删除而释放,直到用户手动删除。 增量备份随自动全量备份一起删除。 特点 对当前状态下的数据库实例中的所有数据进行一次完整的备份。 用户可在任意时刻使用全量备份恢复创建备份时的完整数据。 包含自动备份和手动备份。 系统自动每5分钟或一定数据量时会对上一次自动备份或增量备份后更新的数据进行备份。 全部为自动备份。 利用增量备份恢复数据时会依赖最近一次的全量备份,如图1所示,因此自动删除时仍然会保留最近的一次超出保留天数的全量备份,保证在保留天数内的数据可正常恢复。 图1 增量数据恢复 查看备份大小 单击实例名称,在“备份恢复”的“全量备份”页签查看备份大小。 单击实例名称,在“备份恢复”的“Binlog备份”页签查看备份大小。

云数据库 RDS_云数据库 RDS FOR MARIADB

数据备份

分布式缓存服务 DCS-Memcached如何迁移?

Memcached如何迁移? 由于Memcached本身没有命令可遍历查询所有数据,因此无法从正在使用的Memcached中直接导出数据,并迁移到云缓存Memcached实例。 建议通过应用程序写日志的方式记录缓存key、同时提取key-value,写入云缓存Memcached,以逐步完成数据的迁移。 部分开源工具能够利用Memcached的stats cachedump命令结合get操作查询出Memcached中的部分key-value,但由于stats cachedump命令限制最多只能查出不超过2MB的key(查询出的key总大小不超过2MB,且该限制包含每个key 20余字节的辅助信息),因此也不能通过此类工具或类似方法执行数据迁移。 父主题: 数据备份/导出/迁移

分布式缓存服务 DCS

数据备份/导出/迁移

分布式缓存服务 DCS-迁移故障处理:同步数据失败

同步数据失败 同步数据失败的处理建议: 错误信息包含“key name is busy”,目标Redis对应的key已经存在,删除目标Redis报错的key。 错误信息包含“not in the same slot“,建议进行业务改造,不要在多key命令里面用跨slot的key;也可以把目标Redis用主备实例代替proxy集群实例。 错误信息中包含“read: connection reset by peer”,源Redis为主备,且迁移过程中,频繁发生主备倒换,请分析源Redis是否存在大Key,如果源Redis存在大key,建议将大key打散成多个小key后再迁移;也可强行关闭主备倒换,等数据迁移完毕后再开启主备倒换,命令:config set slave-priority 0。如果目标Redis为proxy集群,请排查pipeline阈值大小,建议调整proxy节点pipeline阈值为5W,命令: proxy.config set client-max-pipeline 50000。

分布式缓存服务 DCS

数据备份/导出/迁移

分布式缓存服务 DCS-迁移故障处理:同步数据失败,源节点:{0},目标节点:{1}

同步数据失败,源节点:{0},目标节点:{1} 同步数据失败的处理建议: 分析源Redis是否存在大Key,如果源Redis存在大key,建议将大key打散成多个小key后再迁移。 确保目标Redis规格不小于源Redis。查看规格步骤参见查看实例信息; 参见Redis连接失败问题排查和解决。 排查源Redis规格和迁移机内存大小,迁移机的内存小,源redis数据量过大,迁移速度过慢使数据堆积在迁移机上时,也会导致该类问题,此情况建议扩容迁移机规格。

分布式缓存服务 DCS

数据备份/导出/迁移

分布式缓存服务 DCS-迁移故障处理:未知或未支持的命令

未知或未支持的命令 未知或未支持的命令的处理建议: 检查源Redis有没有放通相关命令,如SYNC和PSYNC,需要联系客服放通命令。 在线迁移,必须满足源Redis和目标Redis的网络相通、源Redis已放通SYNC和PSYNC命令这两个前提,否则,会迁移失败。 网络 检查源Redis、目标Redis、迁移任务所需虚拟机是否在同一个VPC,如果是同一个VPC,则检查安全组(Redis 3.0实例)或白名单(Redis 4.0/5.0实例)是否放通端口和IP,确保网络是连通的;如果不在同一个VPC,则需要建立VPC对等连接,打通网络。 源Redis和目标Redis必须允许迁移任务底层虚拟机访问。实例安全组或白名单配置,请参考配置安全组、配置白名单。 源Redis和目标Redis属于不同的云厂商,请参考云专线打通网络。 命令 默认情况下,一般云厂商都是禁用了SYNC和PSYNC命令,如果要放通,需要联系云厂商运维人员放通命令。 华为云内部进行迁移: 自建Redis迁移至D CS ,默认没有禁用SYNC和PSYNC命令; 华为云DCS服务之间进行迁移,如果是同一账号相同Region进行在线迁移,在执行迁移时,会自动放通SYNC和PSYNC命令; 如果是不同Region或相同Region不同账号进行在线迁移,不会自动放通SYNC和PSYNC命令,无法使用在线迁移。推荐使用备份文件导入方式迁移。 其他云厂商迁移到华为云: 一般云厂商都是禁用了SYNC和PSYNC命令,如果使用在线迁移功能,需要联系源端的云厂商运维人员放通此命令,离线迁移,推荐使用备份文件导入方式。

分布式缓存服务 DCS

数据备份/导出/迁移

分布式缓存服务 DCS-迁移故障处理:重新启动数据同步失败

重新启动数据同步失败 重新启动数据同步失败的处理建议: 分析源Redis是否存在大Key,如果源Redis存在大key,建议将大key打散成多个小key后再迁移。 检查目标Redis的规格是否小于迁移数据大小、是否有其他任务在执行。 如果目标Redis的实例规格小于迁移数据大小,迁移过程中,内存被占满,会导致迁移失败。 如果目标Redis存在正在执行的主备倒换,建议联系客服停止主备倒换后,重新执行数据迁移。待迁移完成后,重新开启主备倒换。 提供错误信息,联系客服。

分布式缓存服务 DCS

数据备份/导出/迁移

分布式缓存服务 DCS-迁移故障处理:执行命令异常

执行命令异常 执行命令异常的处理建议: 错误信息中包含“listening-port”和“REPLCONF”相关,请检查源Redis是否放通SYNC和PSYNC命令,迁移任务底层资源与源Redis、目标Redis网络是否连通。 在线迁移,必须满足源Redis和目标Redis的网络相通、源Redis已放通SYNC和PSYNC命令这两个前提,否则,会迁移失败。 网络 检查源Redis、目标Redis、迁移任务所需虚拟机是否在同一个VPC,如果是同一个VPC,则检查安全组(Redis 3.0实例)或白名单(Redis 4.0/5.0实例)是否放通端口和IP,确保网络是连通的;如果不在同一个VPC,则需要建立VPC对等连接,打通网络。 源Redis和目标Redis必须允许迁移任务底层虚拟机访问。实例安全组或白名单配置,请参考配置安全组、配置白名单。 源Redis和目标Redis属于不同的云厂商,请参考云专线打通网络。 命令 默认情况下,一般云厂商都是禁用了SYNC和PSYNC命令,如果要放通,需要联系云厂商运维人员放通命令。 华为云内部进行迁移: 自建Redis迁移至DCS,默认没有禁用SYNC和PSYNC命令; 华为云DCS服务之间进行迁移,如果是同一账号相同Region进行在线迁移,在执行迁移时,会自动放通SYNC和PSYNC命令; 如果是不同Region或相同Region不同账号进行在线迁移,不会自动放通SYNC和PSYNC命令,无法使用在线迁移。推荐使用备份文件导入方式迁移。 其他云厂商迁移到华为云: 一般云厂商都是禁用了SYNC和PSYNC命令,如果使用在线迁移功能,需要联系源端的云厂商运维人员放通此命令,离线迁移,推荐使用备份文件导入方式。 错误信息包含“read error”,且为全量迁移过程中失败,数据量过大的情况下,建议开始迁移时不要选择“自动重连”模式,等到进入“增量迁移”后,再选择“自动重连”模式,且调大repl-timeout的时间值;同时建议调整源端output buffer参数,buffer参数的大小需要根据源端内存大小来定,比如源端24G的内存大小,可以调整为2G的buffer,命令: client-output-buffer-limit slave 2gb 2gb 600 。 错误信息中包含“write: connection reset by peer”,可能原因目标Redis内存规格太小导致内存写满,无法同步数据,建议扩大目标Redis实例规格,至少与源端实例规格持平。 错误信息中包含“read: connection reset by peer”,源Redis为主备,且迁移过程中,频繁发生主备倒换,请分析源Redis是否存在大Key,如果源Redis存在大key,建议将大key打散成多个小key后再迁移。也可强行关闭主备倒换,等数据迁移完毕后再开启主备倒换,命令:config set slave-priority 0。如果目标Redis为proxy集群,请排查pipeline阈值大小,建议调整proxy节点pipeline阈值为5W,命令: proxy.config set client-max-pipeline 50000。 提供错误信息,联系客服。

分布式缓存服务 DCS

数据备份/导出/迁移

云数据库 GEMINIDB-备份概述:备份原理

备份原理 GeminiDB Mongo目前仅支持副本集实例,其备份原理如下。 GeminiDB Mongo副本集实例由主节点和备节点组成。如图1所示,GeminiDB Mongo副本集实例的备份是在节点ID字典序最小的备节点上进行的。备份过程中会占用备份节点一定的CPU内存资源,因此会存在CPU使用率、内存使用率指标上涨的情况,属于正常现象。但最终的备份文件将以压缩包的形式存储在对象存储服务(OBS)中,不会占用实例的磁盘空间。 图1 备份原理图

云数据库 GEMINIDB

数据备份

云数据库 GEMINIDB-备份概述:备份存储

备份存储 GeminiDB Mongo的备份数据存储至对象存储服务(Object Storage Service,简称OBS),在提高数据容灾能力的同时有效降低磁盘空间占用。 购买实例存储空间后,GeminiDB Mongo将同比例赠送备份存储空间,用于存储备份数据。例如,您购买的实例存储空间为100GB时,会得到赠送的100GB备份存储空间。当备份数据没有超出100GB,将免费存储在OBS上;当备份数据超出100GB,超出部分将根据OBS的计费规则收费,详情请参见OBS计费详情。

云数据库 GEMINIDB

数据备份

云数据库 GEMINIDB-备份概述:备份方案

备份方案 GeminiDB Mongo实例支持自动备份和手动备份两种方案。 自动备份 您可以在管理控制台设置自动备份策略,系统将会按照自动备份策略中设置的备份时间段和备份周期进行自动备份,并且会按照设置的备份保留天数对备份文件进行存放。 自动备份的备份文件不支持手动删除,可通过修改自动备份策略调整备份保留天数,超出备份保留天数的已有备份文件会被自动删除。 手动备份 手动备份是由用户根据自身业务特点随时启动的数据库实例的全量备份,会一直保存,直到用户手动删除。 建议您定期对数据库进行备份,当数据库故障或数据损坏时,可以通过备份恢复数据库,从而保证数据可靠性。 表1 备份方案 备份方案 使用场景 自动备份 系统按照自动备份策略,对数据库进行自动备份,您可以根据业务需求修改自动备份策略。 手动备份 根据自身业务特点手动启动数据库实例的全量备份。

云数据库 GEMINIDB

数据备份

更多精彩内容

X实例

裸金属服务器

云手机

云服务器

云容器引擎

云容器实例

数据备份

搜索反馈

您找到想要的内容了吗?

是的

没有

意见反馈

0/200

提交

取消

提交成功!非常感谢您的反馈,我们会继续努力做到更好

反馈提交失败!请稍后重试!

为您推荐

L实例

什么是云手机

PDF文字识别OCR

VPS服务器

OBS是什么意思

上一篇: 日期赛程
下一篇: 交往多久適合同居?過來人「1理由」勸 :不要太快

相关文章

魔兽世界黑曜石圣殿多少级能进
正确吸雪茄的方法(剪切、点燃、吸食、灭火)
抖音怎么知道谁看过我?抖音被收藏怎么知道是谁?2023-11-16 11:52:524984浏览
机器人概念:五洲新春(603667)2024年经营业绩深度解读
流浪猫在野外如何生存
红豆馅「林育玮·原麦不藏私」