查询子实例间的同步延迟
云数据库 Redis 版 全球多活功能具备高性能和低延迟的特性。在使用过程中，您可以随时查询子实例的同步状态、同步延迟和同步数量，掌握同步链路的实时情况。前提条件 Redis 全球多活实例中至少包含2个子实例。关于如何添加子实例，请参见 ...
查询子实例间的同步延迟
在使用过程中，您可以随时查询子实例的同步状态、同步延迟和同步数量，掌握同步链路的实时情况。前提条件 Tair 全球多活实例中至少包含2个子实例。关于如何添加子实例，请参见 为分布式实例添加子实例。操作步骤 登录 Tair管理控制台。在...
全球多活同步延迟测试
产品概述 Tair 全球多活 是阿里云自研的基于 云原生内存数据库Tair 的多活数据库系统。通过数据同步通道将多个子实例组网成1个逻辑上的分布式实例，所有子实例均可读写并保持实时数据同步，可轻松支持异地多个站点同时对外提供服务的业务...
RDS MySQL只读实例同步延迟原因与处理
问题描述 由于阿里云云数据库RDS只读实例采用MySQL原生的基于日志复制技术（异步复制或半异步复制），必然会有同步延迟。延迟会导致只读实例与主实例的数据出现不一致，从而导致业务出现问题。另外，延迟也有可能引起日志堆积，导致只读...
全球多活同步延迟测试
产品概述 Redis 全球多活 是阿里云基于云数据库Redis自研的多活数据库系统，可轻松支持异地多个站点同时对外提供服务的业务场景，助力企业快速复制阿里巴巴异地多活架构。更多信息，请参见 Redis全球多活简介。测试环境 本案例中，分布式...
为子实例设置同步延迟的监控报警
背景信息 云数据库 Redis 版 全球多活实例已接入云监控平台，云监控 是针对阿里云资源和互联网应用进行监控的服务，可以帮助您提升系统服务可用时长，降低企业IT运维监控成本。操作步骤 登录 云监控控制台。在左侧导航栏，选择 报警服务>...
为子实例设置同步延迟的监控报警
您可以对全球多活子实例设置同步延迟报警。当监控指标达到报警条件，云监控自动发送报警通知，告知您数据指标发生异常，帮助您及时定位、处理故障。背景信息 Tair 全球多活实例已接入云监控平台，云监控 是针对阿里云资源和互联网应用进行...
RDS MySQL只读实例同步延迟原因与处理
问题描述 由于阿里云云数据库RDS只读实例采用MySQL原生的基于日志复制技术（异步复制或半异步复制），必然会有同步延迟。延迟会导致只读实例与主实例的数据出现不一致，从而导致业务出现问题。另外，延迟也有可能引起日志堆积，导致只读...
使用MongoShake实现MongoDB实例间的延迟同步
use local#切换到local数据库 db.oplog.rs.find({"o.createTime":{$gte:new Date(2020,6,1),$lte:new Date(2020,6,2)}})#根据条件查看oplog。通过RESTful接口远程向MongoShake注入ExitPoint参数来实现在指定时间点终止MongoShake程序的目的...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
数据迁移和同步方案概览
云数据库MongoDB提供了多种数据迁移和同步方案，可满足不同业务场景下MongoDB数据库的数据迁移和同步需求。影响 如果实例的数据库小版本过期或不在维护列表内，当执行以下操作时，为保证提供更出色的性能和稳定性，系统会默认将您的数据库...
数据上云场景
数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置...
原理架构
系统架构 数据同步服务的逻辑架构图：全量同步：负责将表数据从源端数据库同步到目的端数据库，支持异构数据库间同步。增量同步：负责将源端的增量数据同步到目的端，主要包含 Store 和 JDBCWriter 两个组件。存储：采集源端 DB 的变更到...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
概述
您可以根据业务需求使用DataX、DTS或者canal工具将MySQL数据库中的数据同步迁移到表格存储（Tablestore）中。使用场景 数据架构变化 随着业务的变化，如果现有业务对数据库并发读写需求、扩展性和可用性需求较高，或需要复杂的检索，原有...
基础术语
中文 释义 数据抓取延迟 数据抓取延迟是指数据同步服务抓取数据并写入产品存储的时间与数据实际写入至源数据库的时间差。数据抓取延迟仅在增量同步阶段有数值。数据写入延迟 数据写入延迟是指同步到目标实例的最新数据在源数据库执行的时间...
什么是数据库网关
数据库网关DG（Database Gateway）是一种支持私网数据库远程访问的数据库连接服务。通过数据库网关，您可以安全且低成本地将第三方云或本地的数据库接入至阿里云。同时，数据库网关可以与其他阿里云产品（例如数据传输服务DTS，数据库备份...
实时同步数据库的数据至Hologres
常见的支持实时数据同步的数据库包括：Oracle、Polar DB、PolarDB MySQL等。说明 如需查看更多支持的数据库，请参见 支持的数据源及同步方案。相关原理：MySQL Reader、Oracle数据源、PolarDB Reader、SQL Server Reader、Hologres数据源。...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
配置跨库Spark SQL节点
name，trade_date,COUNT(*)cnt,SUM(amt)amt FROM mysql_db.sales t1 JOIN oracle_db.users t2 ON t1.emp_id=t2.id WHERE t1.trade_date=${bizdate} GROUP BY t2.dept_name 功能特性 跨库数据处理：支持使用SQL语句操作不同数据库中的数据，...
API概览
DescribeSynDbTables 查看同步数据库与表 查看同步数据库与表。DeleteSyndb 删除同步任务 删除同步db。DescribeTransferHistory 查看迁移记录 查看迁移记录。TransferVersion 迁移版本 迁移版本。CreateServiceLinkedRole 创建服务关联角色...
概览
AnalyticDB PostgreSQL版 提供多种数据迁移方案，可满足不同的数据同步或迁移的业务需求，您可以在不影响业务的情况下，平滑地与各种类型的数据库实例进行迁移或数据同步。迁移数据到AnalyticDB PostgreSQL版 迁移类型 文档 简介 是否支持...
MongoDB 3.4（已停止新购）
使用MongoDB工具将自建数据库迁移至副本集实例 使用MongoDB工具将自建数据库迁移至分片集群实例 使用NimoShake工具将Amazon DynamoDB数据库迁移至阿里云数据库MongoDB 使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用...
从RDS同步至自建Kafka集群
通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 的数据库同步至自建Kafka集群，扩展消息处理能力。前提条件 Kafka集群的版本为0.10.1.0~2.7.0版本。已创建 RDS MySQL实例 或 Serverless...
从PolarDB MySQL版同步到Kafka
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
ETL工具支持概览
在数据集成服务中，将 AnalyticDB PostgreSQL版 配置为一个PostgreSQL数据库，即可实现其他数据源（RDS、MaxCompute、TableStore等）到 AnalyticDB PostgreSQL版 的数据同步。您可以直接从其他数据源读取数据，写入到 AnalyticDB ...
从PolarDB MySQL版同步到Kafka
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
使用限制
2M/秒，超出后系统将自动限速，增量数据同步延迟 主辅表更新tps上限（包括DB更新和API写入）1500，超过tps则增量数据同步会延迟 每条文档大小上限 1M，超出后该记录同步失败，并提示The total size of documents exceed 增量处理时效性 90%...
用户权限说明
数据传输迁移数据库前，请确保所有数据源已创建一个数据库用户作为迁移用户或同步用户。该用户需要具备源端和目标端数据源对应的权限。OceanBase 数据库 MySQL 租户作为源端的权限说明 OceanBase 数据库 MySQL 租户作为源端时，迁移/同步...
数据集成
再配合运维中心的补数据功能，可实现基于一套完整的任务配置，批量将历史数据同步至目标数据库或数据仓库指定表或指定分区。数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列...
配置告警规则
本文介绍如何配置RDS全球多活数据库集群中双向同步链路的告警规则。操作步骤 访问 全球多活数据库集群 页面。在全球多活数据库集群列表页面，单击目标集群右侧 操作 列中的 更多>配置告警。在 配置告警 对话框中，对同步延迟、同步状态、全...
空库初始化
数据管理DMS 的空库初始化功能支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。前提条件 支持的数据库类型如下：MySQL：RDS MySQL、PolarDB MySQL版、...
同步方案概览
源为自建SQL Server或RDS SQL Server的同步方案 源为自建MongoDB或云数据库MongoDB的同步方案 源为自建Redis或云数据库Tair/Redis的同步方案 源为MariaDB的同步方案 源为TiDB的同步方案 源为Db2 for LUW的同步方案 源为Db2 for i（AS/400）...
功能特性
创建同步Fc 同步OSS 同步Datahub中的数据至OSS指定的文件对象中 创建同步OSS 同步TableStore 同步Datahub中的数据至TableStore指定的具体表中 创建同步TableStore 同步数据库 同步Datahub中的数据至RDS/MySQL/ADS3.0指定的具体表中 创建...
DescribeSynDbTables-查看同步数据库与表
查看同步数据库与表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
基本概念
同步延迟 同步延迟是指同步到目标数据库的最新数据的时间戳，与源数据库的当前时间戳之间的差值。如果同步延迟为0，则源数据库与目标数据库的数据完全同步。数据更新 数据更新是指仅修改数据，未修改结构定义的操作，例如INSERT、DELETE和...
配置监控报警
实例类型 监控项 说明 数据同步 同步延迟 全量报警 同步状态 同步延迟 和 同步状态 监控项默认处于 已禁用 状态，全量报警 监控项默认处于 已启用 状态。数据迁移 增量迁移延迟 全量报警 迁移状态 增量迁移延迟 和 迁移状态 监控项默认处于...
一键升级RDS MySQL X-Engine至PolarDB MySQL版
如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取...
导入云监控数据
其他限制 限制项 说明 数据同步延迟 导入数据到日志服务的延迟，受数据源的采集、云监控存储、日志服务读取数据等影响。正常情况下（各个环节无异常），如果通过企业云监控接口拉取数据，数据的延迟大约为1分钟；如果未通过企业云监控接口...
配置匹配规则
数据同步项目中，仅 OceanBase 数据库 MySQL 租户至 AnalyticDB MySQL、RDS PostgreSQL 实例至 OceanBase 数据库 Oracle 租户 和 OceanBase 数据库 MySQL 租户之间的数据同步 支持通过配置通配规则的方式选择同步对象。在 选择迁移对象 ...
- 产品推荐
- 这些文档可能帮助您