调度参数返回值二次处理的典型场景
调度参数只支持获取时间类型数据，部分节点（例如，离线同步节点）配置了调度参数后，调度参数的返回值不能直接使用，需要进行函数转换等二次处理。本文为您介绍二次处理调度参数返回结果的典型场景。背景信息 调度参数支持的时间类型未...
配置数据层
杭州中心单元 创建同步任务方式 包括直接录入和手动创建的方式：直接录入：如果您在 数据传输控制台 已经创建一个状态为同步中（双向同步的反向同步链路状态也为同步中）的同步任务，则可以直接选择该同步任务进行录入。手动创建：如果您在...
场景：调度参数在数据集成的典型应用场景
场景四：同步历史数据 基于调度参数可根据业务时间将参数自动替换为对应的值这一特性，当您创建任务当天需要将历史数据进行补齐时，您可使用补数据功能，补数据支持补历史一段时间的数据或者未来一段时间的数据，调度参数将在任务调度时...
配置数据层
杭州中心单元 创建同步任务方式 包括直接录入和手动创建的方式：直接录入：如果您在 数据传输控制台 已经创建一个状态为同步中（双向同步的反向同步链路状态也为同步中）的同步任务，则可以直接选择该同步任务进行录入。手动创建：如果您在...
概述
DataHub数据同步功能 DataHub提供数据Sink/Source功能，即数据同步功能，DataHub支持将对应Topic中的数据 实时/准实时 的同步到第三方阿里云产品中，打通阿里云产品间的数据流通。目前支持MaxCompute（原ODPS）、分析型数据库MySQL(ADS)、...
同步时源库为PostgreSQL的注意事项及限制
源库为PostgreSQL的同步方案概览 根据同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：RDS PostgreSQL 云原生数据仓库AnalyticDB ...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
实施步骤
网络类型 专线。同步链路规格 本例选择small。在 确认订单 页面，勾选《数据传输服务（按量付费）服务协议》，根据提示完成支付流程。步骤二：配置同步链路 登录 DTS控制台。在 数据传输 页面，单击左侧导航栏中的 数据同步。选择 地域。在...
从PolarDB PostgreSQL版（兼容Oracle）集群同步至自建...
为保障同步延迟时间展示的准确性，DTS会在源库中新增一个表，表名为 dts_postgres_heartbeat，结构及内容如下图所示。若源库有长事务，且实例包含增量同步任务，则可能会导致源库长事务提交前的预写日志WAL（Write-Ahead Logging）无法清理...
PolarDB PostgreSQL版（兼容Oracle）集群间的单向同步
为保障同步延迟时间展示的准确性，DTS会在源库中新增一个表，表名为 dts_postgres_heartbeat，结构及内容如下图所示。在数据同步过程中，如果同步对象的选择粒度为Schema，在待同步的Schema中创建了新的表或使用RENAME命令重建了待同步的表...
方案概述
如为增量同步任务，DTS要求源数据库的WAL日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的WAL日志至少保留7天以上（您可在全量同步完成后将WAL日志保存时间设置为24小时以上），否则DTS可能因无法获取WAL日志而导致任务...
离线同步任务调优
跨云、跨区域同步数据时，建议网络打通后走内网进行同步，网络连通解决方案详情请参见：配置资源组与网络连通。检查数据库负载情况。限制同步速度 数据集成同步任务默认不限速，任务将在所配置的并发数的限制上以最高能达到的速度进行同步...
MySQL整库周期性增全量同步至Hive
网络与资源配置：在下拉框中分别选择已创建的MySQL数据源、Hive数据源、独享数据集成资源组，单击 测试所有连通性，保障资源组与数据源之间的网络连通性。配置任务个性化信息。根据界面提示选择要同步的MySQL表。当前支持通过正则表达式...
云数据库Redis版网络切换
本文档介绍了如何通过控制台和API将云数据库Redis版的网络类型由经典网络切换至专有网络，同时保留经典网络的访问地址。经典网络的访问地址有保留时间限制，您可以根据需要指定保留期限。到期后，经典网络地址会自动被系统删除。前提条件 ...
MySQL整库周期性增全量同步至MaxCompute
网络与资源配置：在下拉框中分别选择已创建的MySQL数据源、MaxCompute数据源、独享数据集成资源组，单击 测试所有连通性，保障资源组与数据源之间的网络连通性。配置任务个性化信息。根据界面提示选择要同步的MySQL表。当前支持通过正则...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
Hologres整库周期性增全量同步至MaxCompute
网络与资源配置：在下拉框中分别选择已创建的Hologres数据源、MaxCompute数据源、独享数据集成资源组，单击 测试所有连通性，保障资源组与数据源之间的网络连通性。配置任务个性化信息。本文档以两个常用场景作为例子，配置Hologres到...
AnalyticDB for MySQL3.0整库周期性增全量同步至...
网络与资源配置：在下拉框中分别选择已创建的AnalyticDB for MySQL3.0数据源、Hologres数据源、独享数据集成资源组，单击 测试所有连通性，保障资源组与数据源之间的网络连通性。配置任务个性化信息。本文档以两个常用场景作为例子，配置...
线下路由同步方式
线下路由同步方式为智能接入网关学习本地网络私网网段的方式。通过配置线下路由同步方式，智能接入网关可以学习到用户本地网络的私网网段并将私网网段自动同步至阿里云。操作步骤 登录 智能接入网关管理控制台。在顶部菜单栏，选择目标区域...
Oracle数据源
由于主备数据同步存在一定的时间差，在网络延迟等特定情况下，会导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 Oracle在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询...
查看运维大屏
运维大屏为您展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期任务运行概况，以及数据集成同步任务的运行详情，助力您从宏观角度快速了解空间任务的整体概况，及时发现并处理异常任务，提升运维效率。使用说明 运维...
数据同步操作指导
数据同步功能可以帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。本文介绍数据同步功能的具体使用流程，帮助您快速掌握创建、...
支持的数据库
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
管理时间同步服务
时间同步服务简介 时间同步服务用于与NTP服务器同步时间以确保ECS实例时间准确，它是基于网络时间协议（Network Time Protocol，简称NTP）实现的。阿里云ECS实例会默认运行Chrony或者NTP服务进行时间同步。关于时间同步服务的更多信息请...
DB2数据源
由于主备数据同步存在一定的时间差，特别在网络延迟等情况下，会导致备库同步恢复的数据不是一份当前时间的完整镜像，与主库有较大差别。一致性约束 DB2在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询接口。例如，一次同步...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
节点之间的时钟不同步，或者电脑终端和服务器之间的时钟不同步，均可能导致延迟时间（增量同步/反向增量）不准确。例如，如果时钟早于标准时间，可能导致延迟时间为负数。如果时钟晚于标准时间，可能导致延迟。支持 Oracle 字符集和 ...
实例迁移操作步骤
开启数据同步成功后，从开启数据同步的时间点开始，最多延迟1分钟后，同步公共实例内待迁移产品下设备上报的数据到目标企业版实例。您可在 迁移详情 页面，查看到具体的 数据同步开始时间 和 数据迁移状态。可选：关闭数据同步 开启设备...
迁移或同步指定时间段内的数据
如果您想要将源HBase集群或源Lindorm实例中某个时间段的历史数据迁移至新的Lindorm实例，或想要同步实时数据到新Lindorm实例，可以在创建任务时添加相关时间参数，修改任务配置。本文介绍通过LTS控制台创建任务时配置迁移或同步时间范围的...
StartDiskReplicaGroup-开始异步复制组
首次同步时，系统会先进行一次全量同步，之后会按照保证RPO（Recovery Point Object）的时间周期内进行增量同步。接口说明 一致性复制组功能支持的地域请参见 云盘异步复制概述。当使用自动同步（即设置 OneShot 为 false）时，一致性复制...
手工触发同步
概述 手动触发同步：可以实现辅助DNS主动...注意：辅助DNS中的解析记录更新，一般是由主DNS发送NOTIFY来触发解析数据同步，或者是根据主DNS设置的刷新时间来触发解析数据同步（指时间到期则触发）。操作步骤 登录 控制台 点击 连接主DNS 按钮
全球消息路由
考虑到需要同步的消息量以及网络带宽瓶颈，消息同步可能会产生一定的时间延迟，即消息到达目标Topic的时间会晚于该消息进入源Topic的时间。处于全球消息路由任务中的源实例和目标实例，将无法从标准版实例升级到铂金版实例。创建全球消息...
手动触发同步
注意：辅助DNS中的解析记录更新，一般是由主DNS发送NOTIFY来触发解析数据同步，或者是根据主DNS设置的刷新时间来触发解析数据同步（指时间到期则触发）。操作步骤 登录 云解析DNS产品控制台。左侧导航栏选择 辅助DNS 菜单，再选择 内网域名...
SyncStat
表示多元索引的同步状态。数据结构 message SyncStat { optional SyncPhase sync_phase=1;optional int64 current_sync_timestamp=2;} 名称 类型 是否必选 描述 sync_phase SyncPhase 是 同步阶段。current_sync_timestamp int64 是 当前...
手动触发同步
说明 辅助DNS中的解析记录更新，一般是由主DNS发送NOTIFY来触发解析数据同步，或者是根据主DNS设置的刷新时间来触发解析数据同步（指时间到期则触发）。设置方法 登录 云解析DNS产品控制台。单击左侧导航栏的 辅助DNS 按钮进入辅助DNS页面...
从自建TiDB同步至云原生数据仓库AnalyticDB MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），结合Kafka集群与TiDB数据库的Pump、Drainer组件，将自建TiDB数据库同步至 云原生数据仓库AnalyticDB MySQL。前提条件 已创建 云原生数据仓库AnalyticDB MySQL 3.0版本，...
启动和暂停数据同步项目
启动数据同步项目 创建数据同步项目时，如果在预检查完成后仅保存该数据同步项目，未进行启动，则需要在同步项目列表中手动启动数据同步项目。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据同步。在 同步项目列表 页面，...
场景：配置增量数据离线同步任务
离线同步任务支持您通过配置类似的数据过滤功能来决定同步全量数据还是增量数据，配置过滤条件时，将只同步满足过滤条件的数据。同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。该...
查看Ranger日记审计信息
本文为您介绍如何在Ranger WebUI上查看审计日志信息。前提条件 已创建DataLake集群，并选择了Ranger服务...Event Time 同步发生的时间，Unix 用户同步通常为五分钟一次，LDAP/AD 用户同步通常为一小时一次。Sync Details 同步用户的详细信息。
结构同步
数据管理DMS 的结构同步功能支持对比不同数据库、指定表之间的表结构，产生差异化脚本并执行到目标数据库。适用于对比、同步多套数据库环境的表结构，例如生产库与测试库、不同的测试库、不同的生产库等。前提条件 支持的数据库类型如下：...
创建同步MaxCompute
同步数据到MaxCompute 准备工作 1....常见问题 同步到MaxCompute timestamp字段时间变为1970-01-19 原因：DataHub同步MaxCompute默认时间戳单位为微秒，用户写入时间戳为毫秒解决方案：写入DataHub时间戳以微秒方式写入。
- 产品推荐
- 这些文档可能帮助您