通过向导模式配置离线同步任务
不同插件增量同步配置与实现方式不同，关于增量数据同步配置详情请参见：场景：配置增量数据离线同步任务。说明 在数据过滤和目标表相关配置中定义的变量，当单击下一步，配置调度属性时，您可以为此处定义的变量赋值。实现增量或全量数据...
通过脚本模式配置离线同步任务
关于增量数据同步配置详情请参见：场景：配置增量数据离线同步任务。说明 具体插件是否支持增量同步，及对应增量同步的具体实现，各个插件存在差异，请以实际插件文档为准。支持增量同步相关参数的插件在配置同步任务时，若不配置数据过滤...
DataWorks数据集成
请登录 AnalyticDB PostgreSQL版 的管理控制台进行IP 白名单设置，详情请参见 添加白名单 数据导入 源端的数据源需要在DataWorks管理控制台进行添加，数据源添加的详细步骤请参考 配置AnalyticDB for PostgreSQL数据源 配置同步任务：配置...
实时同步数据库的数据至Hologres
MySQL Binlog DataHub LogHub Kafka PolarDB SQL Server 配置数据源（输入为PolarDB）配置数据源（输入为MySQL）配置单表增量数据实时同步 整库实时同步 适用于将源端全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的...
使用注解标识配置类
属性注解高阶用法 动态配置默认用法是当服务端推送配置后，客户端启动时会默认同步加载服务端配置值。如果您希望服务端配置值仅在运行期生效，或者不希望客户端在启动期同步拉取配置值，可通过@DAttribute 中的 DependencyLevel 来定义此...
通过DataWorks导入
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
通过DataWorks导入数据
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
SQL Server数据源
单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的 附录：脚本Demo与参数说明。整库离线读同步任务配置指导 操作流程请参见 数据集成...
DB2数据源
整库离线读同步配置指导 操作流程请参见 数据集成侧同步任务配置。常见问题 主备同步数据恢复问题 主备同步问题指DB2使用主从灾备，备库从主库不间断通过binlog恢复数据。由于主备数据同步存在一定的时间差，特别在网络延迟等情况下，会...
操作流程
同步元数据 获取、更新源端和目标端的物理表及元数据Meta信息。创建同步任务 支持单个、批量配置同步任务，通过同步的Meta信息支持自动创建目标表，支持创建实时同步任务、离线同步任务两种模式。上线同步任务 同步任务上线后会按照创建...
操作流程
同步元数据 获取、更新源端和目标端的物理表及元数据Meta信息。创建同步任务 支持单个、批量配置同步任务，通过同步的Meta信息支持自动创建目标表，支持创建实时同步任务、离线同步任务两种模式。上线同步任务 同步任务上线后会按照创建...
配置数据层
配置异地应用双活数据层主要包括数据源、数据同步以及数据保护规则。各单元之间数据源的数据会通过数据同步组件进行复制，并按照指定的数据保护规则承担不同比例流量写入和读取，使各个单元的数据保持最终一致性。当某个单元出现异常或者不...
全增量实时同步至Hologres
全增量实时同步方案为您先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建全增量实时同步至Hologres任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，...
离线同步能力说明
不同插件增量同步配置方式不同，关于增量数据同步配置详情请参见：场景：配置增量数据离线同步任务。定义字段映射关系并为目标表字段赋值 在同步任务配置过程中，您可通过字段映射，来定义源端字段与目标端字段的读取和写入关系，源端字段...
DRM 常见问题
动态配置的默认用法是：当服务端推送配置后启动，客户端会默认同步加载服务端配置值。如果您不想使用该默认同步加载，需设置@DAttribute(dependency=DependencyLevel.NONE。更多依赖级别，说明如下：依赖等级 依赖描述 NONE 无依赖，启动期...
离线同步常见问题
数据同步原则：来源端数据源的数据要能写入目的端数据源（来源端和目的端类型需要匹配，字段定义的大小需要匹配），即源端数据类型需要与写端数据类型匹配，源端是VARCHAR类型的数据不可写到INT类型的目标列中；目标端的数据类型定义的大小...
MySQL分库分表同步至Hologres（方案2.0）
配置区域 参数 说明 读端配置 离线任务源端最大连接数 支持您通过该参数控制当前同步方案所产生的所有离线子同步任务可占用的源端数据库连接数，即同一时间内，当前同步解决方案所产生的所有离线子同步任务读取数据库的并发数上限。...
支持的数据库
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
数据集成侧同步任务能力说明
数据同步场景 全增量同步任务支持单表数据同步至目标端单表、分库分表数据同步至目标端单表、整库（多表）数据同步至目标端多表。DataWorks为您提供多种类型的全增量同步任务。包括整库离线同步（一次性全量同步、周期性全量同步、离线全...
一键实时同步至Hologres
支持通过自定义目标schema名与表名的方式实现源端多表数据写入至目标端单表。说明 分库分表同步可采用该方案。分库分表配置可参考最佳实践：MySQL分库分表同步至Hologres（方案1.0）。任务组成 当前方案将分别创建用于全量数据初始化的离线...
常见问题
配置任务时只选择了全量同步模块，没有选择增量同步模块，且任务结束后源端数据有变更。目标端有除了DTS任务以外的数据写入。增量写入存在延迟，增量数据还没有全部写入目标端。数据同步任务是否可以修改源库在目标库的名称？可以。修改源...
实时同步能力说明
详情请参见：配置单表实时同步任务、配置整库实时同步任务。单表增量数据实时同步：支持图形化开发。无需编写代码，直接通过拖拽的方式即可进行任务的开发，业务新手也能够轻松上手。单表ETL实时同步。您可以对输入的数据源进行 数据过滤、...
同步节点
运行配置 运行配置用于设置同步节点的云计算资源类型和输入输出链路，关键参数说明如下：参数 说明 同步资源 源端配置 开发数据源 开发环境中传输链路输入端的云计算资源类型和资源。逻辑表 输入表的数据格式，由数据模型定义，在下拉列表...
同步节点
运行配置 运行配置用于设置同步节点的云计算资源类型和输入输出链路，关键参数说明如下：参数 说明 同步资源 源端配置 开发数据源 开发环境中传输链路输入端的云计算资源类型和资源。逻辑表 输入表的数据格式，由数据模型定义，在下拉列表...
数据传输作业：数据集成
配置实时同步任务请参见 配置单表增量数据实时同步、DataStudio侧实时同步。注意事项 在数据集成同步任务配置前您需要在DataWorks 数据源管理 页面创建MaxCompute数据源，详情请参见 配置MaxCompute数据源。购买合适规格的独享数据集成资源...
常见报错
本文介绍配置任务和任务运行时系统返回的报错信息（如重试信息或错误码）以及解决方法。说明 本文以正则表达式（(.*)?的形式表示报错信息中的变量。若报错无法解决，您可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群...
主备容灾
中进行设置）可以跳到管理页面，如果选择了数据同步，可以在管理页面上看的主备实例实时数据双向同步的点位，同时也可以看到历史数据的同步进度，历史数据同步完成且实时点位正常更新就说明数据迁移成功：i可以单击切换，进行实例之间的...
云原生网关FAQ
在MseIngressConfig中有相关的配置项，MSE Ingress会自动同步MseIngressConfig中的配置项到MSE网关控制台，在控制台修改配置项后有可能出现被MSE Ingress同步信息覆盖的情况，建议统一使用MSE Ingress方式修改配置项。云原生网关路由优先级...
控制面核心组件
配置巡检的流程，示例如下：流程说明：Pilot 下发配置时，将配置的摘要信息与配置内容同步下发。MOSN 接收配置时，缓存新配置的摘要信息，并通过 Admin API 暴露查询接口。Inspector 基于控制面的 CR 和 Pod 等信息，计算出对应 MOSN 的...
功能简介
系统提供目标端自动建表、源端目标端字段自动映射、批量创建同步任务和引用数据模块进行同步任务配置等多种便捷同步任务创建能力，帮助用户更便捷的完成数据同步配置。在完成数据同步配置后，数据同步模块可对数据同步任务的执行和运行情况...
Oracle数据导入
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
通过DataWorks导入
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
数据同步
系统提供目标端自动建表、源端目标端字段自动映射、批量创建同步任务和引用数据模块进行同步任务配置等多种便捷同步任务创建能力，帮助用户更便捷的完成数据同步配置。在完成数据同步配置后，数据同步模块可对数据同步任务的执行和运行情况...
通过DataWorks导入数据
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
功能简介
系统提供目标端自动建表、源端目标端字段自动映射、批量创建同步任务和引用数据模块进行同步任务配置等多种便捷同步任务创建能力，帮助用户更便捷的完成数据同步配置。在完成数据同步配置后，数据同步模块可对数据同步任务的执行和运行情况...
下线配置
数据同步期间，如需暂停数据同步（例如数据出现问题，需要紧急停止同步），可以通过下线同步配置来实现。进入 移动开发平台 mPaaS 控制台，选择目标应用，完成以下步骤将数据同步配置下线。操作步骤 在左侧导航栏点击 数据同步，进入数据...
实时同步任务告警设置最佳实践
指标2：业务延迟 报警监控原理与适用场景 配置建议 实时同步业务延迟指标告警，用于判断同步任务正常运行时同步速率是否能满足源端数据生产速率。其基本原理为数据处理时间与数据在源端生产时间差。此告警指标为核心告警指标，建议所有重要...
项目模板同步配置
模板的同步开启/关闭 在创建模板后，服务同步配置如下：服务 同步配置 项目字段 默认开启同步，不可关闭。项目状态 默认开启同步，可关闭。自动化规则 默认开启同步，可关闭。通知 默认不开启同步，不可开启。角色权限 默认不开启同步，不...
DataStudio侧实时同步任务配置
步骤三：配置实时同步任务 配置单表实时同步任务 配置输入数据源。在实时同步任务编辑页面左侧的 输入 区域，拖拽目标输入数据源组件至右侧面板。单击输入组件，在右侧的 节点配置 对话框配置相关信息。目前，同步单表数据支持的输入数据源...
移动端同步问题
本文旨在介绍移动端同步时需要注意的事项。页面数量同步：移动端与PC端，页面和页头页尾是共用的，但页面上的内容是相互独立的。也就是在移动端页面管理内新建一个页面，PC端也会相应的新增页面。首页是共用的，所以PC端与移动端只能设置...
- 产品推荐
- 这些文档可能帮助您