同步任务修改
同步任务字段修改 DataHub 页面现在已经支持同步字段修改，用户可以在页面上进行同步字段的修改，无需重启。具体步骤如下：在数据同步页签，点击查看connector 2.选择需要同步的字段，选择完成后点击更新即可，无需重启 3.更新成功后再次...
功能简介
系统提供目标端自动建表、源端目标端字段自动映射、批量创建同步任务和引用数据模块进行同步任务配置等多种便捷同步任务创建能力，帮助用户更便捷的完成数据同步配置。在完成数据同步配置后，数据同步模块可对数据同步任务的执行和运行情况...
数据同步
系统提供目标端自动建表、源端目标端字段自动映射、批量创建同步任务和引用数据模块进行同步任务配置等多种便捷同步任务创建能力，帮助用户更便捷的完成数据同步配置。在完成数据同步配置后，数据同步模块可对数据同步任务的执行和运行情况...
功能简介
系统提供目标端自动建表、源端目标端字段自动映射、批量创建同步任务和引用数据模块进行同步任务配置等多种便捷同步任务创建能力，帮助用户更便捷的完成数据同步配置。在完成数据同步配置后，数据同步模块可对数据同步任务的执行和运行情况...
实时同步能力说明
说明 实时同步模块仅进行增量数据实时同步，若您希望全增量数据实时同步，即一次性将全量数据至目标端，然后增量数据进行实时同步，您可选择 同步解决方案 模块，将源端库持续不停地同步到目标端中，实现目标端对于源端的镜像效果。...
使用DTS同步数据时出现“Cannot parse"2013-05-00 00:...
如果任务处于增量同步阶段，则需要将这张表从同步对象中去除，将源表值修改为合法值，并将表添加到同步对象中，然后重启同步任务。如果是在整库同步的增量同步阶段报错，请提交工单处理。适用于 云原生数据仓库AnalyticDB MySQL版
使用数据传输同步数据
操作步骤 说明 本文以同步 OceanBase 数据库的数据至 Kafka 为例，更多详情请参见 数据同步 模块的内容。登录 OceanBase 管理控制台，购买数据同步项目。详情请参见 购买数据同步项目。在 数据传输>数据同步 页面，单击新购买的数据同步...
离线同步能力说明
离线同步模块仅支持单表或分库分表数据离线同步至目标端单表，若您需要将多库多表数据同步至目标端多表，您可使用 同步解决方案 中的整库离线同步。更多关于同步方案选择，请参见：选择同步方案概述。离线同步任务配置 您可以通过以下方式...
概述
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
注册中心同步集群
新增Nacos-Nacos同步任务 在 新增同步任务 页面，填写同步任务相关配置信息：参数 说明 同步集群 选择已新建的同步集群。具体操作，请参见 步骤二：配置注册中心同步集群。源注册中心 根据需要，选择已新建的注册中心作为源注册中心。具体...
复制和删除模块
删除应用主模块同步删除应用后不可恢复，请谨慎操作 删除自定义模块 说明 仅能删除未发布的自定义模块。登录 魔笔。在平台首页，选择 模块管理，进入 模块列表 页面。在指定模块的卡片右上角，单击，在弹出的对话框中进行二次确认，删除...
数据总线的审计事件
ReloadConnector 重启同步点。ResetConnectorOffset 重置同步点位。ResetSubscriptionOffset 重置订阅点位。SampleShard Shard采样。SplitShard 分裂Shard。UpdateConnectorField 更新同步点列信息。UpdateConnectorState 更新同步点状态。...
导入与导出
任务处于增量同步阶段时，把这张表从同步对象中去掉，修改源表值为合法值，把表添加到同步对象中，然后重启同步任务。整库同步的增量同步阶段时，请联系阿里云技术支持打开非法值写入开关。开关打开后，所有非法值的写入会被转为null。DTS...
增加或删除已运行任务的同步表
重新提交执行同步任务时，会直接在重启同步任务的时间点继续同步数据。查看同步任务删除表详情。在 执行步骤 区域，单击 显示增减表 后的 执行详情。显示增减表 的状态为 成功 时，表明目标源表已成功从同步任务中删除。查看此次执行任务...
通过数据同步功能同步SLS数据至数仓版
脏数据处理模式取值如下：中断同步（默认值）：数据同步终止，您需修改目标表的字段类型或修改为其他脏数据处理模式，再重启同步任务。按NULL处理：脏数据按NULL值写入目标表，并丢弃脏数据。例如：SLS数据总共有10行，某一字段中有2行是脏...
通过数据同步功能同步SLS数据至湖仓版
脏数据处理模式取值如下：中断同步（默认值）：数据同步终止，您需修改目标表的字段类型或修改为其他脏数据处理模式，再重启同步任务。按NULL处理：脏数据按NULL值写入目标表，并丢弃脏数据。例如：SLS数据总共有10行，某一字段中有2行是脏...
添加应用
本文介绍如何创建一个全新的空白应用。操作步骤 登录 魔笔。在平台首页，单击 添加应用。在弹出的对话框中选择...创建应用的同时，会同步在模块管理中创建一个同名的主模块，您也可以在模块编辑页面对此模块进行编辑。具体请参见 模块开发。
如何使用钉钉连接模块集成钉钉侧能力
适用场景 钉钉连接模块通过连接器接入了钉钉开放平台中和组织架构相关的API，用户可以通过调用钉钉连接模块中的集成API和钉钉进行数据的双向同步。模块介绍 钉钉连接模块集成了钉钉开放平台中用户管理、角色管理、角色组管理、部门管理的...
仓库同步
针对三方导入的代码库，默认同步功能模块已启用（“启用”指允许该代码库使用同步功能，但何时触发同步需要在功能内设置），如后续不再有同步需求，可手动关闭同步服务，在源文件页面也将不再显示同步状态标识。步骤二：设置授权账号 设置...
如何在应用中直接使用钉钉的组织架构进行组织管理
适用场景 通过使用钉钉组织架构模块，开发者可快速实现钉钉和系统组织架构模块之间的数据同步。模块介绍 钉钉组织架构模块通过引用 系统组织架构模块 和 钉钉连接模块，完成了系统组织架构模块与钉钉组织架构模块信息的连接。同时通过系统...
支持的数据源及同步方案
支持的数据源及同步方案 数据集成包括离线同步、实时同步和全增量同步任务三个功能模块，您可以根据各模块对数据源的支持情况，选择对应的功能模块进行同步任务的配置。DataWorks离线同步为您提供数据读取（Reader）和写入插件（Writer）...
修改实例参数
控制台上 可修改参数 页签中的 是否重启 列为 是 的参数提交修改后，DTS会立即重启模块，因此建议您在业务低峰期修改实例参数。选择实例 数据同步和数据迁移实例修改参数的步骤相似，本操作以修改同步实例的参数为例进行介绍。进入同步任务...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
使用 mPaaS 插件
添加的模块会同步到工程的 mPaaS 目录下，具体结构说明详见 mPaaS 目录结构。产品集更新 点击 mPaaS 产品集更新 选项，可查看产品集信息和状态。点击右下方的 开始更新 后，产品集会升级到最新版本，包括所有添加的模块。当前产品集版本：...
实时同步常见问题
本文为您介绍实时同步的相关问题。文档概述 问题分类 相关文档 实时同步任务配置须知 实时同步任务支持哪些数据源？为什么实时同步任务延迟较大？实时同步任务延迟解决方案 实时同步任务为什么不建议使用公网？实时同步字段格式问题 实时...
RDS PostgreSQL同步至AnalyticDB for PostgreSQL
同步过程中，如果对源库中的同步对象执行了DDL操作，需要手动在目标库中执行对应的DDL操作，然后重启数据同步作业。支持的同步语法 仅支持INSERT、UPDATE、DELETE。准备工作 调整源RDS实例的 wal_level 参数设置。警告 修改 wal_level 参数...
自建PostgreSQL同步到云原生数据仓库AnalyticDB ...
同步过程中，如果对源库中的同步对象执行了DDL操作，需要手动在目标库中执行对应的DDL操作，然后重启数据同步作业。支持同步的SQL操作 INSERT、UPDATE、DELETE。准备工作 根据自建PostgreSQL中待同步对象的结构，在目标 云原生数据仓库...
自建PostgreSQL同步到云原生数据仓库AnalyticDB ...
同步过程中，如果对源库中的同步对象执行了DDL操作，需要手动在目标库中执行对应的DDL操作，然后重启数据同步作业。支持同步的SQL操作 INSERT、UPDATE、DELETE。准备工作 根据自建PostgreSQL中待同步对象的结构，在目标 云原生数据仓库...
从RDS PostgreSQL同步至云原生数据仓库AnalyticDB ...
同步过程中，如果对源库中的同步对象执行了DDL操作，需要手动在目标库中执行对应的DDL操作，然后重启数据同步作业。支持的同步语法 仅支持INSERT、UPDATE、DELETE。准备工作 调整源RDS实例的 wal_level 参数设置。警告 修改 wal_level 参数...
从RDS PostgreSQL同步至云原生数据仓库AnalyticDB ...
同步过程中，如果对源库中的同步对象执行了DDL操作，需要手动在目标库中执行对应的DDL操作，然后重启数据同步作业。支持的同步语法 仅支持INSERT、UPDATE、DELETE。准备工作 调整源RDS实例的 wal_level 参数设置。警告 修改 wal_level 参数...
RestartDeviceInstance-重启实例设备
调用RestartDeviceInstance重启实例设备或实例上的所有虚拟设备，同步返回是否重启成功。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
如果您变更目标端的唯一索引，需要重启数据同步项目，否则可能存在数据不一致的问题。节点之间的时钟不同步，或者电脑终端和服务器之间的时钟不同步，均可能导致增量同步的延迟时间不准确。例如，如果时钟早于标准时间，可能导致延迟时间为...
配置同步实例
调整完成后，您可以调用 StartSynchronizationJob 接口来重启数据同步实例。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 ...
使用云数据库Redis版实现即时通信场景中的多端同步
消息存储模型 通常，IM系统的核心架构分为三个部分：消息管理模块、消息同步模块、通知模块。这三个模块的作用如下：消息管理模块主要负责接收和存储消息。消息同步模块主要负责存储和推送下行消息数据及其状态。通知模块主要负责维护第三...
模块开发流程
创建模块 创建应用主模块：创建应用时同步创建的模块，系统自动命名为xxx-主模块，可在模块管理中修改。在应用内和模块内均可进行模型设计，详细操作请参见 添加页面。创建自定义模块：在模块管理页面手动创建的模块。在模块管理中进行模型...
快速入门
步骤一：开通DataHub服务 登录 DataHub服务控制台。...步骤六：查看同步任务 可以点击对应connector的详情页面查看同步任务的运行状态和点位等信息，包含同步点位、同步状态以及重启和停止等操作，如下图所示：详情请参看 同步MaxCompute。
AIMaster：弹性自动容错引擎
error%s'%st.to_string())发送到钉钉群的消息通知示例如下：任务Hang重启通知示例 用户自定义消息通知示例 配置自定义容错关键字 容错监控功能已内置了常见的可重试错误的监控模块，如果您希望任务异常实例日志中出现某些关键字时也进行...
产品架构
DTS具备日志读取模块、日志回放模块的高可用，DTS容灾系统一旦检测到链路异常，就会在健康服务节点上断点重启链路，从而有效保证同步链路的高可用。数据订阅的工作原理 数据订阅支持实时拉取RDS实例的增量日志，用户可以通过DTS提供的SDK...
创建同步MaxCompute
查看同步任务 可以点击对应connector的详情页面查看同步任务的运行状态和点位等信息，包含同步点位、同步状态以及重启和停止等操作，如下图所示：同步示例 1.USER_DEFINE同步模式 建立DataHub Topic 备注：topic schema中必须需要包含...
创建同步ElasticSearch
type id data ES5-router属性列为null，脏数据 ES6-router属性列为null，脏数据 ES7-router属性列为null，脏数据 查看同步任务 可以点击对应connector的详情⻚⾯查看同步任务的运⾏状态和点位等信息，包含同步点位、同步状态以及重启和停⽌...
- 产品推荐
- 这些文档可能帮助您