RDS MySQL同步至云数据库SelectDB版
DTS会在源库定时执行 CREATE DATABASE IF NOT EXISTS `test` 命令以推进Binlog位点。当源库为RDS MySQL时：不记录事务日志的RDS MySQL实例（如RDS MySQL 5.6版本的只读实例）不支持作为源库。费用说明 同步类型 链路配置费用 库表结构同步...
设备端SDK更新记录
注意当网关下子设备数量超过30时，建议配置 FEATURE_ALCS_ENABLED 为 n，关闭本地通信功能。可根据内存情况与子设备数量加大SDK缓存队列长度，通过配置 CONFIG_MSGCACHE_QUEUE_MAXLEN 宏实现。如网关系统内存充足（如Linux系统），缓存队列...
PolarDB-X 2.0同步至MaxCompute
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 2.0 同步至MaxCompute。前提条件 已创建源 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。更多信息，请参见 创建实例 和 创建数据库。已开通MaxCompute。更多...
RDS MySQL同步至Elasticsearch
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 RDS MySQL 同步至 Elasticsearch。前提条件 已创建源 RDS MySQL 实例，详情请参见 快速创建RDS MySQL实例。已创建目标 Elasticsearch 实例，详情请参见 创建阿里云...
PolarDB MySQL版同步至Elasticsearch
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 集群的数据同步至 Elasticsearch 实例。前提条件 已创建存储空间大于源 PolarDB MySQL版 的目标 Elasticsearch 实例。具体操作，请参见 创建阿里云...
RDS MySQL同步至函数计算FC
数据传输服务DTS（Data Transmission Service）支持将 RDS MySQL 实例的全量或增量数据同步至函数计算FC的指定函数。您可以编写函数代码，结合同步至函数中的数据，对数据进行二次加工。前提条件 已创建源 RDS MySQL 实例。创建方式，请...
离线同步常见问题
本文为您介绍离线同步的相关问题。文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步...
概述
数据上传后会保存到实时表，后续会在几分钟内通过定时任务的形式同步到MaxCompute离线表，供离线计算使用。LogHub 日志服务SLS提供数据投递功能，将LogHub实时采集的日志投递至MaxCompute。详情请参见 通过LogHub迁移日志数据至MaxCompute...
从Consul迁移到MSE Nacos
导入之后，同步工具就会定时扫描源集群和目标集群新增的服务并自动创建同步任务，并开始同步。查看同步完成任务数，确认是否已同步全部服务信息。替换客户端依赖并修改配置。替换客户端依赖。将客户端Consul SDK替换为Nacos SDK。在使用...
旧版本 AD/LDAP 账户同步配置
同时支持向 AD 或 OpenLDAP 的增量和全量同步。新建LDAP配置 操作步骤 以IT管理员账号登录云盾IDaaS管理平台。点击左侧导航栏 账户->机构及组。点击【配置LDAP】，新建LDAP配置，填入必填信息，开启从 IDaaS 同步至 LDAP。服务器链接：服务...
Spring任务
任务自动同步 原本已使用Spring定时任务且存量定时任务较多的用户，可以选择在应用配置文件中开启自动同步任务，大幅度简化上述手动创建的过程。Properties 配置参考如下。SchedulerX接管Spring定时任务，开启自动同步任务 spring....
Spring任务
任务自动同步 原本已使用Spring定时任务且存量定时任务较多的用户，可以选择在应用配置文件中开启自动同步任务，大幅度简化上述手动创建的过程。Properties 配置参考如下。SchedulerX接管Spring定时任务，开启自动同步任务 spring....
2024年功能发布记录
云数据库MongoDB版（副本集架构）云数据库MongoDB版（分片集群架构）RDS MySQL数据库触发器 新增 您可以在数据传输服务DTS（Data Transmission Service）控制台创建数据同步任务，实时或定时将 云数据库 RDS MySQL 版 实例的增量数据同步至...
配置AD或LDAP认证
如果您需要自动同步AD或LDAP用户快照，请单击 立即同步用户快照，或者设置 自动同步用户快照间隔时间 定时将认证服务器中用户列表同步到本地快照。在导入AD或LDAP用户时，将从本地快照中读取用户数据，降低导入AD或LDAP用户操作性能消耗。
将内网解析记录同步至自建DNS
以上命令，您可以写成 Shell 脚本，并使用Linux服务器的crontab功能进行定时执行，以实现自动同步PrivateZone的记录更新功能。生效测试 使用如下命令进行测试：dig@localhost 域名。总结 本文介绍了一种使用自动同步工具的方式，将内网DNS...
如何PrivateZone同步至自建DNS
以上命令，您可以写成 Shell 脚本，并使用Linux服务器的crontab功能进行定时执行，以实现自动同步PrivateZone的记录更新功能。生效测试 使用如下命令进行测试：dig@localhost 域名；总结：本文介绍了一种使用自动同步工具的方式，将...
同步时源库为PolarDB MySQL版的注意事项及限制
X 1.0 PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 2.0 PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 3.0 PolarDB MySQL版同步至阿里云流式数据服务DataHub PolarDB MySQL版同步至Elasticsearch PolarDB ...
同步日志
触发任务记录的事件 触发模块 记录任务的情况 只有日志的情况 身份提供方 IdP 从 IdP 批量导入（定时/手动）一次性全量同步到 IdP（暂不支持）IdP 单条数据变更同步到 IDaaS IDaaS 单条数据变更同步到 IdP 应用 一次性批量将账户同步给应用...
MySQL一键实时同步至MaxCompute
需求分析 数据：将MySQL全量数据一次性同步至MaxCompute，增量数据实时同步MaxCompute Log表，全增量数据定时Merge。表：将源端所有 doc_前缀的表名，在写入目标端时统一更新为 ods_前缀。字段：目标表在原有表结构基础上，增加 execute_...
MySQL一键实时同步至MaxCompute
需求分析 数据：将MySQL全量数据一次性同步至MaxCompute，增量数据实时同步MaxCompute Log表，全增量数据定时Merge。表：将源端所有 doc_前缀的表名，在写入目标端时统一更新为 ods_前缀。字段：目标表在原有表结构基础上，增加 execute_...
从自建TiDB同步至云原生数据仓库AnalyticDB MySQL
说明 为保障正常通信和减少网络延迟对增量数据同步的影响，部署阿里云消息队列Kafka实例时，需配置和源库服务器相同的专有网络。在自建Kafka集群或阿里云消息队列Kafka实例中创建Topic。将DTS服务器的IP地址段加入至TiDB数据库的白名单安全...
任务未运行
分析：下游B节点定时时间为0点，此时已经到了任务定时时间，但由于上游父节点定时时间未到，所以下游节点B需要等到上游父节点A2，A3定时时间到了并且任务执行成功后，B任务才会执行。如果上游A2、A3任务有一个失败，那下游B任务将不会调度...
Kafka增量数据同步至MaxCompute
本文以将Kafka增量数据同步至MaxCompute的一个实践为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且...
Kafka增量数据同步至MaxCompute
本文以将Kafka增量数据同步至MaxCompute的一个实践为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且...
日志服务通过数据集成投递数据
单击节点编辑页面工具栏中的 图标，然后单击 图标，提交离线同步节点至调度系统，调度系统会根据配置的属性，从第2天开始自动定时运行。通过脚本模式配置离线同步节点 成功创建离线同步节点后，单击工具栏中的 转换脚本。单击 提示 对话框...
2022年
新增 注册中心同步集群 新增系统巡检和告警功能 支持定时自动触发以及人工手动触发系统巡检功能，针对数据面组件、切流核心依赖的外部接口进行异常巡检，并支持配置钉钉告警外发。新增 报警配置 切流流程支持配置自定义前置、后置回调动作 ...
场景：调度参数在数据集成的典型应用场景
平台将根据定时时间，每十分钟生成一个调度实例，目标MaxCompute表分区名称也以调度参数的方式指定，$bizdate 表示业务日期，定时任务执行时，任务配置的分区表达式会替换为调度参数所表达的业务日期。调度参数表达式的详细配置说明请参考...
数据集成概述
全增量同步任务简介 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个 离线同步、实时同步 和 数据处理 等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，...
配置任务调度
说明 如果是23:30以后提交的同步任务，则调度系统从第3天开始，才会自动周期生成实例并定时运行。后续步骤 现在，您已经学习了如何设置离线同步任务的调度属性和依赖关系，您可以继续下一个教程。在该教程中，您将学习如何对提交的任务进行...
数据集成侧同步任务配置
背景信息 数据集成基于源端数据库与目标端数据库类型为您提供丰富的数据同步任务，同步类型包括：整库离线同步（一次性全量同步、周期性全量同步、离线全增量同步、一次性增量同步、周期性增量同步）、一键实时同步（一次性全量同步，实时...
镜像同步加速
自定义同步链路：使用自定义的云企业网，为不同地域搭建私网通信通道，实现跨地域网络互通。如果跨境同步加速功能不能满足您对同步实例时延的要求，您可以使用自定义同步链路来进一步加快镜像同步速度。说明 公有云Region不支持同步至非...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
什么是RRPC
MQTT协议基于PUB/SUB的异步通信模式，不适用于服务端控制设备端并同步获取返回结果的场景。物联网平台基于MQTT协议给用户服务端提供了RRPC接口，实现用户服务端下发RRPC消息数据并同步等待设备响应数据。名词解释 名词 说明 RRPC 是Revert-...
IoT数据自动化同步至云端解决方案
DataWorks具备按照定时时间进行周期调度的特点，您可以设置DataWorks同步任务的调度周期为OSS生成文件的周期。例如，OSS上的文件每15分钟生成一份，设置DataWorks同步任务的调度周期为每15分钟调度一次。生成的文件名需要使用时间戳来命名...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
数据集成侧同步任务能力说明
DataWorks为您提供多种数据源之间进行不同数据同步场景的全增量同步任务，包括实时数据同步、离线全量同步、离线增量同步等同步场景，助力企业数据更高效、更便捷的一键上云。背景信息 实际业务场景下，数据同步通常不能通过一个或多个简单...
同步时源库为PolarDB-X 2.0的注意事项及限制
如果同步的源实例为 PolarDB分布式版，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为PolarDB-X的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标...
旁路转推计费
费用计算：旁路转推费用=旁路转推规格单价（0.0500元/分钟）×旁路转推时长用量（35分钟）示例二：三人同时加入频道进行音视频通话，并同步开启旁路转推任务，通话时长3700秒，视频的分辨率为360×640，通话结束后同步停止旁路转推任务。...
调度参数返回值二次处理的典型场景
调度参数只支持获取时间类型数据，部分节点（例如，离线同步节点）配置了调度参数后，调度参数的返回值不能直接使用，需要进行函数转换等二次处理。本文为您介绍二次处理调度参数返回结果的典型场景。背景信息 调度参数支持的时间类型未...
- 产品推荐
- 这些文档可能帮助您