采集数据
数据源描述 输入DataWorks案例体验专用数据源，在离线同步配置时读取该数据源即可访问平台提供的测试数据，该数据源只支持数据集成场景去读取，其他模块不支持使用。适用环境 勾选 开发环境、生产环境。说明 您需要同步创建 开发环境 及 ...
LogHub（SLS）实时ETL同步至Hologres
单击右上角的 高级参数配置，对同步任务运行时并行度和资源配置，您可以根据Logstore数据流量和分区数量确定对应配置项取值，建议可以按照如下简单规则进行配置：读端并发数=Logstore分区数 写端并发数=Logstore分区数 内存（GB）=1.5G+...
采集数据
数据源描述 输入DataWorks案例体验专用数据源，在离线同步配置时读取该数据源即可访问平台提供的测试数据，该数据源只支持数据集成场景去读取，其他模块不支持使用。适用环境 勾选 开发环境、生产环境。说明 您需要同步创建 开发环境 及 ...
RDS PostgreSQL间的双向同步
若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。WAL日志：需开启，即设置 wal_level 参数的值...
Android 接口
移动同步服务在收到该同步配置的数据后，不会调用 syncCallback。参数 参数 类型 说明 biz String 同步标识 返回值 无。updateUserInfo(String sessionId)声明 public static boolean updateUserInfo(String sessionId)说明 方法内部的调用...
Java SDK 接入
如果同步配置是基于设备推送，填入设备 ID。payload String 是 testtestatapalayd 实际业务消息体，自定义格式，长度不超过 4096。thirdMsgId String 是 1760339273 一次数据同步请求 ID。同一个同步标识内唯一，ID 重复的请求将会被忽略。...
MySQL分库分表同步至Hologres（方案1.0）
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
从ECS上的自建MySQL同步至PolarDB MySQL版（金融云）
为避免该问题，您可以在数据同步配置时将该表所属的整个数据库作为同步对象，且确保RENAME TABLE操作前后的表所属的数据库均在同步对象中。TRUNCATE TABLE 功能限制 不兼容触发器 当同步对象为整个库，且库中的触发器（TRIGGER）会更新库内...
MySQL分库分表实践
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
创建配置
您可以将应用中的变量、参数等从代码中提取出来，并存入一个配置文件，这样在需要更改配置时，只需更改此配置文件即可。...后续步骤 如果您需要将创建好的配置同步到其他命名空间，请参见 同步配置。相关文档 命名空间 创建和使用加密配置
不同阿里云账号下RDS实例间的数据同步
为避免该问题，您可以在数据同步配置时将该表所属的整个数据库作为同步对象，且确保RENAME TABLE操作前后的表所属的数据库均在同步对象中。TRUNCATE TABLE 功能限制 不兼容触发器 当同步对象为整个库，且库中的触发器（TRIGGER）会更新库内...
用户一致性验证
对于高安全要求的同步配置，租户可以开启一致性验证，数据只会推送到通过一致性验证的用户设备上。对于未开启一致性验证的同步配置，则会忽略一致性验证结果。配置一致性验证接口 下文介绍如何配置一致性验证接口 ...
同步配置至云端
如果您通过Web管理控制台为SAG-1000或SAG-100WM修改了配置，修改完成后，您需要将SAG-1000或SAG-100WM的配置同步至阿里云，以确保SAG-1000或SAG-100WM正常工作。本文介绍如何在智能接入网关管理控制台将云下的配置...单击 同步配置到云端。
准备用于数据同步的数据库账号
同步任务配置时系统将自动授权。表格存储（Tablestore）无需配置 数据库账号。无 双向同步任务对账号权限的要求 双向同步任务要求源和目标数据库具备如下权限，以允许DTS在源和目标数据库中创建库dts，用于做数据防循环复制。数据库 所需...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
通过对接外部LDAP登录云原生AI控制台
有关配置项的详细信息，请参见 LDAP账户同步配置。在 LDAP配置 面板，单击 新建配置，配置相关参数。具体操作和相关参数说明，请参见 新建LDAP配置 和 步骤二：配置IDaaS。参数配置完成后，在 LDAP配置 面板您可以看到刚刚新建的LDAP。从AD...
Kafka Partition同步策略说明
在配置同步到Kafka的数据同步作业时，为提升同步的性能，您可以调整Kafka Partition（分区）同步策略，例如根据Hash结果将数据同步至不同的Partition。Hash算法 DTS采用Java默认的hashcode算法来计算Hash值。配置方法 您需要在配置数据同步...
功能概述
配置的导入导出：方便用户在多环境间同步配置 批量操作：提供批量管理功能。配置描述：方便他人理解配置用途。配置标签：配置归类有助于提高配置管理效率。在线编辑多种文件格式：支持语法高亮、语法校验，提升在线编辑效率，减少编辑错误...
账户同步-SCIM
应用 文档 阿里云 RAM 通过SCIM协议将企业内部账号同步到阿里云RAM 阿里云 CloudSSO 启用或禁用SCIM同步 配置 SCIM 同步的方式和配置基于事件回调的【快捷模式】类似。您同样需要首先确认需要同步的节点范围，而后对 SCIM 的客户端参数进行...
DTS任务中配置ETL典型应用
本文介绍在DTS任务中如何通过配置ETL，解决源实例与目标实例的数据不兼容问题和数据脱敏问题。前提条件 已创建源和目标数据库实例，本文以RDS MySQL间同步为例，创建方法，请参见 创建RDS MySQL实例。目标实例的存储空间须大于原实例占用的...
不同阿里云账号下RDS实例间的数据同步
为避免该问题，您可以在数据同步配置时将该表所属的整个数据库作为同步对象，且确保RENAME TABLE操作前后的表所属的数据库均在同步对象中。TRUNCATE TABLE 功能限制 不兼容触发器 当同步对象为整个库，且库中的触发器（TRIGGER）会更新库内...
MySQL整库周期性增全量同步至Hive
创建同步任务 登录并进入 数据集成子模块页面，单击 同步任务 进入同步任务页面，在页面中单击 新增任务，开始配置同步任务。配置同步任务基本信息。任务名称：自定义。同步类型：来源数据源选择 MySQL，去向数据源选择 Hive；根据同步场景...
从通过专线、VPN网关或智能接入...同步至PolarDB MySQL版
为避免该问题，您可以在数据同步配置时将该表所属的整个数据库作为同步对象，且确保RENAME TABLE操作前后的表所属的数据库均在同步对象中。TRUNCATE TABLE 支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于...
KingbaseES（人大金仓）数据源
数据同步任务开发 KingbaseES数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，...
MySQL整库周期性增全量同步至MaxCompute
点击 高级参数配置，可以配置任务维度的高级参数配置，如离线任务源端最大连接数、同步前是否清空表、同步任务并发度、是否允许脏数据等。表维度的自定义高级参数配置优先于任务维度的高级参数使用。完成上述所有任务配置后，单击 完成配置...
DataWorks数据集成
说明 具体操作步骤请参考DataWorks 通过脚本模式配置离线同步任务 数据导出 数据导出的步骤和数据导入的步骤一样，区别是在数据导出中，数据源配置需要配置为 AnalyticDB PostgreSQL版（参见 配置AnalyticDB for PostgreSQL数据源），而...
上线脚本同步任务
相关操作 操作 说明 下线同步任务 在 脚本配置同步 页面，单击目标同步任务 操作 列的 下线，在弹出对话框中单击 确定，可下线同步任务。查看任务运行记录 在 脚本配置同步 页面，单击目标同步任务的 操作 列的 运行记录，可对同步任务的...
MySQL整库离线同步到OSS
步骤二：配置同步任务 周期全量配置方式 在 新建同步任务 页面，选择 同步步骤 为 全量同步。单击 下一步 按钮，选择MySQL中需要同步的表。您可根据在左侧 源端库表 区域，选中需要同步的源表，将其添加至右侧 已选库表 区域。配置 目标OSS...
上线脚本同步任务
相关操作 操作 说明 下线同步任务 在 脚本配置同步 页面，单击目标同步任务 操作 列的 下线，在弹出对话框中单击 确定，可下线同步任务。查看任务运行记录 在 脚本配置同步 页面，单击目标同步任务的 操作 列的 运行记录，可对同步任务的...
通过SCIM同步Okta用户或用户组的示例
在 SCIM用户同步配置 区域，单击 生成新的SCIM密钥。在 SCIM密钥生成成功 对话框，复制SCIM密钥，然后单击 确定。步骤二：在云SSO启用SCIM同步 登录 云SSO控制台。在左侧导航栏，单击 设置。在 SCIM用户同步配置 区域，打开SCIM同步开关，...
通过 SCIM 同步账户至云SSO
3.在设置页签，单击 SICM用户同步配置 下方按钮，开启 SCIM 同步。4.点击 生成密钥 该密钥只显示一次，请复制后妥善保存，用于填写 IDaaS 侧 Bearer Token 密钥。步骤二：在 IDaaS 配置 SCIM 同步 1.添加模板 在IDaaS实例控制台【应用】...
2020年
从自建SQL Server增量迁移至RDS SQL Server 发布Kafka多Partition（分区）的同步策略配置功能，可调整同步策略将数据同步至多个Partition以提升同步性能。Kafka Partition同步策略说明 从RDS同步至自建Kafka集群 DTS产品接入至云监控平台，...
全增量同步任务常见问题
如果Hologres目标表不存在，请在配置数据同步任务时使用 自动建表，创建可用的Hologres目标表，详情请参见 配置Hologres目标表。源表有默认值，通过数据集成创建的目标表，默认值、非空属性等会保留吗？创建目标表时候，DataWorks只会保留...
从PolarDB PostgreSQL版（兼容Oracle）集群同步至自建...
一个数据同步作业只能同步一个数据库，如有多个数据库需要同步，您需要为每个数据库配置数据同步作业。为保障同步延迟时间展示的准确性，DTS会在源库中新增一个表，表名为 dts_postgres_heartbeat，结构及内容如下图所示。若源库有长事务，...
RDS全增量同步
true },],"config":{"skipDelete":true/跳过删除操作 },"table":{"name":"dts.cluster",/Lindorm表名，中间使用半角句号（.）隔开"parameter":{"compression":"ZSTD"} },"sourceTable":"dts.cluster"} } HBase API访问同步配置说明。...
使用数据传输迁移数据
您也可以取消复用增量同步配置，根据实际需求进行配置。参数 描述 写入并发配置 该参数用于配置反向增量阶段往源端写入数据的并发数，最大限制为 512。并发数过高可能会造成源端压力过大，影响业务。增量同步速率限制 您可以根据实际需求...
采集数据
数据源描述 输入DataWorks案例体验专用数据源，在离线同步配置时读取该数据源即可访问平台提供的测试数据，该数据源只支持数据集成场景去读取，其他模块不支持使用。适用环境 勾选 开发 和 生产。说明 开发环境的数据源创建完成后，需要...
单点登录（SSO）常见问题
SCIM同步配置了用户名映射的转换规则。在IdP单点登录配置中设置的用户名映射转换规则与SCIM同步中的配置的保持一致。SSO登录时，报错“The assertion signature is invalid”和“The assertion signature is invalid 或 Sigin token过期”...
使用MaxCompute访问
如果配置从MaxCompute数据同步到LindormDFS时，配置的数据去向的数据源为HDFS。如果配置从LindormDFS同步数据到MaxCompute时，配置的数据来源的数据源为HDFS。根据提示使用脚本模式配置同步任务。在配置脚本中，添加LindormDFS配置参数。...
写数据表
数据同步 配置将上游输出的数据，同步到的目标数据表。计算资源类型 选择需要同步到的目标数据源的类型，目前支持的目标数据源类型参见 适用场景 目标数据源 选择同步到的目标数据源。目标数据表 选择同步到的目标数据源中的表名。生命周期...
- 产品推荐
- 这些文档可能帮助您