MySQL分库分表同步至Hologres（方案1.0）
同步时默认将源端数据表写入目的端同名schema或同名表中，同时，您可以通过添加映射规则定义最终写入目的端的schema或表名称，实现将多张表数据写入到同一个目标表中，或统一将源端某固定前缀的表名在写入目标表时更新为其他前缀。...
一键实时同步至Kafka
实现将多张表数据写入到同一个Topic中，或统一将源端某固定前缀的表名在写入目标Topic时更新为其他前缀。支持通过正则表达式转换写入的Topic名，还支持使用内置变量拼接目标Topic名。配置逻辑请参见：设置同步来源与规则。步骤四：设置目标...
整库离线同步至Elasticsearch
同步时默认将源端数据表写入Elasticsearch同名索引中，同时，您可以通过添加映射规则定义最终写入目的端的索引名称，实现将多张表数据写入到同一个索引中，或统一将源端某固定前缀的表名在写入目标索引时更新为其他前缀。支持通过正则表达...
最佳实践概览
轻量应用服务器数据迁移至ECS实例 如果当前轻量应用服务器无法满足您的业务需求，您可以通过SMC将轻量应用服务器平滑迁移至云服务器ECS，以获取更加灵活的资源配置方案。源服务器迁移至轻量应用服务器 服务器迁移中心支持将其他厂商轻量...
ECS实例使用的Windows系统激活失败如何解决？
问题原因 出现这个报错一般都是由于服务器到KMS之间的网络存在问题，导致服务器无法跟KMS进行通讯。网络存在问题可能是由于Windows系统的ECS实例中系统防火墙、IP安全策略或者其他网络安全管理软件阻断了服务器与ECS激活服务器之间的通信...
ALB触发器
在 服务器组 页面，找到目标服务器组，然后在 操作 列单击 编辑后端服务器。在 后端服务器 页签，单击 设置函数计算。在 添加后端服务器 面板，选择以下任意一种方式完成配置，然后单击 确定。通过选择资源 配置项 说明 配置方式 选择 通过...
远程连接FAQ
检查服务器的负载是否过高 轻量应用服务器的带宽和CPU使用率过高，可能会导致服务器无法远程登录。如果是带宽或CPU占用过高导致的无法登录，请参考以下操作：关闭暂时不使用的进程后再尝试。尝试重启轻量应用服务器。重置系统，重置前请...
数据加工
跨地域传输 通过公网Endpoint完成跨地域数据传输时，由于公网网络质量无法保证，加工结果写入目标Logstore可能会出现网络错误，导致数据加工任务处理延迟。日志服务Endpoint请参考 服务入口。建议为目标Project开启全球加速服务，并在数据...
使用限制
跨地域传输 通过公网Endpoint完成跨地域数据传输时，由于公网网络质量无法保证，加工结果写入目标Logstore可能会出现网络错误，导致数据加工任务处理延迟。日志服务Endpoint请参考 服务入口。建议为目标Project开启全球加速服务，并在数据...
Windows系统ECS实例激活失败
问题分析 出现这个报错一般都是由于服务器到KMS之间的网络存在问题，导致服务器无法跟KMS进行通讯。网络存在问题可能是由于Windows系统的ECS实例中系统防火墙、IP安全策略，或其它网络安全管理软件阻断了服务器与ECS激活服务器之间的通信...
数据同步链路规格说明
使用DTS可实现数据秒级同步到目标实例，但受限于源实例的运行负载、传输网络的带宽、网络延时、目标实例写入性能等多种因素的影响，DTS同步任务会出现延迟增大的情况，无法绝对保证秒级延迟。名词解释 规格：数据传输服务为用户提供了不同...
新功能发布记录
2023-09-20 源服务器迁移至轻量应用服务器 2023年7月 功能名称 功能描述 发布时间 相关文档 新增通过SMC迁移轻量应用服务器至ECS实例 如果当前轻量应用服务器无法满足您的业务需求，您可以通过SMC将轻量应用服务器平滑迁移至云服务器ECS，...
MySQL一键实时同步至MaxCompute
功能 描述 为非主键表选择主键 由于当前方案不支持无主键表同步，所以您需要单击 同步主键 列的 按钮，为无主键表设置 自选主键，即选择表中一个或部分字段作为主键，写入目标端时将会使用该主键进行去重。本案例为无主键表 doc_tb2_nopk ...
MySQL一键实时同步至MaxCompute
功能 描述 为非主键表选择主键 由于当前方案不支持无主键表同步，所以您需要单击 同步主键 列的 按钮，为无主键表设置 自选主键，即选择表中一个或部分字段作为主键，写入目标端时将会使用该主键进行去重。本案例为无主键表 doc_tb2_nopk ...
授权概述
您可以通过默认角色、自定义角色和访问密钥完成数据访问授权，详细说明如下：默认角色：授予数据加工任务使用阿里云系统角色AliyunLogETLRole来读取源Logstore中的数据以及将数据加工结果写入目标Logstore。更多信息，请参见 通过默认角色...
MySQL整库离线同步到OSS
任务将在所配置的并发数的限制基础上，提供现有硬件环境下最大的传输性能 离线是否允许脏数据 离线是否允许脏数据，配置成false时，如果数据写入目标表失败，任务会失败。离线任务限流大小 线任务限流大小，单位MB，在开启限流时生效。如未...
MySQL分库分表同步至Hologres（方案2.0）
将分表数据写入目标单表：将源表满足 t_order.*正则表达式的表数据写入到Hologres名为 t_order 的表中，所有满足 t_user.*正则表达式的表数据写入到Hologres名为 t_user 的表中。为表加上统一前缀：在目标名前统一加上 cdo_前缀。schema：...
Parameters参数说明
sink.bulk.copy.enable 03 sink.batch.size.minimum 03 写线程单次批量写入目标库的最小记录数，取值为：[0,1024]的整数。sink.batch.size.maximum 03、04、07 全量迁移 模块：写线程单次批量写入目标库的最大记录数。增量写入 模块：事务...
配置Hologres输出组件
写入模式 源数据源的数据写入目标数据源（Hologres数据源）的模式。写入模式包括SDK模式和SQL模式，适用场景说明如下：Hologres 0.8版本推荐选择SDK模式。Hologres 0.9及之后版本推荐选择SQL模式。加载策略 向目标数据源（Hologres数据源）...
创建数据加工任务
默认角色：授予数据加工任务使用阿里云系统角色AliyunLogETLRole将数据加工结果写入目标Logstore。自定义角色：授予数据加工任务使用自定义角色将数据加工结果写入目标Logstore。您需先授予自定义角色写数据到目标Logstore的权限，然后在 ...
配置流程
数据库传输服务DTS为数据同步过程提供了流式的ETL功能，您可以在源库和目标库之间添加各种转换组件，实现丰富的转换操作，并将处理后的数据实时写入目标库。例如将两张流表做JOIN操作后形成一张大表，写入目标库；或者给源表新增一个字段，...
配置Hologres输出组件
写入模式 源数据源的数据写入目标数据源（Hologres数据源）的模式。写入模式包括SDK模式和SQL模式，适用场景说明如下：Hologres 0.8版本推荐选择SDK模式。Hologres 0.9及之后版本推荐选择SQL模式。加载策略 向目标数据源（Hologres数据源）...
通过整库迁移配置集成任务
如需将全量历史数据写入对应的不同分区，可在单次同步后使用SQL任务处理写入目标表相应分区，或者选择每日同步增量数据，然后进行补数据操作补全历史分区。数据过滤 来源库非 HIve、MaxCompute 每日同步时的过滤条件：如配置了 ds=${...
配置Redis输出组件
选择是，将以配置的映射关系将Value列的列名与值以JSON格式写入目标Redis。选择否，将以值分隔符分隔Value写入。值分隔符 写入值的分隔符，如：\u0001，支持多字符分隔符。高级配置 缓存实效时间 缓存失效时间支持 有效时长、失效时间-常量...
配置Redis输出组件
选择是，将以配置的映射关系将Value列的列名与值以JSON格式写入目标Redis。选择否，将以值分隔符分隔Value写入。值分隔符 写入值的分隔符，如：\u0001，支持多字符分隔符。高级配置 缓存实效时间 缓存失效时间支持 有效时长、失效时间-常量...
配置MySQL输出组件
加载策略 选择数据写入目标表的策略。加载策略 包括：追加数据（insert into)：即在目标表的已有的数据基础上追加数据，且不修改历史数据；当主键/约束冲突时，会提示脏数据错误。主键冲突时覆盖（replace into）：即在主键/约束冲突时，会...
配置MySQL输出组件
加载策略 选择数据写入目标表的策略。加载策略 包括：追加数据（insert into)：即在目标表的已有的数据基础上追加数据，且不修改历史数据；当主键/约束冲突时，会提示脏数据错误。主键冲突时覆盖（replace into）：即在主键/约束冲突时，会...
全增量实时同步至Hologres
如上图所示，使用 源端数据库名 将源端数据库名作为目标schema名称，并且将所有满足 order_db.*正则表达式的源库写入目标Hologres名为 order_db 的schema中。自定义目标表名映射规则 在 目标表名映射自定义 列，单击 编辑 按钮。可以使用...
使用DataWorks
选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系，配置字段映射关系后，任务将根据字段映射关系，将源端字段写入目标端对应类型的字段中。具体操作请参见 配置字段映射关系。配置通道控制。您可通过通道配置，控制数据同步...
从MetricStore到MetricStore
默认角色：授权定时SQL任务使用阿里云系统角色AliyunLogETLRole将运行结果写入目标MetricStore。重要 仅在首次配置时需要操作，且需要由目标Project所属的阿里云账号完成。自定义角色：授权定时SQL任务使用自定义角色将运行结果写入目标...
从Logstore到MetricStore
默认角色：授权定时SQL任务使用阿里云系统角色AliyunLogETLRole将运行结果写入目标MetricStore。自定义角色：授权定时SQL任务使用自定义角色将运行结果写入目标MetricStore。您需先授予自定义角色写数据到目标MetricStore的权限，然后在 ...
通过整库迁移配置集成任务
如需将全量历史数据写入对应的不同分区，可在单次同步后使用SQL任务处理写入目标表相应分区，或者选择每日同步增量数据，然后进行补数据操作补全历史分区。数据过滤 来源库非 MaxCompute 每日同步时的过滤条件：如配置了 ds=${bizdate}，...
配置AnalyticDB for PostgreSQL输出组件
例如，数据写入目标表A后，重命名目标表A为B。输入字段 展示从源表中读取的字段。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：单个删除字段场景：按照下...
修改实例参数
sink.batch.size.minimum 全量同步 全量迁移 单次批量写入目标库的记录数，取值为：[0,1024]，默认值为128。单击 确定。可选：修改其余目标参数值。说明 单击 撤销，并单击提示框的 确定，可以撤销本次未提交的所有修改操作。单击 提交参数...
创建日志告警监控规则
授权方式：默认角色：单击 前往授权，根据界面提示完成授权，并扮演阿里云系统角色AliyunLogETLRole将告警写入目标EventStore。具体操作，请参见 默认角色授权。自定义角色：扮演自定义角色将告警写入目标EventStore，填写角色ARN。具体...
测试数据构建
提交工单后进入审批环节，待审批通过后，系统会自动进行数据构建，并直接写入目标数据库中。说明 目前，测试数据构建的默认安全审批规则为：数据库对应的DBA进行审批。更多信息，请参见 测试数据构建。配置算法介绍 测试数据生成算法配置...
使用Kafka（离线与实时）
DEFAULT（默认值）：同时保留消息的Key和Value，并将Key和Value值都写入目标MaxCompute表中。DEFAULT 模式下，只支持 TEXT 和 BINARY 格式数据写入。partition_window_type 否 按照系统时间进行数据分区。取值为 DAY、HOUR（默认值）、...
将Oracle数据同步到表格存储
步骤三：连接源数据库和目标数据库 通过Tapdata Cloud连接源数据库和目标数据库。登录 Tapdata Cloud平台。在左侧导航栏，单击 连接管理。连接作为源库的Oracle数据库。在 连接管理 页面，单击 创建连接。在 创建连接 对话框的 认证数据源 ...
迁移时源库为HBase的注意事项及限制
当使用量超过90%，数据无法写入目标库，导致DTS任务异常。请提前根据待迁移的对象预估所需空间，确保目标集群具备充足的存储空间。执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源...
大版本升级常见问题
若其作为DTS数据同步任务的数据目标端，将无法写入。您需要将DTS数据同步任务的数据目标端修改成新 PolarDB 集群；若其作为DTS数据同步任务的数据源，也建议在迁移切换后尽快将DTS数据同步任务的数据源修改成新 PolarDB 集群。目前仅支持...
- 产品推荐
- 这些文档可能帮助您