管理问题数据
支持保留问题数据的规则列表与问题数据口径 目前支持保留问题数据的监控规则，及各规则问题数据的定义，详情请参见：附录：支持保留问题数据的规则列表与问题数据口径。注意事项 目前仅MaxCompute表支持配置保留问题数据功能。目前仅部分...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
离线同步任务调优
并发数：数据源并发数越高，数据库负载越高。通常，数据库的性能越好，它可以承载的并发数越高，您可以为数据同步作业配置越多的并发数据抽取。网络：网络的带宽（吞吐量）、网速。离线同步任务使用的调度资源组 离线同步任务将有调度资源...
常见问题
在将数据导入至MergeTree表的时候，初始时后台线程可能找不到任何可以进行Merge的Data Part，此时所有的资源都在处理导入的数据从接收到刷写到磁盘这一步骤，所以导入数据的速率相对来说比较高。导入数据一段时间后，由于越来越多Data Part...
版本说明
修复写入速率监控和磁盘监控数据错误的问题。V2.2.7 2018年7月6日 新特性 发布新版本 SDK，支持多值的数据写入、查询和分析。V2.2.4 2018年5月24日 新特性 支持 string 和 boolean 类型数据的写入；提供 last 接口，支持获取时间线最新周期...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
全增量实时同步至Hologres
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
常见问题
数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。计费问题 DTS如何计费？...
云数据库MongoDB版（副本集架构）同步至云数据库...
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
目标端表对象存在记录时处理策略 处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 ...
云数据库MongoDB版（副本集架构）同步至云数据库...
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
散点层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
散点层
重要 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示value值为0~10的数据将展示为10的大小，类型2设置为20，则表示value值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3级，...
散点层（线性渐变）
当散点层请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 ...
数据集成侧同步任务能力说明
背景信息 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个 离线同步、实时同步 和 数据处理 等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，DataWorks提出...
自建数据库MongoDB版（分片集群架构）迁移至云数据库...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将本地MongoDB（分片集群架构）中的各个Shard节点，迁移至阿里云MongoDB（副本集架构或分片集群架构）实例来实现迁移上云。通过DTS的增量迁移功能，可以实现在本地应用不停...
自建数据库MongoDB版（分片集群架构）迁移至云数据库...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将本地MongoDB（分片集群架构）中的各个Shard节点，迁移至阿里云MongoDB（副本集架构或分片集群架构）实例来实现迁移上云。通过DTS的增量迁移功能，可以实现在本地应用不停...
技术原理
X 1.0 解决了OLTP数据库面对海量数据下的存储、并发方面的扩展性问题，但由于缺失多机并行查询加速能力和列存储等能力，无法满足对实时性计算和复杂查询都要求较高的在线业务场景，同时还面临着ETL（Extract-Transform-Loa）数据异步传输...
云数据库MongoDB版（单节点架构）全量迁移至云数据库...
源数据库（单节点架构）目标数据库（所有架构）云数据库MongoDB版 云数据库MongoDB版 ECS上的自建数据库 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 有公网IP的自建数据...
云数据库MongoDB版（单节点架构）全量迁移至云数据库...
源数据库（单节点架构）目标数据库（所有架构）云数据库MongoDB版 云数据库MongoDB版 ECS上的自建数据库 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 有公网IP的自建数据...
MySQL分库分表同步至Hologres（方案2.0）
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
升级到2.0版本还意味着您可以与PostgreSQL社区保持同步，提供更多的资源和支持，帮助您解决问题并学习数据库的最佳实践。强烈建议您升级到 PolarDB PostgreSQL版（兼容Oracle）2.0版本，充分利用其优势。迁移评估 在您考虑进行系统迁移之前...
云数据库MongoDB版（副本集架构）迁移至云数据库...
支持的源和目标数据库 源数据库（副本集架构）目标数据库（副本集架构、分片集群架构）云数据库MongoDB版 云数据库MongoDB版 ECS上的自建数据库 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过专线、VPN网关或智能...
云数据库MongoDB版（副本集架构）迁移至云数据库...
支持的源和目标数据库 源数据库（副本集架构）目标数据库（副本集架构、分片集群架构）云数据库MongoDB版 云数据库MongoDB版 ECS上的自建数据库 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过专线、VPN网关或智能...
散点层
当数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
PolarDB PostgreSQL版间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
云数据库Redis间的迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service，简称DTS），实现 云数据库Redis 间的迁移。前提条件 已创建源和目标 云数据库Redis。说明 源和目标 云数据库Redis 的创建方式，请参见 创建Redis实例。支持的版本，请参见 ...
云数据库MongoDB版（分片集群架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已创建源和目标 云数据库MongoDB...
云数据库MongoDB版（分片集群架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已创建源和目标 云数据库MongoDB...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
云数据库Redis实例间单向数据迁移
如果您需要将一个 云数据库 Redis 版 实例的数据迁移到另一个 云数据库 Redis 版 实例中，且您未创建新实例，推荐您通过 备份集克隆、数据闪回功能 将数据克隆至新实例，若您已创建新实例，建议您通过数据传输服务DTS（Data Transmission ...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您可以对企业数据进行实时分析，帮助您实现高性能的分析处理和在线数据探索。前提条件 确认DTS是否支持该版本的 RDS SQL Server 实例。支持的版本，请参见 迁移...
使用DTS迁移Redis
若您希望迁移部署在本地、ECS或其他云上的Redis数据库至 云数据库 Redis 版，且不影响业务正常运行，您可以使用数据传输服务DTS。DTS可以在不中断数据库服务的同时，将数据全量或者增量迁移至 云数据库 Redis 版。该方案相比使用AOF方式...
PolarDB-X 2.0同步至AnalyticDB PostgreSQL版
通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您可以对企业数据进行实时分析，帮助您实现高性能的分析处理和在线数据探索。前提条件 已创建存储空间大于源 PolarDB-X 2.0 实例已占用存储空间的目标 AnalyticDB...
RDS MySQL迁移至PolarDB-X 1.0
数据传输服务DTS（Data Transmission Service）支持将RDS MySQL迁移至PolarDB-X 1.0。支持的源数据库 MySQL迁移至PolarDB-X 1.0实例，支持源数据库MySQL为以下类型。本文以RDS MySQL实例为例介绍配置流程，其他类型的源数据库配置流程与本...
RDS PostgreSQL迁移至RDS MySQL
本文以 RDS PostgreSQL 实例为源数据库、以 RDS MySQL 实例为目标数据库介绍配置流程，其他数据源配置流程与本案例类似。RDS PostgreSQL 迁移至 RDS MySQL。自建PostgreSQL迁移至自建MySQL。前提条件 已创建源 RDS PostgreSQL 实例，详情请...
- 产品推荐
- 这些文档可能帮助您