新建同步节点并运行后上线
数据同步节点，实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。操作步骤 步骤一：登录节点任务设置页面 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，...
新建同步节点并运行后上线
数据同步节点，实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。操作步骤 步骤一：登录节点任务设置页面 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组...
平台安全诊断
DataWorks的平台安全诊断，为您提供了当前DataWorks工作空间与绑定的引擎在数据传输、存储、运算等过程中，与身份认证、访问权限控制、开发模式等功能相关的安全能力，以及诊断相关安全问题的最佳实践，帮助您及时发现平台的安全隐患，在...
计费项
数据传输服务DTS（Data Transmission Service）不同实例的收费项目不同，本文详细介绍了DTS产品的计费项和计费规则。DTS实例的价格主要与计费方式、实例的功能类型、实例的集群类型、源和目标数据库实例所属的地域、链路数量、订购时长等...
入仓解决方案
入仓解决方案包括：实时同步任务：基于离线数据集成的数据传输服务。新建实时同步任务，请参见 新建实时同步任务。实时迁移任务：基于数据传输服务DTS的数据传输服务。新建实时迁移任务，请参见 新建实时迁移任务。说明 基于DTS的数据同步...
暂停DTS实例
在左侧导航栏，选择 数据传输（DTS）>数据同步。说明 实际操作可能会因DMS的模式和布局不同，而有所差异。更多信息，请参见 极简模式 和 自定义DMS界面布局与样式。您也可以登录 新版DTS同步任务的列表页面。在 同步任务 右侧，选择同步...
安全性
由于加密密钥和数据将通过明文传输，此时建议启用数据链路SSL加密，来保证 AnalyticDB PostgreSQL版 和应用之间数据传输不被泄露。pgcrypto提供如下加密算法函数 MD5，SHA1，SHA224/256/384/512，Blowfish，AES128/256，Raw Encryption，...
算子
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
将MySQL数据迁移到Redis
使用Redis作为缓存首先需要将关系型数据库中的数据传输到Redis中。关系型数据库中库表结构的数据无法直接传入以键值结构保存数据的Redis数据库，迁移前需要将源端数据转换为特定的结构。这篇最佳实践以MySQL向Redis整表迁移为例，介绍如何...
自建SQL Server同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 自建SQL Server数据库支持的版本，请参见 同步方案概览。已创建...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 已创建源 RDS SQL Server 实例，支持的版本，请参见 同步方案...
查询诊断
AnalyticDB PostgreSQL版 查询分析功能可供您查看SQL执行计划以及对应统计信息，供您对查询进行分析和调优。本文介绍查询诊断功能的...网络传输数据量 Motion算子节点间网络传输的数据总量。网络传输耗时 Motion算子节点间网络传输数据耗时。
跨地域传输数据
日志服务支持通过数据加工实现跨地域传输数据，本文介绍跨地域传输数据的使用场景、操作步骤、计费等内容。使用场景 当您的业务分布在不同地域时，相关日志也会分布在不同地域。当您需要对不同地域的日志进行集中管理时，您可以使用日志...
分组聚合查询优化
因为数据已经经过了局部聚合，所以需要网络传输的数据较少，网络压力较小。数据重分布完成后，执行最终聚合，在最终聚合节点，需要把一个分组的值及其聚合状态维护在内存中，直到所有数据处理完成，以确保某个特定的分组值没有新的数据需要...
使用DTS进行数据迁移是否会覆盖掉已存在数据
概述 本文介绍使用DTS进行数据迁移是否会覆盖掉已存在数据。详细信息 如果配置迁移任务时，只迁移几个表，那么预检查时，会要求目标库中这些表必须没有数据，如果含有数据库的，那么预检查的“目标库是否为空”项会...适用于 数据传输服务 DTS
离线同步任务调优
离线同步任务配置 传输速度：是否设置任务同步速度上限值。并发：从源并行读取或并行写入数据存储端的最大线程数。WAIT资源。Bytes的设置：单个线程的 Bytes=1048576，在网速比较敏感时，会出现超时现象，此时建议将Bytes设置的较小。查询...
账单查询
产品 选择 云数据传输，统计项 选择 计费项，统计周期 选择 明细，即可看到云数据传输小时级别实例粒度的消费信息，包括实例、单价、用量、价格及资源包抵扣等。以 云数据传输-公网 明细账单为例，您可以查看流量消耗的具体云产品、云产品...
续费实例
确认无误后，阅读并勾选 信息配置 中的《数据传输（按量付费）服务条款》。单击 支付。自动续费 登录 数据传输服务控制台。在顶部导航栏，选择 费用>续费管理。在 续费管理 页面，筛选数据传输服务的实例。单击 手动续费 或 到期不续费 页...
数据传输系统权限策略参考
本文描述数据传输支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）产品...
列过滤
本文为您介绍如何使用数据传输提供的列过滤功能。操作步骤 将数据同步项目配置至 选择同步对象 步骤。详情请参见相应类型的 数据同步 项目文档。选择同步对象和映射方式后，在 选择同步范围 区域右侧的 目标端对象 列表中，鼠标悬停至目标...
常见问题
您在使用数据传输服务DTS（Data Transmission Service）时。如果收到DTS返回的错误信息，可查阅 常见报错 匹配解决方案。如果您没有收到具体的错误信息，请根据问题分类匹配问题和解决方案。问题分类 常见问题分为如下几种类型：计费问题 ...
云数据传输系统权限策略参考
本文描述云数据传输支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）产品...
数据传输规格说明
本文为您介绍 OceanBase 数据传输服务的规格说明及性能测试情况。注意事项 本文的规格说明参考的是测试数据，仅供您在选择规格时进行参考，不作为产品 SLA（服务等级协议）的评判依据。不同的实例规格对应了增量同步的不同 RPS 性能表现，...
常见问题
同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个阿里云账号下，进行数据同步时如何...
添加 MySQL 数据源的白名单
因为 VPC 或数据库实例对应的 VPC 可能在 ECS 平台进行访问限制，而作为数据迁移或数据同步的数据源，需要被数据传输服务器 IP 访问。复制 VPC ID。实例类型为 VPC 内自建数据库 时，在 VPC 下拉列表中选择目标 VPC 后，单击右侧的复制图标...
更改 Topic
适用场景 创建数据库至消息队列的数据同步项目时，数据传输支持您在选择需要同步的 Topic 类型后，通过 更改 Topic 功能重新选择 Topic 名称。操作步骤 将数据同步项目配置至 选择同步对象 步骤。详情请参见相应类型的 数据同步 项目文档。...
添加 OceanBase 数据源的白名单
因为 VPC 可能在 ECS 平台进行访问限制，而作为数据迁移或数据同步的数据源，需要被数据传输服务器 IP 访问。说明 如果租户参数 ob_tcp_invited_nodes 设置了白名单，会出现 sys 账号可以连通数据源，普通账号无法连接的问题。此时，请在...
添加 Oracle 数据源的白名单
因为 VPC 或数据库实例对应的 VPC 可能在 ECS 平台进行访问限制，而作为数据迁移或数据同步的数据源，需要被数据传输服务器 IP 访问。复制 VPC ID。实例类型为 VPC 内自建数据库 时，在 VPC 下拉列表中选择目标 VPC 后，单击右侧的复制图标...
到期或欠费说明
DTS实例到期或欠费后，数据传输任务将停止服务，如果7天内还未充值成功，系统将释放并删除该任务。警告 实例到期或欠费后有停机风险，系统会通知您，请及时续费或充值，避免对您的服务造成影响。实例计费类型 到期或欠费的影响 包年包月 ...
同步 OceanBase 数据库的数据至 Kafka
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 Kafka。背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用...
添加 Kafka 数据源的白名单
因为 VPC 可能在 ECS 平台进行访问限制，而作为数据迁移或数据同步的数据源，需要被数据传输服务器 IP 访问。在 VPC 下拉列表中选择目标 VPC 后，单击右侧的复制图标，复制并保存 VPC ID。进入云服务器 ECS 控制台的 安全组 页面，在 创建...
配置匹配规则
数据传输提供指定对象、导入对象和匹配规则三种方式供您选择。其中匹配规则方式支持您通过编写通配规则指定需要迁移或同步的对象，并且支持配置源端及目标端的对象映射逻辑，通过简单、高效的字符串匹配能力，可以有效地降低您在待迁移/...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
本文为您介绍如何同步 OceanBase 数据库 MySQL 租户的数据至云原生数据仓库 AnalyticDB MySQL 版。背景信息 AnalyticDB MySQL 版的基本介绍请参见 基础数据类型。AnalyticDB MySQL 版的建表、分区表和分布表的详情请参见 CREATE TABLE。...
转换计费方式
确认无误后，阅读并勾选 信息配置 中的《数据传输（按量付费）服务条款》。单击 支付。操作步骤（旧版控制台）登录 数据传输控制台。在左侧导航栏，单击 数据同步 或 数据订阅。找到目标任务，单击右边 操作 列的 转包年包月。在弹出的 ...
数据库库表重命名
本文为您介绍如何使用数据传输提供的重命名迁移/同步对象名称的功能。适用场景 默认情况下，被迁移或同步的对象（例如数据库、表等）在源端和目标端的名称相同，您可以通过数据传输提供的对象名称重命名功能，设置被迁移或同步的对象在目标...
数据传输服务概述
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
异地备份方案概览
安全：系统后台通过专有网络进行跨地域传输，提高数据传输的安全性。备份性能：备份速度快。操作便捷：在RDS控制台打开 跨地域 开关即可。RDS MariaDB PolarDB MySQL引擎 自建MariaDB数据库 百GB级别的自建MySQL数据库 其他云厂商的MySQL...
数据订阅启动SDK报如下的错误“keep alive error”
问题原因 SDK运行的服务器没有公网IP，不能连接数据传输服务的服务器，或者因为订阅通道的消费时间点不在订阅通道的数据范围之内。解决方案 创建公网IP，建立SDK的公网连接，或者重新修改消费位点，具体的修改方法详见 修改订阅通道消费...
配置任务常见错误码及排查方法
DTS.Msg.InvalidIpAddress 配置 接入方式 为 公网IP、专线/VPN网关/智能网关 或 云企业网CEN 的数据库实例的DTS任务时。原因：输入的IP地址格式错误，导致无法解析。解决方法：输入正确的IP地址后重试。DTS.Msg.PauseDenied....
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
- 产品推荐
- 这些文档可能帮助您