通过DTS采集数据

通过阿里数据传输中数据同步(DTS),将RDS的数据实时传输至DataHub中。创建DataHub项目。登录 DataHub控制台。在 项目管理 中,选择区域,本案例选择 华东1 区。单击 创建Project,输入 名称 和 描述,创建一个DataHub项目。本案例的...

概述

当源库不断有业务写入时,数据传输会在全量数据迁移启动前,启动增量拉取模块,以拉取源实例中的增量更新数据,对其进行解析、封装,并存储至数据传输中。当全量数据迁移完成后,数据传输会启动增量数据回放模块,从增量数据拉取模块中获取...

同步节点

字段映射 同名映射 单击 同名映射,则数据传输时,将源端表中数据传输至目标端表相同名称的字段中。同行映射 单击 同行映射,则数据传输时,源端和目标端表的同行字段映射。取消映射 取消设置的字段映射关系。通用参数 依赖配置 当同步节点...

同步节点

字段映射 同名映射 单击 同名映射,则数据传输时,将源端表中数据传输至目标端表相同名称的字段中。同行映射 单击 同行映射,则数据传输时,源端和目标端表的同行字段映射。取消映射 取消设置的字段映射关系。通用参数 依赖配置 当同步节点...

查看数据迁移项目的详情

在左侧导航栏,单击 数据传输>数据迁移。在 迁移项目列表 页面,单击目标项目的名称,进入详情页面查看其 基本信息 和 迁移详情。您可以在 数据迁移 页面,根据 状态 和 关键字 搜索目标数据迁移项目。数据迁移项目的状态包括:未配置:...

新建同步节点并运行后上线

参数 说明 同名映射 单击 同名映射,则数据传输时,将源端表中数据传输至目标端表相同名称的字段中。同行映射 单击 同名映射,则数据传输时,源端和目标端表的同行字段映射。取消映射 取消设置的字段映射关系。配置通用控制参数。参数 说明...

新建同步节点并运行后上线

参数 说明 同名映射 单击 同名映射,则数据传输时,将源端表中数据传输至目标端表相同名称的字段中。同行映射 单击 同名映射,则数据传输时,源端和目标端表的同行字段映射。取消映射 取消设置的字段映射关系。配置通用控制参数。参数 说明...

MTU配置说明

在您使用IPsec-VPN时,IPsec协议会对数据包进行加密,加密过程会扩大数据包长度,扩大后的数据包长度可能会超过网络中设置的最大数据传输单元MTU(Maximum Transmission Unit),影响数据包的正常传输。本文介绍如何设置MTU以确保数据包的...

查询诊断

您也可以根据需求选择按照占用内存、磁盘读取数据量、磁盘读取数据耗时、网络传输数据量、网络传输数据耗时对算子排序以及计算整体比例。算子统计信息介绍如下:名称 说明 算子名称 算子名称与编号,在计划树唯一。类型ID 算子类型编号。...

常见问题

在IPv6网络中,为了简化报文处理流程、提高处理效率,限定IPv6路由器不处理分片,分片只在源主机的IP层需要时进行,即如果传输路径中的数据包大于MTU,路由器会将该数据包丢弃并向源主机返回“数据包过大”的响应,源主机IP层对数据包分片...

查看账单

本文介绍如何查看数据传输服务DTS(Data Transmission Service)的账单明细。操作步骤 登录 用户中心。在左侧导航栏,选择 账单管理...在 产品 选择 数据传输服务。单击 搜索。说明 您也可以根据需求,按计费项、实例、账号等维度进行筛选。

数据传输费用(按时计费)

类型 公共云售价 金融云售价 说明 按时传输数据服务 0.16元/Slot/小时 0.304元/Slot/小时 如果一天使用时长超过16小时,建议直接购买包年包月预留并发数。相关文档 如果您希望了解MaxCompute中数据下载的计费规则,请参见 数据传输费用...

数据传输系统权限策略参考

在产品迭代过程数据传输会向系统策略中添加新的权限,用来支持新的功能和能力。系统策略的更新将会影响所有授予了该策略的 RAM 身份,包括 RAM 用户、RAM 用户组和 RAM 角色。有关 RAM 权限策略的更多信息,请参阅 权限策略概览。说明 ...

CreateProject-创建项目

tenant_name Tables object[]否 当前数据中传输表对象的配置。Mode 为 WILDCARD 时,该参数表示具体黑名单或白名单的配置,表和视图共用。Name string 否 表的名称。table_name MappedName string 否 表的映射名称。mapped_table Id ...

查看增量迁移链路状态和性能

功能 说明 增量迁移链路拓扑 增量迁移链路展示链路各模块间的数据传输情况和网络延迟信息,模块包含:源库、DTS采集模块、DTS缓存模块、DTS写入模块、目标库。相关参数解释如下:BPS:链路模块间每秒传输数据量,单位为MB/s。RPS:...

订阅事件通知

数据传输服务DTS(Data Transmission Service)已接入云监控平台,您可以通过事件订阅对重要的事件设置定制化的报警通知,让您及时了解事件的发生与进展,帮助您实时掌握事件动态,便于您在业务故障时快速分析并定位问题。背景信息 云监控...

监控任务性能

功能 说明 增量同步链路拓扑 增量同步链路主要展示链路各模块间的数据传输情况和网络延迟信息,模块包含:源库、DTS采集模块、DTS缓存模块、DTS写入模块、目标库。相关参数解释如下:BPS:链路模块间每秒传输数据量,单位为MB/s。RPS...

查看同步链路状态和性能

功能 说明 增量同步链路拓扑 增量同步链路拓扑主要展示链路各模块间的数据传输情况和网络延迟信息,模块包含:源库、DTS采集模块、DTS缓存模块、DTS写入模块、目标库。相关参数解释如下:BPS:链路模块间每秒传输数据量,单位为MB/s...

将MySQL数据迁移到Redis

使用Redis的管道传输功能,您可以将RDS MySQL或本地MySQL的数据快速迁移到Redis。使用其它引擎的RDS数据库也可以参照本文的方法将数据迁移到Redis。场景介绍 在应用与数据库之间使用Redis作为缓存层,扩展传统关系型数据库的服务能力,...

功能特性

计算 MaxCompute向用户提供了多种...数据公网下载 数据传输独享资源 数据传输服务(包年包月)资源组是MaxCompute为满足部分客户数据传输的需求推出的独享资源组,保障了数据传输资源的独享性,并提高了数据传输的稳定性。数据传输独享资源

修改实例参数

数据传输服务DTS(Data Transmission Service)支持修改实例的部分参数,帮助您降低数据传输过程的延迟,提升数据传输的性能和效率。前提条件 已创建同步或迁移实例,详情请参见 同步方案概览 或 迁移方案概览 的相关配置文档。注意...

跨阿里云账号传输专有网络下的自建数据库时如何配置...

背景信息 本地IDC或第三方云已通过专线、VPN网关或智能接入网关接入至阿里云,现在需要将本地IDC或第三方云的自建数据库通过专有网络传输至其他阿里云账号下的云数据。重要 在使用DTS跨阿里云账号传输专有网络下的自建数据库之前,您...

续费实例

数据传输服务DTS(Data Transmission Service)包年包月实例在到期后,请在7天内进行续费,否则链路会被释放且不可恢复。为避免影响您的业务,请在实例到期前及时续费或者开通自动续费。说明 按量付费是根据实际使用情况实时产生账单,无需...

数据传输系统权限策略参考

在产品迭代过程,云数据传输会向系统策略添加新的权限,用来支持新的功能和能力。系统策略的更新将会影响所有授予了该策略的 RAM 身份,包括 RAM 用户、RAM 用户组和 RAM 角色。有关 RAM 权限策略的更多信息,请参阅 权限策略概览。...

转换计费方式

确认无误后,阅读并勾选 信息配置 的《数据传输(按量付费)服务条款》。单击 支付。操作步骤(旧版控制台)登录 数据传输控制台。在左侧导航栏,单击 数据同步 或 数据订阅。找到目标任务,单击右边 操作 列的 转包年包月。在弹出的 ...

调整迁移速率

数据传输服务DTS(Data Transmission Service)的同步和迁移实例在进行数据传输的过程,您可以根据源和目标库的读写压力情况调整迁移的速率,以降低数据库的负载。注意事项 若您有修改同步对象的操作,则修改同步对象后生成的子任务,...

数据传输服务概述

数据传输服务是MaxCompute数据进出的最重要通道,其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel,同时在所有Region提供免费限量使用的数据传输服务共享资源组,也提供数据传输服务(包年包月)独享资源组,供您采购...

算子

上下游Stage间传输数据的方法有如下几种:Broadcast:表示上游Stage每个计算节点的数据都会复制到所有下游Stage的计算节点。Repartition:表示上游Stage每个节点的数据会按照固定的规则切分后,再分发到下游Stage的指定计算节点。...

网络资源

网络资源是流量入口和数据交互的基础设施,常见的网络资源风险点如下:网络带宽不足 指网络连接的带宽无法满足系统或应用程序的需求,导致网络传输速度慢,影响系统的响应和性能。针对网络资源带宽不足的情况:带宽监控预警:实时监控网络...

RDMA日志传输

全球数据网络GDN的从集群 不支持 开启RDMA日志传输功能。使用方法 您可以通过 loose_innodb_polar_log_rdma_transfer 参数开启RDMA日志传输功能。参数 级别 说明 loose_innodb_polar_log_rdma_transfer Global RDMA日志传输功能开关,...

数据安全

SSL在传输层对网络连接进行加密,能提升通信数据的安全性和完整性,但会增加网络连接响应时间。详细介绍及使用说明,请参见 设置SSL加密。透明数据加密 云原生多模数据库 Lindorm 支持透明数据加密TDE(Transparent Data Encryption)功能...

应用场景

数据异地灾备 传输方式:数据同步 如果您的应用程序部署在单个地域,可能会因为断电、网络中断等不可抗因素而导致服务中断。针对这种情况,您可以在另一个地域构建灾备中心,以提高服务可用性。DTS会在业务中心和灾备中心之间持续同步...

Stage级别诊断结果

较大的数据量被广播 Stage输入数据倾斜 Stage输出数据倾斜 较大的数据量被广播 问题 广播(Broadcast)是在两个相邻的Stage间,上游向下游Stage传输数据时所用的一种方法(更多详情,请参见 数据输出类型)。如果某个Stage广播了较多数据,...

创建全球数据库网络

全球数据库网络(Global Database Network,简称GDN)是由分布在同一个国家不同地域的多个 PolarDB 集群组成的网络,网络中所有集群的数据均保持同步。当您的业务部署在多个地域时,利用GDN可以实现应用访问数据库的低延迟和高稳定性。本文...

批量操作数据同步项目

在左侧导航栏,单击 数据传输>数据同步,即可进入 同步项目列表 页面。您可以在该页面选择需要进行批量操作的数据同步项目,进行相关批量操作。批量暂停 数据传输支持处于 运行 状态的数据同步项目进行 批量暂停 操作。在 同步项目列表 ...

使用数据传输同步数据

在 数据传输>数据同步 页面,单击新购买的数据同步项目后的 配置。如果您需要引用已有的项目配置信息,可以单击 引用配置。详情请参见 引用和清空数据同步项目配置。在 选择源和目标 页面,配置各项参数。参数 描述 同步项目名称 建议使用...

新建 TiDB 数据

本文为您介绍如何在数据传输中新建 TiDB 数据源。前提条件 已获取相关数据库的 IP 地址和端口号。已存在用于数据迁移的数据库用户。建议您为数据迁移项目创建一个专属的数据库用户,该用户必须具备相关的数据操作权限。详情请参见 创建 ...

批量操作数据迁移项目

在左侧导航栏,单击 数据传输>数据迁移,即可进入 迁移项目列表 页面。您可以在该页面选择需要进行批量操作的数据迁移项目,进行相关批量操作。批量暂停 数据传输支持处于 运行 状态的数据迁移项目进行 批量暂停 操作。在 迁移项目列表 ...

数据传输独享资源费用(包年包月)

数据传输服务(包年包月)资源组是MaxCompute为满足部分客户数据传输的需求推出的独享资源组,保障了数据传输资源的独享性,并提高了数据传输的稳定性。本文为您介绍MaxCompute的数据传输服务(包年包月)资源组的计费规则。背景信息 ...

快速入门

在 明细账单 页签的 产品明细 字段,选择 云数据传输-公网 或 云数据传输-跨地域,即可看到公网或跨地域流量在CDT上的账单详情。关于CDT账单的详细字段信息,请参见 账单查询。相关文档 您将云产品的流量计费切换至CDT后,可以根据标签...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据传输服务 云数据库 Redis 版 云数据库 RDS 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用