分组聚合查询优化
因为数据已经经过了局部聚合，所以需要网络传输的数据较少，网络压力较小。数据重分布完成后，执行最终聚合，在最终聚合节点，需要把一个分组的值及其聚合状态维护在内存中，直到所有数据处理完成，以确保某个特定的分组值没有新的数据需要...
使用数据订阅功能传输数据后日期数据格式发生变化
概述 本文主要介绍MySQL中数据类型为Date的数据，通过数据订阅传输数据后，数据格式由 YYYY-MM-DD 格式变化为 YYYY:MM:DD 的原因。详细信息 DTS默认数据存储格式为 YYYY:MM:DD，YYYY-MM-DD 是展现出来的格式，实际存储是 YYYY:MM:DD 格式。...
范围选择器功能介绍
选择数据格式 在选中地图中的区域范围后，可自定义选择所需的范围数据格式内容，可选数据格式内容包括如下几种：JSON API：单击链接右侧的 图标，即可复制JSON数据的API链接。JEOJEON API：单击链接右侧的 图标，即可复制JEOJEON数据的API...
范围选择器功能介绍
选择数据格式 在选中地图中的区域范围后，可自定义选择所需的范围数据格式内容，可选数据格式内容包括如下几种：JSON API：单击链接右侧的 图标，即可复制JSON数据的API链接。GeoJSON API：单击链接右侧的 图标，即可复制GeoJSON数据的API...
添加数据
说明 数据格式选择Shapefile、GeoTiff、Images三种类型时，支持批量纳管，可一次性选择多个目录和文件。操作完成后，可以在 数据管理 页面，查看您已经添加的数据。相关操作 在 数据管理 页面，执行如下操作：操作 说明 搜索数据 在左上角...
新建 TiDB 数据源
TiDB 数据格式 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户时，您可以选择 TiCDC 或 TiDB Binlog 格式的数据，请从下拉列表中进行选择。备注（可选）数据源的备注信息。单击 测试连接，验证数据传输和数据源的网络连接，以及...
准备工作概览
准备工作概览 适用场景 传输数据所用的网络 需执行的准备工作 配置时需选择的接入方式 源或目标库部署在本地，且具备公网地址。公网 添加DTS服务器的IP地址到自建库的白名单 公网IP 源或目标库部署在本地，但是不具备公网地址。云企业网 ...
数据传输费用（按时计费）
类型 公共云售价 金融云售价 说明 按时传输数据服务 0.16元/Slot/小时 0.304元/Slot/小时 如果一天使用时长超过16小时，建议直接购买包年包月预留并发数。相关文档 如果您希望了解MaxCompute中数据下载的计费规则，请参见 数据传输费用...
上传数据
参数 配置说明 文件格式 您可以根据待上传的数据文件类型选择文件格式，当前支持 CSV 和 自定义文本文件 两种文件格式，其中自定义文本文件支持.txt、.csv 和.log 类型的文件。选择文件 单击 浏览，根据界面提示选择待上传的数据文件。选择...
导出结构和数据
创建导出任务时，如果您指定 数据格式 为 SQL 格式，那文件包中的结构定义文件是以 对象名-schema.sql 命名的 SQL 文本，数据文件是以 对象名.sql 命名的 SQL 文本，其中对象名与数据库实际对象名保持一致。如果您指定 数据格式 为 CSV ...
导入结构和数据
创建导入任务时在面板中的 导入内容 项中选择了 ZIP 压缩文件 后还需在 数据格式 项中选择压缩包中的数据格式是 CSV 格式 或 SQL 格式。批量导入时支持导入 SQL 文件，SQL 文件是以.sql 结尾包含可直接在数据库中执行的 SELECT、INSERT、...
数据传输独享资源费用（包年包月）
数据传输服务（包年包月）资源组是MaxCompute为满足部分客户数据传输的需求推出的独享资源组，保障了数据传输资源的独享性，并提高了数据传输的稳定性。本文为您介绍MaxCompute的数据传输服务（包年包月）资源组的计费规则。背景信息 ...
数据传输计费说明
本文为您介绍云数据库 OceanBase 的数据传输服务的定价和计费说明。费用概述 云数据库 OceanBase 数据传输服务提供数据迁移和数据同步两种项目，不同项目的计费方式略有不同。数据迁移项目：目前仅支持后付费模式，即按量付费计费模式。...
计费方式
数据传输服务DTS（Data Transmission Service）不同实例支持的计费方式不同，本文详细介绍了DTS产品的计费方式。说明 DTS产品的计费项，请参见 计费项。计费方式 支持的实例 说明 包年包月 数据订阅实例 数据同步实例 也称为预付费，即在...
常见问题
由于DTS的传输性能受DTS内部、源端和目标端数据库实例的负载、待传输的数据量、DTS实例是否存在增量任务、网络等多种因素影响，所以无法预估DTS任务所需的时间，若对性能有较高要求，建议选择性能上限较大的规格。关于规格的更多信息，请...
数据传输服务概述
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
数据集成概述
部分地域之间可以通过经典网络传输，但不能保证其连通性。如果测试经典网络不通，建议您使用公网方式进行连接。数据传输：数据集成仅完成数据同步（传输），本身不提供数据流的消费方式。数据一致性：数据集成同步仅支持at least once，不...
同阿里云主账号访问
在进行数据同步前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
同步 OceanBase 数据库的数据至 RocketMQ
在 数据传输>数据同步 页面，单击新购买的数据同步项目后的 配置。如果您需要引用已有的项目配置信息，可以单击 引用配置。详情请参见 引用和清空数据同步项目配置。在 选择源和目标 页面，配置各项参数。参数 描述 同步项目名称 建议使用...
基本概念
S3M：S3M(Spatial 3D Model)是一种开放式、可扩展的空间三维数据格式，旨为海量多源异构三维地理空间数据在不同终端之间的传输、交换与共享提供数据格式的具体规范。该格式由中国地理信息产业协会提出并形成的空间三维模型数据格式团体标准...
自建SQL Server同步至PolarDB MySQL版
已和源端数据库联通的VPC 选择自建SQL Server数据库所属的专有网络ID。IP地址 填入自建SQL Server数据库的服务器IP地址。端口 填入自建SQL Server数据库的服务端口，默认为 1433。数据库账号 填入自建SQL Server数据库账号，需具有sysadmin...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
在 数据传输>数据同步 页面，单击新购买的数据同步项目后的 配置。如果您需要引用已有的项目配置信息，可以单击 引用配置。详情请参见 引用和清空数据同步项目配置。在 选择源和目标 页面，配置各项参数。参数 描述 同步项目名称 建议使用...
步骤二：实时项目规划
说明 访问方式可以根据数据库创建时的网络类型进行选择。公网数据库：可通过公网访问的数据库。阿里云数据库：在阿里云上创建的数据库。ECS（VPC）自建数据库：使用（VPC）自建的数据库。高级设置 使用 默认配置。单击 测试连接。连通性...
步骤二：实时项目规划
说明 访问方式可以根据数据库创建时的网络类型进行选择。公网数据库：可通过公网访问的数据库。阿里云数据库：在阿里云上创建的数据库。ECS（VPC）自建数据库：使用（VPC）自建的数据库。高级设置 使用 默认配置。单击 测试连接。连通性...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
查询诊断
您也可以根据需求选择按照占用内存、磁盘读取数据量、磁盘读取数据耗时、网络传输数据量、网络传输数据耗时对算子排序以及计算整体比例。算子统计信息介绍如下：名称 说明 算子名称 算子名称与编号，在计划树中唯一。类型ID 算子类型编号。...
更改 Topic
适用场景 创建数据库至消息队列的数据同步项目时，数据传输支持您在选择需要同步的 Topic 类型后，通过 更改 Topic 功能重新选择 Topic 名称。操作步骤 将数据同步项目配置至 选择同步对象 步骤。详情请参见相应类型的 数据同步 项目文档。...
异构数据源访问
数据格式透明：支持常见的数据格式，如CSV、ORC、Parquet、JSON、Avro等。高效数据处理：可利用 AnalyticDB PostgreSQL版 数据库的并行处理能力，实现高效的数据读写操作。简化数据集成：可通过编写SQL语句来访问外部数据源，不必担心不同...
创建FTP数据源
通过创建FTP数据源能够实现Dataphin读取FTP的业务数据或向FTP写入数据。本文为您介绍如何创建FTP数据源。背景信息 FTP即文件传输协议。如果您使用的是FTP，在对接Dataphin进行数据开发或将Dataphin的数据写入至FTP的场景中，您需要先完成...
购买与使用独享数据传输服务资源组
独享数据传输服务资源组可以提供更高的数据传输速度和更好的网络条件，以减少传输时间并提高效率。本文为您介绍如何购买、使用独享数据传输服务资源组。背景信息 MaxCompute当前在各个地域均为您提供了免费的 公共数据传输服务资源组，为该...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
在 数据传输>数据迁移 页面，单击新购买的数据迁移项目后的 配置。如果您需要引用已有的项目配置信息，可以单击 引用配置。详情请参见 引用和清空数据迁移项目配置。在 选择源和目标 页面，配置各项参数。参数 描述 迁移项目名称 建议使用...
从自建MySQL同步至阿里云消息队列Kafka版
配置 说明 投递到kafka的数据格式 同步到Kafka集群中的数据以avro格式或者Canal Json格式存储，定义详情请参见 Kafka集群的数据存储格式。同步到Kafka Partition策略 根据业务需求选择同步的策略，详细介绍请参见 Kafka Partition同步策略...
通过云监控平台为DTS任务设置报警规则
产品类型 选择 数据传输。事件类型 保持默认的 全部类型。事件等级 保持默认的 全部级别。事件名称 在下拉框中选择事件名称，目前支持因底层硬件升级腾挪任务、任务异常、任务恢复事件。说明 任务涵盖数据迁移、数据同步和数据订阅。说明 ...
账单查询
产品 选择 云数据传输，统计项 选择 计费项，统计周期 选择 明细，即可看到云数据传输小时级别实例粒度的消费信息，包括实例、单价、用量、价格及资源包抵扣等。以 云数据传输-公网 明细账单为例，您可以查看流量消耗的具体云产品、云产品...
同步 OceanBase 数据库的数据至 Kafka
在 数据传输>数据同步 页面，单击新购买的数据同步项目后的 配置。如果您需要引用已有的项目配置信息，可以单击 引用配置。详情请参见 引用和清空数据同步项目配置。在 选择源和目标 页面，配置各项参数。参数 描述 同步项目名称 建议使用...
从自建Redis迁移至MyBase Redis
对于List列表，由于DTS在调用 psync 或 sync 传输数据时，不会对目标端已有的数据执行 Flush 操作，所以可能出现重复的数据。迁移期间，如自建Redis发生扩缩容（如增加或者减少分片）、规格变配（如扩大内存），则您需重新配置任务。且为...
从通过专线、VPN网关或智能接入网关接入的自建MySQL...
配置 说明 投递到kafka的数据格式 同步到Kafka集群中的数据以avro格式或者Canal Json格式存储，定义详情请参见 Kafka集群的数据存储格式。同步到Kafka Partition策略 根据业务需求选择同步的策略，详细介绍请参见 Kafka Partition同步策略...
从自建Redis迁移至阿里云Redis
对于List列表，由于DTS在调用 psync 或 sync 传输数据时，不会对目标端已有的数据执行 Flush 操作，所以可能出现重复的数据。迁移期间，如自建Redis发生扩缩容（如增加或者减少分片）、规格变配（如扩大内存），则您需重新配置任务。且为...
RDS MySQL同步至函数计算FC
数据传输服务DTS（Data Transmission Service）支持将 RDS MySQL 实例的全量或增量数据同步至函数计算FC的指定函数。您可以编写函数代码，结合同步至函数中的数据，对数据进行二次加工。前提条件 已创建源 RDS MySQL 实例。创建方式，请...
- 产品推荐
- 这些文档可能帮助您