企业版产品系列
高速链路互联 数据库的计算节点和存储节点之间采用高速网络互联，并通过RDMA协议进行数据传输，使I/O性能不再成为瓶颈。数据可靠性和一致性 数据库存储节点的数据采用多副本形式，确保数据的可靠性，并通过Parallel-Raft协议保证数据的一致...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
什么是ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
PolarDB PostgreSQL版迁移至RDS PostgreSQL
其他限制 由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量数据迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。DTS会尝试恢复七天之内迁移失败的任务。因此业务切换至目标实例前，请务必结束或...
流式ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
PolarDB PostgreSQL版同步至RDS PostgreSQL
数据传输服务DTS（Data Transmission Service）支持将 PolarDB PostgreSQL版 同步至 RDS PostgreSQL。前提条件 已创建源 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已创建目标 RDS PostgreSQL ...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
PolarDB PostgreSQL版间的迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现 PolarDB PostgreSQL版 集群间的数据迁移。前提条件 已创建存储空间大于源 PolarDB PostgreSQL版 已占用存储空间的目标 PolarDB PostgreSQL版 集群。创建方法，请参见 ...
自建Oracle迁移至PolarDB-X
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
PolarDB PostgreSQL版间的同步
数据传输服务DTS（Data Transmission Service）支持 PolarDB PostgreSQL版 间的同步。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB PostgreSQL版 实例...
整体架构
云原生数据仓库AnalyticDB MySQL版 是阿里巴巴自主研发、经过超大规模以及核心业务验证的PB级实时数据仓库。概述 自2012年第一次在集团发布上线以来，AnalyticDB MySQL版 至今已累计迭代发布近百个版本，支撑起集团内的电商、广告、物流、...
PolarDB PostgreSQL版同步至云原生数据仓库AnalyticDB...
数据传输服务DTS（Data Transmission Service）支持将 PolarDB PostgreSQL版 同步至 云原生数据仓库AnalyticDB PostgreSQL版。前提条件 已创建目标 AnalyticDB PostgreSQL版 实例，如未创建请参见 创建实例。已将源 PolarDB PostgreSQL版 ...
PolarDB PostgreSQL版迁移至云原生数据仓库AnalyticDB...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB PostgreSQL版 的数据迁移至 云原生数据仓库AnalyticDB PostgreSQL版。前提条件 已创建存储空间大于源 PolarDB PostgreSQL版 已占用存储空间的目标 AnalyticDB ...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
导入与导出
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
RDS PostgreSQL间的数据迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现 RDS PostgreSQL 间的结构迁移、全量数据迁移以及增量数据迁移。同时使用这三种迁移类型可以实现在业务不停服的情况下，平滑地完成数据库的迁移。前提条件 已创建源和...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
连接PostgreSQL实例
Smartbi RDS PostgreSQL支持接入 Smartbi，在Smartbi中对数据进行分析处理，满足您在企业级报表、数据可视化分析、自助探索分析、数据挖掘建模、AI 智能分析等大数据分析需求。下文以 Smartbi V10.5 版本为例，介绍如何连接RDS PostgreSQL...
连接PostgreSQL实例
Smartbi RDS PostgreSQL支持接入 Smartbi，在Smartbi中对数据进行分析处理，满足您在企业级报表、数据可视化分析、自助探索分析、数据挖掘建模、AI 智能分析等大数据分析需求。下文以 Smartbi V10.5 版本为例，介绍如何连接RDS PostgreSQL...
从RDS PPAS迁移至PolarDB PostgreSQL版（兼容Oracle）...
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
透明数据加密概述
什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和解密。通过在数据库层执行静态数据加密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息。经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
RDS PostgreSQL间的单向同步
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现 RDS PostgreSQL 间的单向同步。前提条件 已创建源库和目标数据库 RDS PostgreSQL 实例，创建方式，请参见 创建RDS PostgreSQL实例。说明 建议源库和目标数据库的版本...
使用DTS迁移实例
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现 RDS PostgreSQL 间的结构迁移、全量数据迁移以及增量数据迁移。同时使用这三种迁移类型可以实现在业务不停服的情况下，平滑地完成数据库的迁移。前提条件 已创建源和...
自建PostgreSQL迁移至云原生数据仓库 AnalyticDB ...
本文介绍如何使用数据传输服务DTS（Data Transmission Service）将自建PostgreSQL迁移至 云原生数据仓库AnalyticDB PostgreSQL版。前提条件 已创建目标 AnalyticDB PostgreSQL 实例，详情请参见 创建实例。目标 AnalyticDB PostgreSQL 实例...
自建PostgreSQL迁移至RDS PostgreSQL
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标库的表存储空间会比源库的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
设置透明数据加密
在安全合规或静态数据加密等场景下，推荐使用透明数据加密TDE功能，对数据文件执行实时I/O加密和解密，通过在数据库层执行静态数据加密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息，有效提高数据库中敏感数据的安全性。...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
常见问题
I0325 20:27:50.410579 15259 data_consumer_group.cpp:131]consumer group done:41448fb1a0ca59ad-30e34dabfa7e47a0.consume time(ms)=3261,received rows=179190,received bytes=9855450,eos:1,left_time:261,left_bytes:514432550,...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
2020年
本文介绍 PolarDB PostgreSQL版（兼容Oracle）的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容Oracle）的内核小版本的版本号：show polar_version;2020年12...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
通用云盘IO加速功能技术介绍
当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品推出新的存储类型——通用云盘。在兼容ESSD云盘所有特性的基础上，通用云盘采用三级存储架构对不同类型的数据和缓存进行分级管理和读写，并且引入...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
IO加速
当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品推出新的存储类型——通用云盘。在兼容ESSD云盘所有特性的基础上，通用云盘采用三级存储架构对不同类型的数据和缓存进行分级管理和读写，并且引入...
一键建仓
数据管理DMS一键建仓功能可以实现一键创建实时同步的数据仓库，数据可在秒级的延迟下，同步至AnalyticDB MySQL版数据库中，帮助您更实时、准确地掌握业务情况，以便更好地进行业务分析和决策，提升业务效果。本文介绍如何在数据管理DMS中...
通用云盘IO加速功能
当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品推出新的存储类型——通用云盘。在兼容ESSD云盘所有特性的基础上，通用云盘采用三级存储架构对不同类型的数据和缓存进行分级管理和读写，并且引入...
通用云盘IO加速功能
当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品推出新的存储类型——通用云盘。在兼容ESSD云盘所有特性的基础上，通用云盘采用三级存储架构对不同类型的数据和缓存进行分级管理和读写，并且引入...
- 产品推荐
- 这些文档可能帮助您