数据引入层（ODS）
数据集成提供数据同步解决方案，您可以通过配置同步规则，实现离线数据全量及增量同步、增量数据实时写入、增量数据和全量数据定时自动合并写入新的全量表分区。详情请参见 同步解决方案。ODS层的表建议以统计日期及时间分区表的方式存储，...
数据引入层（ODS）
数据集成提供数据同步解决方案，您可以通过配置同步规则，实现离线数据全量及增量同步、增量数据实时写入、增量数据和全量数据定时自动合并写入新的全量表分区。详情请参见 同步解决方案。ODS层的表建议以统计日期及时间分区表的方式存储，...
大数据计算服务MaxCompute
增量源表独有 增量源表通过间歇轮询MaxCompute服务器获取所有的分区信息来发现新增的分区，读取新分区时要求分区内数据已写入完毕，详情参见 增量MaxCompute源表监听到新分区时，如果该分区还有数据没有写完，如何处理？通过startPartition...
DLA Lakehouse实时入湖
在Lakehouse技术中，⾮常关键的技术就是多版本的⽂件管理协议，它提供⼊湖和分析过程中的增量数据实时写⼊、ACID事务和多版本、小⽂件⾃动合并优化、元信息校验和⾃动进化、⾼效的列式分析格式、⾼效的索引优化、超⼤分区表存储等能⼒。...
备份中心概述
容器服务ACK备份中心为无状态或有状态应用的备份、恢复与迁移提供了一站式的解决方案，特别是对混合云、多集群的有状态应用提供了数据容灾和应用迁移能力。例如，集群内应用和数据的定时备份、统一恢复，以及跨可用区、跨地域的迁移。本文...
什么是图计算服务
Graph Compute拥有一套自研分布式索引构建服务，使得离线全量、增量、实时数据统一入口，离线全量、批次增量索引、配合在线实时增量索引解决在线索引LSM tree过度膨胀的问题。实时数据更新写入支持最终一致性，性能对比强一致性的写入对比...
VMware虚机迁移
本文介绍如何在云备份控制台将线下VMware虚拟机从一个主机或存储位置迁移上云。前提条件 已了解阿里云ECS实例对操作系统和VMware平台的使用限制。更多信息，请参见 VMware虚机迁移使用限制。背景信息 VMware虚拟机迁移服务主要针对VMware...
语言简介
全局操作函数 支持近三十种全局操作函数，通过参数来控制步骤操作，且可以接受其他表达式函数的结果作为参数，其中控制函数不仅可以与表达式函数组合，也可以与其他步骤函数进行组合。主要包括以下种类函数：流程控制函数 支持基于条件判断...
整库离线同步至Elasticsearch
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至Elasticsearch为例，为您讲解如何将整库数据离线同步至Elasticsearch。前提条件 已...
使用Tapdata Cloud导入MySQL数据
增量同步并发写入 打开 增量同步并发写入 开关后，增量同步时，源端数据会并发写入目标端。增量滞后判断时间设置 用于快速判断复制任务是否存在滞后。打开 增量滞后判断时间设置 开关并设置判断时间。增量同步时，如果增量同步的滞后时间...
功能特性
数据访问 作业管理 Lindorm计算引擎支持通过Lindorm管理控制台、DMS服务和DataWorks平台调度计算作业，满足用户在数据生产、交互式分析、机器学习和图计算等场景中的计算需求。作业管理 Ganos时空服务 时空索引 Lindorm宽表引擎在原有的...
从PolarDB MySQL版同步至Datahub
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。通过数据传输服务（Data Transmission Service，简称DTS），您可以将 PolarDB ...
MaxCompute（原ODPS）数据源配置
如果您要导入到OpenSearch-行业算法版的数据是由MaxCompute平台计算而产生的，则可以在应用中配置MaxCompute源信息，在触发应用索引重建任务后，系统会自动去获取 MaxCompute 表中的全量数据，后续的增量需通过调用SDK API推送过来。...
同步 OceanBase 数据库的数据至 RocketMQ
背景信息 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。数据传输的数据同步功能可以帮助您实现 OceanBase 数据库的物理表和 RocketMQ 数据源之间的数据实时同步，扩展消息处理能力。...
MaxCompute（原ODPS）数据源配置
如果您要导入到OpenSearch的数据是由MaxCompute平台计算而产生的，则可以在应用中配置MaxCompute源信息，在触发应用索引重建任务后，系统会自动去获取 MaxCompute 表中的全量数据，后续的增量需通过调用SDK API推送过来。设置账号AccessKey...
从RDS MySQL同步至DataHub
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS ...
从PolarDB MySQL版同步至Datahub
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。通过数据传输服务（Data Transmission Service，简称DTS），您可以将 PolarDB ...
全增量实时同步至Hologres
全增量实时同步方案为您先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建全增量实时同步至Hologres任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，...
Db2 for LUW同步至PolarDB-X 2.0
数据传输服务DTS（Data Transmission Service）支持将 Db2 for LUW 数据库同步至 PolarDB分布式版。前提条件 已创建源 Db2 for LUW 数据库和目标 PolarDB分布式版 实例，支持的版本，请参见 同步方案概览。说明 PolarDB分布式版 需兼容...
数据集成服务
2 通过向导模式配置离线同步任务 DataWorks数据集成提供向导式的开发引导，通过可视化的填写和下一步的引导，助您快速完成数据同步任务的配置工作。向导模式的学习成本低，但无法支持部分高级功能。3 数据迁移结果验证 请根据迁移方案在...
从RDS MySQL同步至DataHub
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS ...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
如果您开启了设置分区键，则需要：在 分区键表达式 文本框中输入表达式。例如，PARTITION BY VALUE('id')。设置生命周期。生命周期用于分区管理，对分区进行排序，超出 N 的分区将被过滤。单击 确定。移除/全部移除 数据传输支持在数据映射...
支持的数据库引擎与功能
数据源类型 MySQL SQL Server PostgreSQL MariaDB MySQL Oracle PostgreSQL PolarDB分布式版 全量数据备份 ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ 增量日志备份 ✔️ ❌ ❌ ✔️ ✔️ ❌ ❌ 实时备份 RPO（秒级）RPO（天级）RPO（天级）RPO...
PolarDB MySQL版集群间的数据迁移
PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库，可完全兼容MySQL，具备简单易用、高性能、高可靠、高可用等优势。通过数据传输服务DTS（Data Transmission Service），可以帮助您实现 PolarDB MySQL版 集群间的数据迁移。...
从RDS MySQL迁移至自建Kafka
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
PolarDB-X 2.0同步至MaxCompute
是否限制增量同步速率 您也可以根据实际情况，选择是否对增量同步任务进行限速设置（设置 每秒增量同步的行数RPS 和 每秒增量同步的数据量(MB)BPS），以缓解目标库的压力。环境标签 您可以根据实际情况，选择用于标识实例的环境标签。本...
PolarDB MySQL版迁移至云原生数据仓库 AnalyticDB ...
是否限制增量迁移速率 您也可以根据实际情况，选择是否对增量迁移任务进行限速设置（设置 每秒增量迁移的行数RPS 和 每秒增量迁移的数据量(MB)BPS），以缓解目标库的压力。说明 仅当 迁移类型 选择了 增量迁移 时才可以配置。环境标签 您...
同步 OceanBase 数据库的数据至 Kafka
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
PolarDB MySQL版间迁移
否，适配gh-ost：不迁移Online DDL变更产生的临时表数据，只迁移源库使用gh-ost执行的原始DDL数据，同时您可以使用默认的或者自行配置gh-ost影子表和无用表的正则表达式。说明 该方案会导致目标库锁表。是否迁移账号 请根据实际情况选择...
PolarDB PostgreSQL版（兼容Oracle）迁移至自建Oracle
源 PolarDB PostgreSQL版（兼容Oracle）集群中，wal_level 参数的值需设置为 logical，即在预写式日志WAL（Write-ahead logging）中增加支持逻辑编码所需的信息。详情请参见 设置集群参数。注意事项 说明 在全量迁移和增量迁移过程中，DTS...
从PolarDB PostgreSQL版（兼容Oracle）集群同步至自建...
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
RDS MySQL实例间的迁移
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在业务不停服的情况下，平滑地完成数据库的迁移。支持的源和目标数据库 本文以 RDS MySQL 实例为源和目标数据库介绍配置流程，其他数据源配置流程与本案例...
技术原理
示意图如下：读写分离对事务的支持 读写分离仅对显式事务（即需要显式提交或回滚的事务）以外的读请求（即查询请求）有效，写请求和显式事务中的读请求（包括只读事务）均在主实例中执行，不会被分流到只读实例。常见的读、写请求SQL语句...
PolarDB PostgreSQL版（兼容Oracle）集群间的数据迁移
源 PolarDB PostgreSQL版（兼容Oracle）集群中，wal_level 参数的值需设置为 logical，即在预写式日志WAL（Write-ahead logging）中增加支持逻辑编码所需的信息。详情请参见 设置集群参数。注意事项 DTS在执行全量数据迁移时将占用源库和...
自建MySQL迁移至RDS MySQL
DTS支持库表结构迁移、全量迁移以及增量迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建MySQL数据库的迁移上云。前提条件 自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。说明 若源库是其他云平台上的...
从RDS MySQL迁移至PolarDB MySQL版
PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库，可完全兼容MySQL，具备简单易用、高性能、高可靠、高可用等优势。通过数据传输服务DTS（Data Transmission Service），可以帮助您将RDS MySQL迁移至 PolarDB MySQL版。前提...
跨阿里云账号迁移PolarDB MySQL版
PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库，可完全兼容MySQL，具备简单易用、高性能、高可靠、高可用等优势。通过数据传输服务DTS（Data Transmission Service），可以帮助您将 PolarDB MySQL版 集群迁移至其他阿里云...
查询多个备份集
前提条件 目标数据库为MySQL、SQL Server、Oracle、PostgreSQL、PolarDB分布式版，且备份方式为 逻辑备份。说明 包含自建数据库、RDS云数据库和PolarDB云数据库，但不包含 PolarDB PostgreSQL版（兼容Oracle）数据库。费用说明 DBS会调用...
PolarDB-X 2.0同步至DataHub
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 2.0 同步至 阿里云流式数据服务DataHub，实现增量数据的实时同步。前提条件 已开通 DataHub，并且已创建用作接收同步数据的Project。具体操作请参见 快速入门...
主备切换
操作步骤 登录 PolarDB分布式版控制台。在页面左上角选择目标实例所在地域。在左侧导航栏中，单击 实例列表。找到目标 PolarDB-X 1.0 实例，单击实例ID。在左侧导航栏中单击 配置与管理>私有RDS管理。找到目标RDS实例，单击右侧 操作 栏中...
- 产品推荐
- 这些文档可能帮助您