常见问题
删除增量同步任务源库中的数据，目标库中已同步的数据是否会删除？若增量同步任务所需同步的DML操作没有勾选 delete，则目标库中数据不会被删除，否则目标库中已同步的数据会被删除。Redis间的同步，目标Redis实例的数据会被覆盖么 相同Key...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
配置页面的右侧为源端数据库表的预览，是根据上述步骤中配置的数据源预览出来的待同步的数据库表和已选择好要同步的数据库表的预览情况。您可根据待同步的源端数据库表的数量，参考以下操作建议，快速选择要同步的库表。如果您的数据库表...
Kafka Partition迁移策略说明
配置方法 您需要在配置数据迁移任务的 迁移类型及列表 环节中配置Kafka Partition迁移策略。配置案例请参见 从自建Oracle迁移至阿里云消息队列Kafka，更多相关案例请参见 迁移方案概览。警告 数据迁移任务启动后，请勿修改目标Topic的...
常用功能配置（精简版）
具体规则如下：防护目录：全部目录（排除系统目录）排除指定目录：显示排除目录的列表 防护文件类型：全部文件类型 数据备份开始时间：00:00~03:00的任意时刻 备份策略执行间隔：1天 备份数据保留时间：7天 备份网络带宽限制：0 MByte/s ...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的迁移。背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个...
通过数据同步功能同步SLS至湖仓版（推荐）
AnalyticDB for MySQL 湖仓版（3.0）支持新建SLS同步链路，通过同步链路从指定时间位点将日志服务LogStore中的数据实时同步至 湖仓版（3.0），以满足近实时产出、全量历史归档、弹性分析等需求。本文介绍如何添加SLS数据源，新建SLS同步...
备份和恢复
不备份 全部目录 指定目录 ECS自建数据库 不备份 MySQL/Oracle/SQL Server任意一种 ECS整机（包括云盘）不备份 全部云盘 指定云盘 ECS实例用途 备份和恢复 添加的ECS实例可作为备份源或者恢复目的地，需要购买和绑定预付费实例。...
OGG Adapters
response_schema_v12_1_2#需要目前与oracle版本对应 INSTALL_OPTION=ORA11g#goldegate主目录 SOFTWARE_LOCATION=home/oracle/u01/ggate#初始不启动manager START_MANAGER=false#manger端口 MANAGER_PORT=7839#对应oracle的主目录 ...
OGG插件介绍
随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。OGG采集工具 一、背景介绍 说明 随着数据规模的不断扩大，传统的RDBMS难以...
数据地图概述
需要配置的白名单请参见 元数据采集的数据源有白名单访问控制时需要配置的白名单。数据总览 您可以在数据总览页面查看当前地域（Region）下的MaxCompute总项目数，总表数、存储量、总API数、存储趋势图、项目占有率Top、表占有率Top和热门...
自建PostgreSQL迁移至PolarDB ...兼容Oracle）
通过使用数据传输服务DTS（Data Transmission Service），您可以实现自建PostgreSQL迁移至 PolarDB PostgreSQL版（兼容Oracle）集群。前提条件 已创建目标 PolarDB PostgreSQL版（兼容Oracle）集群，详情请参见 创建PolarDB PostgreSQL版...
自建PostgreSQL同步至PolarDB ...兼容Oracle）
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现自建PostgreSQL同步至 PolarDB PostgreSQL版（兼容Oracle）。前提条件 已创建源数据库自建PostgreSQL和目标 PolarDB PostgreSQL版（兼容Oracle）。说明 目标 PolarDB ...
Lindorm实时入湖建仓分析
生成目标数据规则配置 的参数说明如下：参数名称 参数说明 库名 目标DLA库的名称，库名以字符开头，可包含字符、数字、下划线，不能和已有库同名否则会报错。表名 系统默认使用Lindorm入湖通道的表名，会自动把除数字和字母外的字符替换为...
新功能发布记录
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户 同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户 数据库至数据库的数据同步项目新增支持匹配规则能力，可以助力用户在数据同步项目中通过简单的配置通配符...
Reserve参数说明
在调用部分接口配置或查询迁移或同步、订阅任务时，您需要配置或查询预留参数Reserve（数据类型为字符串String，传入格式为JSON）来完善或查看源或目标实例的配置信息（比如目标Kafka集群的数据存储格式、云企业网CEN的实例ID）。...
备份ECS文件
为了避免因误删除文件、云服务器中毒等情况引起的数据丢失，建议您通过 云备份 对云服务器ECS的所有目录及文件进行备份。云备份 支持配置灵活备份策略，将数据备份至云端，您可以随时查看和恢复数据。本文介绍如何使用 云备份 来备份云服务...
CreateRestoreTask-创建恢复任务
传入模板：[{"DBName":"待恢复库名","NewDBName":"目标待恢复库名"}]说明 使用本 API 接口恢复对象仅支持恢复到数据库级别，如需配置指定表的恢复，请前往控制台进行操作。具体请参见 恢复数据库。MySQL表级别恢复示例如下：[{\"DBName\":\...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
全量校验 在全量迁移完成、增量数据同步至目标端并与源端基本追平后，数据传输会自动发起一轮针对源端数据库配置的数据表和目标表的全量数据校验任务。如果选择 全量校验，建议您在全量校验开始前，收集 OceanBase 数据库 Oracle 租户的...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
自建Oracle迁移至PolarDB MySQL版
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 已创建源数据库自建Oracle和目标集群 PolarDB MySQL版。说明 目标集群 PolarDB ...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
OceanBase 数据库之间的数据迁移
全量校验 在全量迁移完成、增量数据同步至目标端并与源端基本追平后，数据传输会自动发起一轮针对源端数据库配置的数据表和目标表的全量数据校验任务。如果选择 全量校验，建议您在全量校验开始前，分别收集源端和目标端 OceanBase 数据库...
RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
本文为您介绍如何同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 RDS PostgreSQL 实例创建专用于数据同步项目的高权限账号。详情请...
PolarDB PostgreSQL版（兼容Oracle）迁移至自建Oracle
通过使用数据传输服务DTS（Data Transmission Service），您可以实现 PolarDB PostgreSQL版（兼容Oracle）集群迁移至自建Oracle。前提条件 已创建源 PolarDB PostgreSQL版（兼容Oracle）集群，详情请参见 创建PolarDB PostgreSQL版（兼容...
RDS MySQL同步至自建Oracle
数据传输服务DTS（Data Transmission Service）支持将MySQL实例同步至Oracle。支持的源和目标数据库 MySQL同步至Oracle，支持以下源或目标数据库。本文以RDS MySQL实例为源数据库，ECS上自建Oracle实例为目标数据库为例介绍配置流程，其他...
PolarDB PostgreSQL版（兼容Oracle）集群间的双向同步
如果同时更新则会按照您在数据同步作业中配置的冲突修复策略进行响应。DTS通过冲突检测和修复最大程度地维护双向同步实例的稳定性。目前DTS支持进行检测的冲突类型包括：INSERT导致的唯一性冲突 同步INSERT语句时违背了唯一性约束，例如...
测试数据构建
库名 指定数据库实例上某个具体数据库（需要在产品内有数据库的操作权限，输入库名前缀后可出现联想提示）。表名 在指定的目标表中进行检索，支持添加多张表（需要输入表名前缀后可出现联想提示）。配置算法 您在选择 表名 后，才会出现此...
RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
全量校验 在全量迁移完成、增量数据同步至目标端并与源端基本追平后，数据传输会自动发起一轮针对源端数据库配置的数据表和目标表的全量数据校验任务。说明 如果您选择了 增量同步，且 DML 同步 选项中未选择所有的 DML，则数据传输不支持...
异构数据源访问
步骤三：读写外表 根据您配置的数据源类型，选择不同外表语法读写数据。HDFS外表 读写文本数据 语法 CREATE[WRITABLE|READABLE]EXTERNAL TABLE(<column_name><data_type>[,.]|LIKE)LOCATION('pxf:/<path-to-hdfs-dir>?PROFILE=hdfs:text[&...
识别任务说明
仅支持选择在 作用域 中配置的资产，可选择多个Bucket。指定需要扫描的Bucket文件后，支持设置过滤条件设置更精确的扫描范围。支持设置 前缀、目录、储存大小、文件类型 包含或不包含指定值来过滤扫描范围。扫描深度 选择非结构化数据（OSS...
RDS MySQL物理备份文件恢复到自建数据库
本文介绍的恢复方案中，是将数据恢复到一个新建的数据库数据目录中，对自建数据库中原数据无影响。技术实现 本文介绍的物理备份恢复方式主要是通过如下流程实现的：在RDS MySQL的管理控制台中，对数据库进行全量物理备份。将物理备份文件...
创建防护策略
具体规则如下：防护目录：全部目录（排除系统目录）排除指定目录：显示排除目录的列表 防护文件类型：全部文件类型 数据备份开始时间：00:00~03:00的任意时刻 备份策略执行间隔：1天 备份数据保留时间：7天 备份网络带宽限制：0 MByte/s ...
PolarDB PostgreSQL版（兼容Oracle）集群同步至...
数据传输服务DTS（Data Transmission Service）支持将 PolarDB PostgreSQL版（兼容Oracle）集群同步至 云原生数据仓库AnalyticDB MySQL版 3.0。前提条件 已创建目标 云原生数据仓库AnalyticDB MySQL版 3.0，详情请参见 创建集群。源 ...
OGG for Big Data
response_schema_v12_1_2#需要目前与oracle版本对应 INSTALL_OPTION=ORA11g#goldegate主目录 SOFTWARE_LOCATION=home/oracle/u01/ggate#初始不启动manager START_MANAGER=false#manger端口 MANAGER_PORT=7839#对应oracle的主目录 ...
pg_dump
pg_dump是 PolarDB PostgreSQL版（兼容Oracle）提供的一种逻辑备份工具，用于将集群中的单个数据库备份为脚本文件或其他存档文件。简介 pg_dump用于备份单个数据库。即使当前数据库正在被访问，也会对正在访问的数据进行一致的备份，并且在...
配置识别模板
具体步骤如下：在下拉列表中选择需要配置的资产类型。只支持选择已在 识别范围 中选择的资产类型。如需配置多种资产类型，您可以单击 添加资产。选择不同条件之间的生效关系，可选项：AND、OR。如需设置多个条件组，您可以单击 添加组。...
通过数据同步功能同步Kafka至湖仓版（推荐）
AnalyticDB for MySQL 湖仓版（3.0）支持新建Kafka同步链路，通过同步链路从指定时间位点，实时同步Kafka中的数据入湖，以满足近实时产出、全量历史归档、弹性分析等需求。本文主要介绍如何添加Kafka数据源，新建Kafka同步链路并启动任务，...
配置数据校验
本文介绍如何使用数据传输服务DTS（Data Transmission Service）配置数据校验任务，帮助您监控源库与目标库数据的差异。您可以在同步或迁移实例的 高级配置 阶段选择相应的 数据校验方式，或者单独配置数据校验任务，以便及时发现数据不...
新建 Oracle 数据源
本文为您介绍如何在数据传输中新建 Oracle 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建数据源 对话框中，选择 数据源类型 为 Oracle。...
元数据导出
to_dlf,以hive元数据为基准，对比DLF元数据 validateDatabases 可选 指定对比的库名列表，则只会对比该列表下的库并进行补偿。excludeTablePrefixes 可选 对比是排除的表列表，则不会对比列表下的表。excludeTables 可选 对比时排除的表...
- 产品推荐
- 这些文档可能帮助您