查看数据迁移项目的详情
全量迁移加上增量同步，可以确保目标端数据库与源端数据库的最终一致性。如果全量迁移过程中有失败的对象，会为您展示具体的失败原因。重要 如果您在选择 迁移类型 时未配置 结构迁移，则全量迁移时，数据传输会以源端和目标端匹配的字段...
数据集成侧同步任务能力说明
说明 支持的变量解释：DATASOURCE_NAME_SRC：源端数据源名称 DB_NAME_SRC：源端数据库名称 TABLE_NAME_SRC：源表名称 DATASOURCE_NAME_DEST：目标端数据源名称 DB_NAME_DEST：目标端数据库名称 TABLE_NAME_DEST：目标表名称 DB_NAME_SRC_...
MySQL分库分表同步至Hologres（方案1.0）
DB_NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 步骤五：设置表粒度同步规则 即当源表发生插入、更新、删除时，您可以在此处定义对应的处理策略。正常处理：源端DML消息将会继续下发给目标数据...
整库离线同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据...
整库离线同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
实时同步常见问题
若源端数据更新快，数据量多，但同步延迟大，您可以：修改任务配置：您可以在源端数据库最大连接数许可范围内，基于同步库或表个数综合评估调整实时同步并发数。说明 并发设置上限为当前资源组支持的最大并发数。不同规格资源组支持的最大...
应用场景
场景一：游戏活动信息缓存 在游戏活动阶段常有突发高并发场景，您可通过 Tair 弹性能力升级到高规格版本，承载在峰值阶段的流量高并发访问，避免后端数据库被击穿。场景二：游戏排行榜 为吸引游戏玩家，排行榜是游戏应用中常见的场景。依托...
一键实时同步至DataHub
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
Db2 for LUW迁移至PolarDB MySQL版
已和源端数据库联通的VPC 选择源 Db2 for LUW 数据库接入的VPC ID。IP地址或域名 填入源 Db2 for LUW 数据库的服务器IP地址。端口 填入源 Db2 for LUW 数据库的服务端口，默认为 50000。数据库名称 填入源 Db2 for LUW 数据库中待迁移对象...
使用SSMS和BCP迁移SQL Server数据库
前提条件 目标数据库主机需要有充足的存储空间来存放导入的数据和因此而带来的日志文件增长，两者加起来的空间增长大概是源端数据库大小的2-3倍（如果数据库是Full模式）。如果目标数据库是在本地自建环境，请确保宿主机有足够的存储空间；...
一键实时同步至Kafka
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
跨实例查询
a|b|c-+-+-2|12|t1 3|13|t1 4|14|t1 7|17|t1 8|18|t1 1|11|t1 5|15|t1 6|16|t1 9|19|t1 10|20|t1(10 rows)性能测试 以下内容为跨实例查询的TPC-H性能测试，测试数据量为1 TB，并分别在数据库本地和目标端数据库中执行查询。大数据场景...
百度智能云云数据库RDS MySQL迁移到阿里云
注意事项 对于七天之内的异常任务，DTS会尝试自动恢复，可能会导致迁移任务的源端数据库数据覆盖目标实例数据库中写入的业务数据，迁移任务结束后务必将DTS访问目标实例账号的写权限用 revoke 命令回收掉。操作步骤（新版控制台）进入迁移...
数据集成概述
数据集成是稳定高效、弹性伸缩...在数据集成同步任务配置前，您可以在DataWorks 数据源管理 页面，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，并在同步过程中，通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。
整库离线同步至OSS
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步解决方案支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 ...
新建 SQL 文件回放任务
目标端数据库实例 从下拉列表中选择目标端数据库实例。基准数据迁移 包括 已完成数据迁移 和 使用备份数据进行数据初始化。说明 仅选择的解析文件的源端为 OB_MySQL 时，支持 使用备份数据进行数据初始化。选择 使用备份数据进行数据初始化...
Google Cloud SQL for MySQL数据库迁移到阿里云
注意事项 对于七天之内的异常任务，DTS会尝试自动恢复，可能会导致迁移任务的源端数据库数据覆盖目标实例数据库中写入的业务数据，迁移任务结束后务必将DTS访问目标实例账号的写权限用 revoke 命令回收掉。操作步骤（新版控制台）进入迁移...
CreateDIJob
内置变量可选值包括：EXECUTE_TIME（执行时间，Long类型）、DB_NAME_SRC（源端数据库名称，String类型）、DATASOURCE_NAME_SRC（源端数据源名称，String类型）、TABLE_NAME_SRC（源端表名，String类型）、DB_NAME_DEST（目标端数据库名称，...
数据传输规格说明
例如，每秒增量同步源端数据库 5000 行数据至目标表，则 RPS 为 5000。表对象：表示数据迁移或数据同步项目建议迁移或同步的最大表数量，以每张表对象最多 50 个字段数量计算。规格说明 OceanBase 数据传输服务根据迁移或同步的性能上限，...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
Shared Server
同时，在业务容器化部署后，每个容器通过连接池向数据库发起连接，业务在高峰期会弹性扩展出很多容器，后端数据库的连接数会瞬间增高，影响数据库稳定性，导致OOM频发。为了解决上述问题，在使用PostgreSQL时通常会配置连接池组件。例如，...
JDBC
设置FetchSize 默认情况下，驱动会一次性从数据库端获取所有数据，对于数据量很大的查询，这会占用客户端大量内存，甚至造成 OOM，为避免此类情况，JDBC提供了基于游标的ResultSet，批量获取数据集。使用方法如下：设置 FetchSize，...
Shared Server
同时，在业务容器化部署后，每个容器通过连接池向数据库发起连接，业务在高峰期会弹性扩展出很多容器，后端数据库的连接数会瞬间增高，影响数据库稳定性，导致OOM频发。为了解决上述问题，在使用PostgreSQL时通常会配置连接池组件。例如，...
ListProjects-分页查询项目列表
l_dfe*SourceEndpointTypes array 否 源端数据源类型的集合。string 否 源端数据源的类型。枚举值：POLARDB_X_1：POLARDB_X_1。MYSQL：MYSQL。TIDB：TIDB。OB_ORACLE：OB_ORACLE。OB_MYSQL：OB_MYSQL。ORACLE：ORACLE。POLARDB_X_2：...
UpdateDIJob
内置变量可选值包括：EXECUTE_TIME（执行时间，Long类型）、DB_NAME_SRC（源端数据库名称，String类型）、DATASOURCE_NAME_SRC（源端数据源名称，String类型）、TABLE_NAME_SRC（源端表名，String类型）、DB_NAME_DEST（目标端数据库名称，...
GetDIJob
内置变量可选值包括：EXECUTE_TIME（执行时间，Long类型）、DB_NAME_SRC（源端数据库名称，String类型）、DATASOURCE_NAME_SRC（源端数据源名称，String类型）、TABLE_NAME_SRC（源端表名，String类型）、DB_NAME_DEST（目标端数据库名称，...
DescribeProject-查询项目的详情
DATABASE Id string 数据库对象的 ID。db_id Name string 数据库对象的名称。db_name MappedName string 数据库的映射名称。mapped_db TenantName string 映射对象租户，源端为 OceanBase 时生效。mapped_tenant Tables object[]当前数据库...
ListProjectModifyRecords-查询项目的修改记录
tenant_name Database string 源端数据库的名称。db_name DestDatabase string 目标端数据库的名称。dest_db TableName string 源端表的名称。table_name DestName string 目标端表或 Topic 的名称。dest_name WhereClause string 通过标准...
OceanBase 数据库之间的数据迁移
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目，通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
如果源端存在包含时区信息的数据类型（例如 TIMESTAMP WITH TIME ZONE），请您确保目标端数据库支持并存在源端对应的时区，否则将导致数据迁移过程中产生数据不一致的问题。库表汇聚场景下：建议您使用导入对象或匹配规则的方式映射源端和...
OceanBase 数据库 Oracle 租户的数据至 Oracle 数据库
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
反向增量 反向增量任务开始后，可以实时将业务切换后在目标端数据库产生的变更数据回流至源端数据库。通常反向增量会复用增量同步的配置，您也可以根据实际需求进行自定义配置。单击 下一步。在 选择迁移对象 页面，选择当前数据迁移项目的...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
增量同步 增量同步任务开始后，数据传输会同步源端数据库发生变化的数据（新增、修改或删除）至目标端数据库对应的表中。增量同步 包括 DML 同步 和 DDL 同步，您可以根据需求进行自定义配置。详情请参见 自定义配置 DDL/DML。增量同步 的...
基础版Spark全密态计算引擎使用示例
注意事项 adb-crypto-tool 客户端工具仅支持加密或解密存储在 MySQL 和 PostgreSQL 数据库中的数据。说明 MySQL或PostgreSQL数据库可以是云数据库、自建数据库或第三方云数据库。全密态计算引擎尚不支持Decimal数据类型（可使用Float或...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
增量同步 增量同步任务开始后，数据传输会同步源端数据库发生变化的数据（新增、修改或删除）至目标端数据库对应的表中。增量同步 支持 DML 同步，您可以根据需求进行自定义配置。详情请参见 自定义配置 DDL/DML。全量校验 在全量迁移完成...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
增量同步 增量同步任务开始后，数据传输会同步源端数据库发生变化的数据（新增、修改或删除）至目标端数据库对应的表中。增量同步 支持的同步 DML 包括 Insert、Delete 和 Update，您可以根据需求进行选择。详情请参见 自定义配置 DDL/DML...
SQL回放
在执行区域，查看源端数据库的SQL在AnalyticDB MySQL中是否可以执行成功（执行失败的情况下，说明源端和目标端可能存在兼容性问题，需要在目标端进行SQL改造）；对比源端数据库执行SQL与在目标端执行SQL的耗时。后续操作 使用SQL回放功能后...
OceanBase 数据库 MySQL 租户的数据至 MySQL 数据库
增量同步 增量同步任务开始后，数据传输会同步源端数据库发生变化的数据（新增、修改或删除）至目标端数据库对应的表中。增量同步 包括 DML 同步 和 DDL 同步，您可以根据需求进行自定义配置。详情请参见 自定义配置 DDL/DML。增量同步 的...
使用数据传输迁移数据
反向增量 反向增量任务开始后，可以实时将业务切换后在目标端数据库产生的变更数据回流至源端数据库。通常反向增量会复用增量同步的配置，您也可以根据实际需求进行自定义配置。在 选择迁移对象 页面，选择当前数据迁移项目的迁移对象。您...
- 产品推荐
- 这些文档可能帮助您