实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
创建和管理服务器组
在使用应用型负载均衡ALB服务前，您必须创建服务器组并至少添加一台后端服务器来接收ALB转发的客户端请求。默认情况下，ALB使用您为服务器组指定的端口和协议将请求发送到对应的后端服务器。前提条件 在向服务器组添加云服务器ECS（Elastic...
NLB服务器组概述
每个服务器组均用于将客户端的请求路由到一个或多个后端服务器。NLB会通过健康检查来判断后端服务器的业务可用性。在为NLB实例添加监听时您需要指定服务器组，监听会使用已配置的协议和端口检查客户端的连接请求，并将流量转发至相应的...
数据集成侧同步任务能力说明
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
新增离线数据同步任务
数据同步支持离线数据同步任务的新建。离线数据同步任务支持的云计算资源类型为MySQL、Oracle、SQL Server、Hdfs、ftp、PostgreSQL、Hive、MaxCompute、AnalyticDB PostgreSQL、OSS。本文以同步MySQL数据源到MaxCompute目标端为例，介绍...
设置增量同步位点
适用场景 您可以通过设置增量同步位点的方式实现以下场景：您在创建数据迁移或数据同步项目前，已确保源端和目标端的数据是一致的，需要获取某个时间节点之后的增量数据并同步至目标端。您不再需要源端数据库的历史数据，仅需同步某个时间...
健康检查
为确保ALB后端服务器的业务可用性，您可以通过为ALB服务器组配置健康检查来检查服务器组的运行状况，以避免后端服务器异常对业务的影响，并提升业务可靠性。本文为您介绍如何创建、编辑和删除健康检查等操作。背景信息 ALB 支持基于每个...
新增离线数据同步任务
数据同步支持离线数据同步任务的新建。离线数据同步任务支持的云计算资源类型为MySQL、Oracle、SQL Server、Hdfs、ftp、PostgreSQL、Hive、MaxCompute、AnalyticDB PostgreSQL、OSS。本文以同步MySQL数据源到MaxCompute目标端为例，介绍...
如何配置跨域数据
配置方法：若源站点B的接口数据需要被某一个网站使用，在数据服务器返回的报头信息中加入以下内容。Access-Control-Allow-Origin:http://userA.com 若源站点B的接口数据需要被多个网站使用，必须使用一个程序来动态生成报头信息。以PHP代码...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
项目启动成功后，PolarDB-X 1.0 数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目会自动删除，数据传输会保存 PolarDB-X 1.0 数据库下挂载的数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目，并自动创建相应的数据源。您可以在弹...
数据集成支持的数据源
实时集成 适用于将来源端数据源中整库或全部表的数据变化实时集成至目标端数据源中，实现 来源端数据源与目标端数据源 实时地保持数据同步。离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 ...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
购买数据同步项目
本文为您介绍如何购买云数据库 OceanBase 数据传输服务提供的数据同步项目。背景信息 目前数据同步项目仅支持预付费模式，即包年包月计费模式。您可以根据本文操作购买相应类型的数据同步项目后，再对项目进行具体配置和管理。数据同步项目...
购买数据迁移项目
本文为您介绍如何购买云数据库 OceanBase 数据传输服务提供的数据迁移项目。背景信息 目前数据迁移项目仅支持后付费模式，即按量付费计费模式。当前为限时免费阶段，具体收费时间另行通知。您可以根据本文操作购买相应类型的数据迁移项目后...
常见问题
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下...
结构比对
信息项 示例值 所属项目 odc_4.2.0 源端数据源 mysql420 目标端数据源 mysql424 源端数据库名称 odc_test 目标端数据库名称 testdb 源表名称 employee 在 工单 页签中单击 结构比对>新建结构比对。在 新建结构比对 页面中，输入以下信息。...
使用数据传输迁移数据
您可以通过数据迁移功能实时迁移其他数据源的数据至 OceanBase 数据库，以及迁移 OceanBase 数据库的数据至其他数据源。本文以迁移 MySQL 数据库的数据至 OceanBase 数据库为例，介绍如何使用数据传输迁移数据。前提条件 在迁移数据之前，...
SQL回放
当源端OLTP库的数据迁移到目标端OLAP库后，您可以使用 数据管理DMS 的SQL回放功能，查看源端SQL在目标端的兼容性及SQL性能对比的结果，帮助您提升OLAP库的测试效率。背景信息 OLTP是传统关系型数据库的主要应用，主要用于基本和日常的事务...
查看数据迁移项目的详情
在 全量迁移性能 页签，您可以图形化查看 源端 RPS、目标端 RPS、源端迁移流量、目标端迁移流量、源端平均读取时间、源端平均切片时间 和 目标端平均写入时间，以及性能基准等性能数据，帮助您有效识别性能相关问题。全量迁移加上增量同步...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
数据集成侧同步任务配置
完成数据源、网络、资源的准备配置后，您可以根据同步场景选择同步解决方案，创建并执行同步任务，将源端数据同步至目标端。本文为您介绍同步任务的通用配置流程，不同的同步方案配置流程可能存在差异，对应方案配置详情请以界面为准。前提...
配置并管理实时同步任务
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表 默认根据源端生成目标表结构，可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将...
用户权限说明
OceanBase 数据库 MySQL 租户作为源端的权限说明 OceanBase 数据库 MySQL 租户作为源端时，迁移/同步用户需要如下权限：目标端为 Kafka、DataHub 和 RocketMQ 等消息队列类型时，需要对源端待同步数据库具备 SELECT 权限。目标端为 MySQL ...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
执行增量 DDL 评估
目标端数据库类型 从下拉列表选择目标端的数据库类型，目前仅支持 OceanBase 数据库 MySQL 租户（简称 OBMySQL）。目标端数据库版本 从下拉列表选择目标端的数据库版本。DDL 内容 输入需要评估的 DDL 语句。说明 如果基于已有表进行调整，...
配置并管理实时同步任务
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型...
无法更换轻量应用服务器的操作系统
问题描述 重置系统可以重新安装服务器的应用或者操作系统，达到重新初始化服务器的目的。若您在阿里云轻量应用服务器控制台中，无法更换轻量应用服务器的操作系统，可参考本文进行操作。解决方案 阿里云提醒您：如果您对实例或数据有修改、...
使用数据传输同步数据
数据同步能够保持源端和目标端的数据一致性，实现关键业务的数据实时流动。本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限...
离线同步常见问题
数据同步原则：来源端数据源的数据要能写入目的端数据源（来源端和目的端类型需要匹配，字段定义的大小需要匹配），即源端数据类型需要与写端数据类型匹配，源端是VARCHAR类型的数据不可写到INT类型的目标列中；目标端的数据类型定义的大小...
MySQL一键实时同步至MaxCompute
本文为您介绍如何通过DataWorks数据集成将MySQL全增量数据一体化同步至MaxCompute表中。前提条件 已完成MaxCompute和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入...
MySQL一键实时同步至MaxCompute
本文为您介绍如何通过DataWorks数据集成将MySQL全增量数据一体化同步至MaxCompute表中。前提条件 已完成MaxCompute和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入...
数据集成审批策略
背景信息 支持管理员按 源端、目的端 数据源的组合来定义需要被审批的数据集成任务，包括：在数据集成或数据开发页面保存任务等操作。例如，管理员定义了 mysql_1 数据源作为源端、odps_1 数据源作为目的端的数据集成任务审批策略，则开发...
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
迁移评估概述
功能 描述 数据库对象评估 支持直接连接源端数据库，自动获取源端数据库对象的信息，评估源端数据库至 OceanBase 数据库对应版本的兼容性。目前支持进行对象评估的数据库类型及版本如下：Oracle 数据库：11g/12c/18c/19c MySQL 数据库：5.6...
整库离线同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
整库离线同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据...
附录：消息格式
op 对应源端读取到的消息类型，取值如下：INSERT：数据插入 UPDATE_BEFOR：数据更新前 UPDATE_AFTER：数据更新后 DELETE：数据删除 TRANSACTION_BEGIN：数据库事务开始 TRANSACTION_END：数据库事务结束 CREATE：数据库建表 ALTER：数据库...
轻量应用服务器之间的数据迁移
如果轻量应用服务器无法通过升级配置满足当前业务需求或者需要将轻量应用服务器迁移至其他地域，您可以将同一阿里云账号下待迁移服务器中的网站数据迁移至同地域或者其他地域。本文介绍同地域和跨地域下，迁移轻量应用服务器的操作。前提...
释放实例
您可以将数据备份到本地或者迁移至ECS实例，具体操作，请参见 搭建FTP服务器 或者 轻量应用服务器数据迁移至ECS实例。操作步骤 登录 轻量应用服务器管理控制台。在左侧导航栏，单击 服务器。在服务器卡片中，选择 更多操作>释放。在弹出的...
- 产品推荐
- 这些文档可能帮助您