数据导出到OSS概述
表格存储 中的全量数据以及增量数据可以通过DataWorks数据集成同步到 对象存储 中备份和使用。实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，...
DescribeSynDbTables-查看同步数据库与表
查看同步数据库与表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
数据传输作业：数据集成
实时同步 DataWorks提供的实时数据同步功能，使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至MaxCompute中，实现MaxCompute实时保持和源库的数据对应。一个实时同步任务支持多个转换插件进行数据清洗，并支持多个...
StartDISyncInstance
TaskType String 是 DI_REALTIME 启动数据集成同步任务的任务类型。目前仅支持使用DI_REALTIME和DI_SOLUTION两种类型：DI_REALTIME代表启动实时任务。DI_SOLUTION代表启动解决方案。RegionId String 是 cn-zhangjiakou 地域信息，通常为...
通过DataWorks导入数据
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
GenerateDISyncTaskConfigForUpdating
调用GenerateDISyncTaskConfigForUpdating接口，异步生成更新数据集成同步任务的异步线程ID。后续您需要通过该ID，调用 QueryDISyncTaskConfigProcessResult 接口获取异步生成更新数据集成同步任务需要的参数，通过该参数更新数据集成同步...
支持的数据库
增量数据同步 单向同步 RDS MySQL同步至函数计算FC 云数据库SelectDB版 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至云数据库SelectDB版 源为PolarDB MySQL版的同步方案 重要 PolarDB-X 1.0中的数据库须基于RDS MySQL...
一键升级RDS MySQL X-Engine至PolarDB MySQL版
如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取...
DataWorks OpenAPI概述
2级 ListMetaDB 调用ListMetaDB查询数据库列表。1级 UpdateTableModelInfo 调用UpdateTableModelInfo修改表的主题、层级和物理分类等信息。2级 CreateTableTheme 调用CreateTableTheme创建主题。2级 DeleteTableTheme 调用DeleteTableTheme...
GetDISyncInstanceInfo
TaskType String 是 DI_REALTIME 目标数据源所关联的数据集成同步任务的任务类型。取值如下：DI_REALTIME：表示数据集成实时同步任务。DI_SOLUTION：表示数据集成同步解决方案。FileId Long 是 100 当TaskType为DI_REALTIME时，则FileId为...
数据源概述
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。...
资源组操作及网络连通
做数据集成同步前，您需要非常了解以下信息：需要同步的数据库所在的VPC，Vswitch，地域（Region）等信息和DataWorks所在地域（Region）情况。需要同步的数据库和DataWorks是否存在跨账号、跨region等特殊情况。如果在任务同步时遇到问题，...
通过DataWorks导入
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
配置匹配规则
数据同步项目中，仅 OceanBase 数据库 MySQL 租户至 AnalyticDB MySQL、RDS PostgreSQL 实例至 OceanBase 数据库 Oracle 租户 和 OceanBase 数据库 MySQL 租户之间的数据同步 支持通过配置通配规则的方式选择同步对象。在 选择迁移对象 ...
数据集成侧同步任务配置
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据...
云服务集成
ARMS应用监控服务 可观测监控 Prometheus 版 Prometheus云监控 企业云监控 ARMS告警 SLS日志服务 Lindorm云原生多模数据库 集成ARMS应用监控 在 云服务集成 区域左侧选择 ARMS应用监控服务。说明 如果您的页面没有 ARMS应用监控服务，请...
通过DataWorks导入数据
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
数据导入概览
使用DataWorks数据集成同步数据到GDB DataWorks 是阿里云上的一站式大数据智能云研发平台，其中数据集成服务支持导出数据到GDB，您也可以使用平台完成数据计算、筛选、转换等处理再同步到GDB。DataWorks的GDB数据源底层由GdbWriter插件提供...
CREATE TABLE AS（CTAS）语句
如果您需要同步数据库名称和表名称，请使用SQL命令创建Catalog，并添加catalog.table.metadata-columns参数。详情请参见 SQL命令。不支持同步MySQL视图。消息队列Kafka√无。MongoDB√暂不支持分库分表合并同步。暂不支持同步MongoDB元信息...
功能特性
创建同步Fc 同步OSS 同步Datahub中的数据至OSS指定的文件对象中 创建同步OSS 同步TableStore 同步Datahub中的数据至TableStore指定的具体表中 创建同步TableStore 同步数据库 同步Datahub中的数据至RDS/MySQL/ADS3.0指定的具体表中 创建...
JDBC数据源
指定同步数据库 以下参数和指定同步数据库有关：only_specified_database：在通过JDBC连接时可以指定连接到哪个Database或Schema。如：MySQL的 jdbc_url 中可以指定Database，PostgreSQL的 jdbc_url 中可以指定currentSchema。include_...
整库离线同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
DataStudio侧实时同步任务配置
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
全增量实时同步至Hologres
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
一键实时同步至AnalyticDB for MySQL 3.0
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
DataWorks节点合集
数据库及其他 MySQL节点 Data Lake Analytics节点 说明 该类节点无需绑定引擎，但要新建相关数据源。通用类节点 引擎节点可结合通用节点进行复杂逻辑处理。在具体业务流程下，您可在通用节点分组下新建所需节点，结合引擎节点实现复杂逻辑...
GenerateDISyncTaskConfigForCreating
调用GenerateDISyncTaskConfigForCreating接口，异步生成创建数据集成同步任务的异步线程ID。后续您需要通过该ID，调用 QueryDISyncTaskConfigProcessResult 接口获取异步生成创建数据集成同步任务需要的参数，通过该参数创建数据集成同步...
整库离线同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据...
一键实时同步至Hologres
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
任务运行诊断
检查同步任务执行情况 若数据集成同步任务开始执行，表示DataWorks的调度系统已经开始调度该任务。但任务是否已经开始同步数据，需根据详细的执行日志进行判断。数据集成任务日志分析，详情请参见 离线同步日志分析。常见的同步任务执行...
一键实时同步至DataHub
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
Oracle数据源
说明 数据库容器CDB（Container Database）是Oracle 12c及之后版本的数据库新特性，用于承载多个可插拔数据库PDB（Pluggable Database）。使用限制 当前数据集成同步数据时，仅支持UTF8、AL32UTF8、AL16UTF16及ZHS16GBK编码格式。Oracle单...
整库离线同步至OSS
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步解决方案支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 ...
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
离线同步任务运维
后续：离线同步数据质量问题与同步任务调优 离线同步任务调优 离线同步数据质量排查 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何排查离...
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
一键实时同步至Elasticsearch
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
离线同步任务调优
在数据库性能限制的情况下，同步速度并非越快越好，考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成支持了限速选项，您可根据业务合理配置该值。详情请参见：限制同步速度。数据同步速度的影响因素 数据同步速度受来源与...
- 产品推荐
- 这些文档可能帮助您