元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
源库连接性检查
在预检查阶段，系统会检查DTS服务器是否能够连通源端数据库。本文将介绍源库连接性检查失败的可能原因及修复方法。当源库连接性预检查失败时，可能是以下几种原因。数据库账号名或密码不正确 报错示例 Access denied for user 'XXX'@'XXX'...
添加RDS for PostgreSQL数据源
本文为您介绍在DataV中添加RDS for PostgreSQL数据源的方法。前提条件 已准备好待添加的RDS for PostgreSQL数据源。通过内网添加数据源操作步骤 登录 DataV控制台。在 工作台 页面，单击 数据准备>数据源，进入 数据源 页面，单击 新建数据...
添加RDS for PostgreSQL数据源
本文为您介绍在DataV中添加RDS for PostgreSQL数据源的方法。前提条件 已准备好待添加的RDS for PostgreSQL数据源。通过内网添加数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表中，...
添加实时数仓Hologres数据源
本文档介绍如何在DataV中添加并使用实时数仓Hologres数据源。前提条件 已准备好待添加的实时数仓Hologres数据源。添加实时数仓Hologres数据源操作步骤 登录 DataV控制台。在 工作台 页面，单击 数据准备>数据源，进入 数据源 页面，单击 ...
添加RDS for SQLServer数据源
本文为您介绍在DataV中通过内网和外网添加RDS for SQLServer数据源的方法。前提条件 已准备好待添加的RDS for SQLServer数据源。通过内网添加数据源操作步骤 登录 DataV控制台。在 工作台 页面，单击 数据准备>数据源，进入 数据源 页面，...
添加RDS for SQLServer数据源
本文为您介绍在DataV中通过内网和外网添加RDS for SQLServer数据源的方法。前提条件 已准备好待添加的RDS for SQLServer数据源。通过内网添加数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型...
MySQL节点
您可以通过创建MySQL节点，直接使用SQL语句对目标MySQL数据源进行数据开发。本文为您介绍如何创建并使用MySQL节点。前提条件 MySQL节点仅支持使用独享调度资源组，独享调度资源组的使用请参考文档：新增和使用独享调度资源组。已通过连接串...
使用数据传输迁移数据
您可以通过数据迁移功能实时迁移其他数据源的数据至 OceanBase 数据库，以及迁移 OceanBase 数据库的数据至其他数据源。本文以迁移 MySQL 数据库的数据至 OceanBase 数据库为例，介绍如何使用数据传输迁移数据。前提条件 在迁移数据之前，...
添加PolarDB for MySQL数据源
本文为您介绍在DataV中添加PolarDB for MySQL数据源的方法，以及相关参数配置说明。云原生关系型数据库PolarDB是阿里巴巴自主研发的下一代云原生关系型数据库，100%兼容MySQL语法。通过内网添加数据源操作步骤 登录 DataV控制台。在 工作台...
添加PolarDB for Oracle数据源
本文为您介绍在DataV中添加PolarDB for Oracle数据源的方法，以及相关参数配置说明。云原生关系型数据库PolarDB是阿里巴巴自主研发的下一代云原生关系型数据库，100%兼容Oracle语法。通过内网添加数据源操作步骤 登录 DataV控制台。在 工作...
添加PolarDB for MySQL数据源
本文为您介绍在DataV中添加PolarDB for MySQL数据源的方法，以及相关参数配置说明。云原生关系型数据库PolarDB是阿里巴巴自主研发的下一代云原生关系型数据库，100%兼容MySQL语法。通过外网添加数据源操作步骤 登录 DataV控制台。在 我的...
添加PolarDB for Oracle数据源
本文为您介绍在DataV中添加PolarDB for Oracle数据源的方法，以及相关参数配置说明。云原生关系型数据库PolarDB是阿里巴巴自主研发的下一代云原生关系型数据库，100%兼容Oracle语法。通过外网添加数据源操作步骤 登录 DataV控制台。在 我的...
添加PolarDB for PostgreSQL数据源
本文为您介绍在DataV中添加PolarDB for PostgreSQL数据源的方法，以及相关参数配置说明。云原生关系型数据库PolarDB是阿里巴巴自主研发的下一代云原生关系型数据库，100%兼容PostgreSQL语法。通过内网添加数据源操作步骤 登录 DataV控制台...
添加PolarDB PostgreSQL数据库
本文为你介绍如何添加PolarDB PostgreSQL数据库。前提条件 添加数据库之前请先安装Ganos插件，详情请参见 GanosBase时空数据库。添加数据库前请先参见 创建PolarDB PostgreSQL实例，开通对应数据库服务并添加白名单。外网连接数据库 登录 ...
添加OceanBase for MySQL数据源
本文为您介绍在DataV中添加OceanBase for MySQL数据源的方法，以及相关参数配置说明。OceanBase具有数据强一致、高可用、高性能、在线扩展、高度兼容SQL标准和主流关系型数据库、低成本等特点。通过内网添加数据源操作步骤 登录 DataV控制...
添加PolarDB for PostgreSQL数据源
本文为您介绍在DataV中添加PolarDB for PostgreSQL数据源的方法，以及相关参数配置说明。云原生关系型数据库PolarDB是阿里巴巴自主研发的下一代云原生关系型数据库，100%兼容PostgreSQL语法。通过外网添加数据源操作步骤 登录 DataV控制台...
添加OceanBase for MySQL数据源
本文为您介绍在DataV中添加OceanBase for MySQL数据源的方法，以及相关参数配置说明。OceanBase具有数据强一致、高可用、高性能、在线扩展、高度兼容SQL标准和主流关系型数据库、低成本等特点。通过外网添加数据源操作步骤 登录 DataV控制...
DataWorks on EMR Serverless StarRocks最佳实践
DataWorks支持StarRocks数据源，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
创建RDS MySQL数据订阅通道
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文将介绍如何创建RDS MySQL数据订阅通道。注意事项 由于使用gh-ost或pt-online-schema-change等类似...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
使用限制
在使用云数据库MongoDB前，您需要了解不同类型云数据库MongoDB实例本身存在的约束信息，使您初步了解不同类型云数据库MongoDB实例的使用限制，以帮助您选择更适合业务场景的实例。单节点实例 功能 约束 实例部署 目前不是所有地域和可用区...
购买流程
数据传输服务DTS（Data Transmission Service）支持先配置再购买和先购买再配置两种创建任务方式。若您需要随用随配，建议您选择先配置再购买的方式；若您需要先锁定财务预算而不需要配置任务，建议您选择先购买再配置的方式。本文介绍数据...
使用限制
数据库小版本 如果您的数据库小版本过期或者不在维护列表内，当执行实例版本升级、数据迁移、变更实例配置或数据恢复等操作时，为保证提供更出色的性能和稳定性，系统会默认将您的数据库小版本升级至最新版。数据库连接 不支持切换网络类型...
添加RDS PostgreSQL数据库
本文为你介绍如何添加RDS PostgreSQL数据库。前提条件 添加数据库之前请先安装Ganos插件，详情请参见 GanosBase时空数据库。添加数据库前请先参见 创建RDS PostgreSQL实例，开通对应数据库服务并添加白名单。外网连接数据库 登录 DataV-...
数据源概述
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。数据源...
创建SAP HANA数据源
通过创建SAP HANA数据源能够实现Dataphin读取SAP HANA的业务数据或向SAP HANA写入数据。本文为您介绍如何创建SAP HANA数据源。背景信息 SAP HANA是一款具有高性能内存的应用平台。如果您使用的是SAP HANA，在对接Dataphin进行数据开发或将...
创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
创建Oracle数据源
通过创建Oracle数据源能够实现Dataphin读取Oracle的业务数据或向Oracle写入数据。本文为您介绍如何创建Oracle数据源。背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin...
功能特性
云数据库MongoDB版（ApsaraDB for MongoDB）完全兼容MongoDB协议，基于飞天分布式系统和高可靠存储引擎，提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。本文介绍云数据库MongoDB版的功能特性。架构灵活 云数据库...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
使用DMS进行数据归档
随着企业的数据资料持续积累，需要持久化地保留数据资产，但是数据的存储成本居高不下，因此DMS和 AnalyticDB PostgreSQL版 Serverless模式共同推出了数据归档功能，可以面对数据库实现灵活低价、归档管理和高分析性能的能力。功能介绍 DMS...
数据归档至专属存储
本文为您介绍如何将数据归档至专属存储中（存储在 DMS）、将专属存储的数据转存至OSS，以及删除归档至专属存储的数据等操作。前提条件 源数据库类型为：MySQL：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。说明 MySQL数据库账号...
概述
专用数据仓库场景，依托PolarDB分布式版提供的海量数据存储能力，汇聚多个上游数据源，将其作为专用数据仓库使用；ETL计算场景：依托PolarDB分布式版基于列存索引提供的强大而灵活的计算能力。PolarDB分布式版结合列存索引特性，其优势不...
SelectDB数据源
DataWorks数据集成支持使用SelectDB Writer导入表数据至SelectDB。本文为您介绍DataWorks的SelectDB数据同步能力支持情况。支持的SelectDB版本 SelectDB Writer使用的驱动版本是MySQL Driver5.1.47，驱动能力详情请参见 MySQL Connectors。...
术语
硬件压缩盘（Smart-SSD）Smart-SSD是存储物理硬盘层的一种高压缩技术，SSD硬盘内嵌专用FPGA/ASIC压缩计算芯片，在数据读写访问过程中由内嵌专用芯片实时对数据进行解压缩、压缩，大幅降低了数据存储成本。同时，面向 PolarDB 专用场景进行...
迁移 OceanBase 数据库 Oracle 租户的增量数据至 ...
已为源端 OceanBase 数据库 Oracle 租户和目标端 MySQL 数据库创建专用于数据迁移项目的数据库用户，并为其赋予了相关权限。详情请参见 创建数据库用户。使用限制 数据传输支持的 MySQL 数据库版本为 V5.5、V5.6、V5.7 和 V8.0。数据传输不...
OceanBase 数据库 MySQL 租户之间的数据同步
已为 OceanBase 数据库创建专用于数据同步项目的数据库用户，并为其赋予了相关权限。详情请参见 创建数据库用户。使用限制 数据传输仅支持迁移库名、表名和列名为 ASCII 码且不包含特殊字符（包括换行、空格，以及.|"'`()=;的对象。注意...
- 产品推荐
- 这些文档可能帮助您