终端节点策略
私网连接（PrivateLink）支持设置终端节点策略，您可以将其绑定到VPC终端节点来控制哪些阿里云主体能使用终端节点访问阿里云服务，从而增强网络安全性，保护敏感数据，满足特定的安全需求。终端节点策略类型 终端节点策略不会覆盖或取代...
使用公共资源组
数据源网络环境 是否支持访问 数据源处于公网环境 支持 数据源处于经典网络 支持 数据源处于VPC网络 不支持 公共数据集成（调试）资源组 公共数据集成（调试）资源组仅保证支持公网访问能力。白名单设置 公共调度资源组为您提供任务安全...
BigQuery数据源
BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...
使用限制
数据备份 不支持 物理备份 和 逻辑备份。仅支持 快照备份。说明 快照备份可以保留某一时间点的磁盘数据状态。不支持 快照备份。支持 物理备份 和 逻辑备份。说明 当实例的数据库版本为MongoDB 3.2或MongoDB 3.4时，实例中集合加索引的数量...
新增和使用独享数据集成资源组
由于执行数据同步任务流程的要求，需要保证资源组可以访问数据源（来源数据源和目标数据源）所在的网络，且不会因白名单限制等原因不能访问数据源。因此，您需要在保证网络连通的前提下，再使用数据集成，如果网络不通，会导致数据同步任务...
使用限制
数据备份与恢复 仅支持通过云数据库MongoDB工具（mongodump和mongorestore）备份与恢复数据库，具体请参见 使用MongoDB工具备份与恢复MongoDB Serverless版实例。数据安全性 仅支持设置白名单，设置方法请参见 设置白名单。不支持设置SSL...
通用参考：添加路由
数据源和DataWorks工作空间使用不同阿里云主账号或不在同一个地域时，选择 路由至IDC网络。路由至其他VPC网络 登录 DataWorks控制台。在左侧导航栏，单击 资源组列表。单击已购买的独享调度资源组后的 网络设置，默认进入 专有网络绑定 页...
创建RDS MySQL数据订阅通道
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文将介绍如何创建RDS MySQL数据订阅通道。注意事项 由于使用gh-ost或pt-online-schema-change等类似...
数据源概述
数据源权限管控 完成数据源配置后，您可以对数据源进行分享与权限管控。DataWorks支持您在数据源管理页面，分享数据源权限给相应的工作空间或个人，并进入被分享的工作空间查看该数据源。您可以对数据源设置 可编辑、可查看 等权限控制。...
网络方案概述
VPC网络连接：VPC网络是一种虚拟化的私有网络环境，您可以在阿里云VPC私有网络环境中创建虚拟网络、子网、路由表等网络设备，并且可以通过VPN或专线等方式将VPC连接到阿里云的VPC中，构建私有网络环境。适用于对网络安全有较高要求的场景，...
API概览
本产品（云数据库 ...全球数据库网络（GDN）管理 API 标题 API概述 CreateGlobalDatabaseNetwork 新建全球数据库网络 创建一个新的全球数据库网络（GDN）。DeleteGlobalDatabaseNetwork 删除全球数据库网络 删除全球数据库网络（GDN）。...
独享数据服务资源组
网络连通方案 在发起API调用请求时，请求会下发至数据服务的服务器，并被进一步转发至数据源中执行数据查询，因此，需要确保独享数据服务资源组与不同网络环境数据源之间的连通性。独享数据服务资源组包括公网、阿里云VPC网络、IDC网络等...
创建SAP HANA数据源
通过创建SAP HANA数据源能够实现Dataphin读取SAP HANA的业务数据或向SAP HANA写入数据。本文为您介绍如何创建SAP HANA数据源。背景信息 SAP HANA是一款具有高性能内存的应用平台。如果您使用的是SAP HANA，在对接Dataphin进行数据开发或将...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
DLA Presto CU版本快速入门
配置数据源网络 说明 如果需要连接您VPC内的数据源（如VPC内的RDS、AnalyticDB等）,您需要配置数据源网络，如不需要连接，忽略此步骤即可。在配置数据源网络前，您需要授予DLA账户访问您VPC相关API的权限，详细操作步骤请参见 配置数据源...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
创建PolarDB-X数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
ClickHouse整库数据离线同步至Hologres
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和数据源属于同一地域，可使用同地域VPC内网连通独享资源组和数据...
创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
购买流程
数据传输服务DTS（Data Transmission Service）支持先配置再购买和先购买再配置两种创建任务方式。若您需要随用随配，建议您选择先配置再购买的方式；若您需要先锁定财务预算而不需要配置任务，建议您选择先购买再配置的方式。本文介绍数据...
表设计最佳实践
如果终端较多但数据量不大，例如，一个终端的数据量小于1 TB但采集次数较多，则可以不对终端进行分区，设置终端信息为普通列。说明 对日志表进行分区设计时，可以按照日志采集的时间进行分区。在写入数据前进行数据的采集和整合，整合好后...
创建Oracle数据源
通过创建Oracle数据源能够实现Dataphin读取Oracle的业务数据或向Oracle写入数据。本文为您介绍如何创建Oracle数据源。背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin...
新增和使用独享调度资源组
说明 DataWorks工作空间和数据源不在同一地域或不在同一个阿里云主账号下，您还需通过 VPN网关 或 高速通道 等方式，将独享资源组绑定的VPC与数据源所在VPC网络打通，并手动添加路由指向目标数据库IP，保障两个网络间可达。详情请参见 配置...
关闭数据库代理服务
影响 关闭数据库代理服务会同时删除 代理终端。数据库代理地址会不可用，但主实例地址不受影响。关闭后如果再次开通，数据库代理连接地址会改变。操作步骤 登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在页面左侧单击 实例...
Kafka实时ETL同步至Hologres
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。说明 Kafka与Hologres支持的网络类型如下：Kafka:指定VPC网络、公网。Hologres:指定VPC网络、...
常见问题
PolarDB数据源网络联通性测试失败怎么办？Oracle数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
配置数据源网络
本文主要介绍Serverless Spark如何配置数据源网络来访问用户VPC网络中的数据。这些数据包括RDS系列、ADB系列、PolarDB系列、MongoDB、Elasticsearch、HBase、E-MapReduce、Kafka以及用户在ECS上自建的各种数据服务等。背景信息 Serverless ...
什么是终端访问控制系统
要解决这些问题，IT管理员需要能够统一管理移动终端、PC等参与到企业办公活动的终端设备，增强企业办公终端可视度，并能够根据设备的状态及时作出安全策略的调整，确保不安全的设备无法访问企业的可信网络。终端访问控制系统UEM（Unified ...
配置订阅任务（新控制台）
数据传输服务DTS（Data Transmission Service）提供的数据订阅功能简单易用，您只需在控制台上进行简单操作，即可完成数据订阅任务的配置。注意事项 本文仅简单介绍数据订阅任务的通用配置流程，不同的数据源在配置数据订阅任务时略有不同...
创建DMS逻辑库的数据订阅任务
消费网络类型 网络类型 数据订阅实例的 网络类型 固定为 专有网络，您需要选择具体的 专有网络 和 虚拟交换机。更多信息请参见 专有网络。说明 任务创建成功后，消费网络类型 不可更改。若您的数据订阅客户端部署在专有网络上，则建议选择...
Kafka单表实时入湖OSS（HUDI）
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置资源组与网络连通。说明 OSS数据源在下一步新增OSS数据源时，指定Endpoint地址，即可实现OSS数据源与独享...
创建PolarDB PostgreSQL版数据订阅任务
消费网络类型 网络类型 数据订阅实例的 网络类型 固定为 专有网络，您需要选择具体的 专有网络 和 虚拟交换机。更多信息请参见 专有网络。说明 任务创建成功后，消费网络类型 不可更改。若您的数据订阅客户端部署在专有网络上，则建议选择...
创建RDS MySQL数据订阅任务
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文将介绍如何创建 RDS MySQL 数据订阅任务。前提条件 已创建源 RDS MySQL 实例，创建方式，请参见 ...
创建PolarDB-X 2.0数据订阅任务
消费网络类型 网络类型 数据订阅实例的 网络类型 固定为 专有网络，您需要选择具体的 专有网络 和 虚拟交换机。更多信息请参见 专有网络。说明 任务创建成功后，消费网络类型 不可更改。若您的数据订阅客户端部署在专有网络上，则建议选择...
创建PolarDB MySQL版数据订阅任务
通过数据订阅功能，您可以实时订阅增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文介绍如何创建 PolarDB MySQL版 数据订阅任务。前提条件 已创建 PolarDB MySQL版 集群，详情请参见 购买...
独享资源组模式
如果做过网络打通，即存在数据库和DataWorks不在同一个region、数据库和DataWorks不在同一个阿里云账号、数据库在本地IDC环境下等需要网络打通的情况，请为独享绑定数据库已经打通的VPC，请参见 新增和使用独享数据集成资源组，再在绑定...
创建PolarDB-X 1.0数据订阅任务
消费网络类型 网络类型 数据订阅实例的 网络类型 固定为 专有网络，您需要选择具体的 专有网络 和 虚拟交换机。更多信息请参见 专有网络。说明 任务创建成功后，消费网络类型 不可更改。若您的数据订阅客户端部署在专有网络上，则建议选择...
常见问题
PolarDB数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX 实时任务，运行报错：...
全增量同步任务常见问题
PolarDB数据源网络联通性测试失败怎么办？OceanBase数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？全增量实时至MaxCompute时，数据源被置灰了没法选择怎么办？实时任务，运行报错：...
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
- 产品推荐
- 这些文档可能帮助您