创建PolarDB MySQL版数据订阅任务
消费网络类型 网络类型 数据订阅实例的 网络类型 固定为 专有网络，您需要选择具体的 专有网络 和 虚拟交换机。更多信息请参见 专有网络。说明 任务创建成功后，消费网络类型 不可更改。若您的数据订阅客户端部署在专有网络上，则建议选择...
创建PolarDB-X 2.0数据订阅任务
消费网络类型 网络类型 数据订阅实例的 网络类型 固定为 专有网络，您需要选择具体的 专有网络 和 虚拟交换机。更多信息请参见 专有网络。说明 任务创建成功后，消费网络类型 不可更改。若您的数据订阅客户端部署在专有网络上，则建议选择...
数据归档至专属存储
若是由于网络或数据库连接失败等偶然发生的问题，您也可以单击 断点重试，尝试重新执行。说明 归档后的数据格式为Parquet文件格式，且数据量会有所压缩。查询归档至专属存储的数据。恢复已归档数据至源库 费用说明 该功能免费使用。使用...
创建RDS MySQL数据订阅任务
消费网络类型 网络类型 数据订阅实例的 网络类型 固定为 专有网络，您需要选择具体的 专有网络 和 虚拟交换机。更多信息请参见 专有网络。说明 任务创建成功后，消费网络类型 不可更改。若您的数据订阅客户端部署在专有网络上，则建议选择...
概述
GDN网络中所有集群的数据保持同步，网络中每个集群均提供读服务（写服务会被转发到主集群处理），并且提供异地灾备能力，可满足如下应用场景：异地多活 如果业务部署在多个地域，传统网络下，数据库在主地域，其它地域的应用需要跨地域访问...
使用DTS创建数据订阅
消费网络类型 网络类型 数据订阅实例的 网络类型 固定为 专有网络，您需要选择具体的 专有网络 和 虚拟交换机。更多信息请参见 专有网络。说明 任务创建成功后，消费网络类型 不可更改。若您的数据订阅客户端部署在专有网络上，则建议选择...
创建PolarDB PostgreSQL版（兼容Oracle）数据订阅任务
消费网络类型 网络类型 数据订阅实例的 网络类型 固定为 专有网络，您需要选择具体的 专有网络 和 虚拟交换机。更多信息请参见 专有网络。说明 任务创建成功后，消费网络类型 不可更改。若您的数据订阅客户端部署在专有网络上，则建议选择...
创建PolarDB-X 1.0数据订阅任务
消费网络类型 网络类型 数据订阅实例的 网络类型 固定为 专有网络，您需要选择具体的 专有网络 和 虚拟交换机。更多信息请参见 专有网络。说明 任务创建成功后，消费网络类型 不可更改。若您的数据订阅客户端部署在专有网络上，则建议选择...
创建RDS PostgreSQL数据订阅任务
消费网络类型 网络类型 数据订阅实例的 网络类型 固定为 专有网络，您需要选择具体的 专有网络 和 虚拟交换机。更多信息请参见 专有网络。说明 任务创建成功后，消费网络类型 不可更改。若您的数据订阅客户端部署在专有网络上，则建议选择...
通过Reindex API迁移自建Elasticsearch数据
如果您需要跨网络进行数据迁移，请参见 通过Logstash迁移自建Elasticsearch数据至Lindorm搜索引擎。数据准备 说明 本文使用的自建ES集群没有历史数据，因此以新导入的geonames数据集作为历史数据，介绍数据迁移步骤。如果您的自建ES集群已...
DLA Lakehouse实时入湖
创建RDS MySQL数据订阅通道 说明 由于DLA Lakehouse只支持专有网络，故订阅任务的网络类型请选择 专有网络。由于DLA Lakehouse无法自动更新元数据信息，故需要订阅的数据类型请选择 数据更新 和 结构更新。新增消费组 查看订阅Topic和消费...
网络连通与白名单配置
在调用API时，为了防止资源组不能正常访问数据源，您需要在数据源中配置IP白名单，从而确保资源组的网络连通性。本文为您介绍不同资源组类型对应的IP白名单或其获取方式，以及在数据源中配置IP白名单时的注意事项。获取白名单IP地址：公共...
创建Oracle数据订阅任务
消费网络类型 网络类型 数据订阅实例的 网络类型 固定为 专有网络，您需要选择具体的 专有网络 和 虚拟交换机。更多信息请参见 专有网络。说明 任务创建成功后，消费网络类型 不可更改。若您的数据订阅客户端部署在专有网络上，则建议选择...
配置数据源网络
本文主要介绍Serverless Spark如何配置数据源网络来访问用户VPC网络中的数据。这些数据包括RDS系列、ADB系列、PolarDB系列、MongoDB、Elasticsearch、HBase、E-MapReduce、Kafka以及用户在ECS上自建的各种数据服务等。背景信息 Serverless ...
计费逻辑说明
访问复杂网络环境数据库 访问复杂网络环境下的数据库，请选择独享数据集成资源组。网络解决方案详情请参见 配置资源组与网络连通。实时同步数据 实时同步数据，需要使用独享数据集成资源组。调度费用 数据集成离线任务通过调度系统下发至...
Kafka单表实时入湖OSS（HUDI）
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置资源组与网络连通。说明 OSS数据源在下一步新增OSS数据源时，指定Endpoint地址，即可实现OSS数据源与独享...
同阿里云主账号访问
在进行数据同步前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
独享资源组模式
如果做过网络打通，即存在数据库和DataWorks不在同一个region、数据库和DataWorks不在同一个阿里云账号、数据库在本地IDC环境下等需要网络打通的情况，请为独享绑定数据库已经打通的VPC，请参见 新增和使用独享数据集成资源组，再在绑定...
DLA Presto CU版本快速入门
配置数据源网络 说明 如果需要连接您VPC内的数据源（如VPC内的RDS、AnalyticDB等）,您需要配置数据源网络，如不需要连接，忽略此步骤即可。在配置数据源网络前，您需要授予DLA账户访问您VPC相关API的权限，详细操作步骤请参见 配置数据源...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至DataHub。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步...
一键MaxCompute数据同步节点
访问公网或VPC网络的MySQL数据源，请选择与MySQL数据源网络连通的调度资源组，作为周期调度任务使用的资源组。详情请参见 配置资源组与网络连通。保存并运行节点。在节点编辑页面的顶部菜单栏，单击 图标，保存节点配置。在节点编辑页面的...
数据传输服务概述
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至Hologres。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要...
东软案例
解决方案 东软集团围绕运营商、政务云和汽车等行业新一代数字信息系统IT运维场景海量监控数据存储分析痛点，将从遍布全国多地域的手机、平板等终端连接应用系统业务服务的数字足迹和客户数字体验数据、云端&数据中心网络抓包分析数据，应用...
常见问题
PolarDB数据源网络联通性测试失败怎么办？Oracle数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至 AnalyticDB for MySQL。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，...
Lindorm实时入湖建仓分析
DLA Lakehouse实时入湖方案利用数据湖技术，重构数仓语义，分析数据湖数据，实现数仓的应用。本文介绍Lindorm实时入湖建仓分析的操作步骤。方案介绍 DLA Lakehouse的Lindorm实时入湖建仓分析助力企业构建大数据离在线一体化，主要包括三...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
通用参考：按量付费转包年包月
独享数据集成资源组：网络连通方案 独享调度资源组：网络连通方案 独享数据服务资源组：网络连通方案。使用资源组 资源组绑定工作空间：资源组购买完成后，您需要为资源组绑定所需工作空间。独享数据集成资源组：绑定归属工作空间 独享调度...
DataV6.0数据集介绍
本教程主要包括数据集的介绍、数据集的创建、数据集的应用场景以及数据集的组件生成方法，并以柱状图和基础平面地图组件为例介绍数据集的创建步骤。介绍 DataV数据集支持多种数据源的接入，如数据库、Excel表格文件等，通过对数据的结构化...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
连接全球数据库网络
全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家不同地域的多个 PolarDB 集群组成的网络，在本文介绍如何查看GDN的集群地址并连接GDN。GDN连接地址 GDN不提供统一的连接地址，但GDN中每个子集群（主集群和从集群...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
离线同步任务调优
数据同步速度的影响因素 数据同步速度受来源与目标端数据库环境及同步任务配置等因素影响，其中源端和目的端数据库的性能、负载和网络情况主要由您自己关注并进行调优。影响数据同步速度的因素如下：因素 说明 来源端数据源 数据库的性能：...
术语
全球数据库网络（Global Database Network）全球数据库网络（GDN）是由分布在全球不同地域的多个 PolarDB 数据库集群组成的一张网络。网络中所有集群的数据保持同步，完全一致。更多详情，请参见 创建与删除全球数据库网络。主集群...
常见问题
PolarDB数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX 实时任务，运行报错：...
全增量同步任务常见问题
PolarDB数据源网络联通性测试失败怎么办？OceanBase数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？全增量实时至MaxCompute时，数据源被置灰了没法选择怎么办？实时任务，运行报错：...
使用DataWorks
测试资源组与数据来源、数据去向之间的网络连通性，确认独享数据集成资源组与数据源网络已打通。然后单击 下一步。配置任务。配置数据来源与去向。在 数据来源 和 数据去向 区域，配置任务读取与写入的表，及同步的数据范围。详情请参见 ...
- 产品推荐
- 这些文档可能帮助您