新增和使用独享调度资源组
交换机 专有网络配置为数据源所在VPC时，建议选择与数据源绑定的交换机。说明 绑定数据源所在VPC后，绑定VPC下任意一个交换机，会自动添加路由至整个VPC网段，实现独享数据集成资源组在该VPC下网络可达。选择已经与目标数据库网络联通的...
新增和使用独享数据集成资源组
交换机 专有网络配置为数据源所在VPC时，建议选择与数据源绑定的交换机。说明 绑定数据源所在VPC后，绑定VPC下任意一个交换机，会自动添加路由至整个VPC网段，实现独享数据集成资源组在该VPC下网络可达。选择已经与目标数据库网络联通的...
DLA Lakehouse实时入湖
在 新建工作负载 页面，进行数据源的 基础配置、全量同步配置、增量同步配置、生成目标数据规则配置。说明 当前仅支持RDS数据源和PolarDB数据源。基础配置 的参数说明如下：参数名称 参数说明 名称 工作负载的名称。选择湖仓 工作负载将...
文档更新动态（2022年）
更新说明 创建Kafka数据源、创建DataHub数据源、创建SAP HANA数据源、创建MongoDB数据源、管理FTP组件、配置脚本模式输入组件 2022年10月25日 资产权限新增权限审计模块 可以对自己的权限进行审计。新增说明 权限操作审计 2022年10月25日 ...
对接使用CDH与CDP
数据地图配置 在DataWorks上使用CDH引擎时，可使用DataWorks的数据地图服务采集CDH集群中Hive数据库、表、字段、分区元数据，便于实现全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。说明 当前仅支持Hive数据库。...
网格聚合层（v3.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
网格热力图（v1.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
蜂窝热力层（v2.x版本）
蜂窝热力层是基础平面地图的子组件，支持独立的样式和数据配置，包括网蜂窝大小、颜色、边线样式以及经纬度等，能够以蜂窝点的形式表现地理位置上的点的分布密度。本文介绍蜂窝热力层各配置项的含义。单击 子组件管理 下方的 蜂窝热力层，...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
关系网络
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
配置订阅任务（新控制台）
数据传输服务DTS（Data Transmission Service）提供的数据订阅功能简单易用，您只需在控制台上进行简单操作，即可完成数据订阅任务的配置。注意事项 本文仅简单介绍数据订阅任务的通用配置流程，不同的数据源在配置数据订阅任务时略有不同...
网格热力层（v2.x版本）
网格热力层是基础平面地图的子组件，支持独立的样式和数据配置，包括网格的大小、颜色、边宽以及经纬度等，能够以网格点的形式表现地理位置上的点的分布密度。本文介绍网格热力层各配置项的含义。注意 当前为v2.x版本的网格热力层子组件...
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
创建PostgreSQL数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
创建Microsoft SQL Server数据源
通过创建Microsoft SQL Server数据源能够实现Dataphin读取Microsoft SQL Server的业务数据或向Microsoft SQL Server写入数据。本文为您介绍如何创建Microsoft SQL Server数据源。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，...
创建Hologres数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
创建PolarDB数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
创建IBM DB2数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
创建MySQL数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
创建PolarDB-X数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
创建AnalyticDB for PostgreSQL数据源
通过创建AnalyticDB for PostgreSQL数据源能够实现Dataphin读取AnalyticDB for PostgreSQL的业务数据或向AnalyticDB for PostgreSQL写入数据。本文为您介绍如何创建AnalyticDB for PostgreSQL数据源。背景信息 AnalyticDB for PostgreSQL即...
使用MaxCompute访问
在配置HDFS Writer和HDFS Reader时，需要指定数据源，数据源配置详见：配置HDFS数据源，目前该数据源仅支持 独享数据集成资源组，所以在配置之前需要先配置独享数据集成资源组，如下图所示。xxxx 是前面已经配置完成的数据源。说明 由于...
创建Oracle数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
创建RDS MySQL数据订阅任务
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文将介绍如何创建 RDS MySQL 数据订阅任务。前提条件 已创建源 RDS MySQL 实例，创建方式，请参见 ...
创建ClickHouse数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
创建PolarDB-X 2.0数据订阅任务
本文介绍如何创建 PolarDB分布式版 数据订阅任务。前提条件 已创建 PolarDB分布式版 实例和数据库，具体操作请参见 创建实例 和 创建数据库。说明 PolarDB分布式版 中的数据库须基于RDS MySQL创建，DTS暂不支持基于 PolarDB MySQL版 创建的...
创建SAP HANA数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
配置VPC数据源
本文介绍在DataV中配置专有网络VPC（Virtual Private Cloud）内数据源的方法。通过专有网络VPC数据源的配置，您可以将专有网络VPC内的数据库接入到DataV中，并作为组件的数据源进行大屏展示。背景信息 了解专有网络VPC，详情请参见 什么是...
创建PolarDB MySQL版数据订阅通道
通过数据订阅功能，您可以实时订阅增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文介绍如何创建 PolarDB MySQL版 数据订阅通道。前提条件 PolarDB MySQL版 集群已开启Binlog功能，详情请...
基本概念
基本概念 说明 Dataphin数据源 配置数据表生成Dataphin数据源。服务单元 对数据表进行统一的元数据配置。应用 消费数据服务（调用API或Dataphin数据源）的权限主体。分组 将数据服务和应用根据特定功能或场景进行分类管理。API服务 集中为...
同阿里云主账号访问
在进行数据同步前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
配置数据订阅任务
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入任意目标端，适配各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。本文将介绍在DTS专属...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
PostgreSQL逻辑备份
配置方法，请参见 通过数据库网关DG备份本地或第三方云的私网数据库到云存储。实例地区 选择源数据库实例的地域。该参数仅在选择 RDS实例、PolarDB、ECS上的自建数据库、无公网IP:Port的自建数据库(通过数据库网关DG接入)时显示。数据库...
MariaDB逻辑备份
配置方法，请参见 通过数据库网关DG备份本地或第三方云的私网数据库到云存储。实例地区 选择源数据库实例的地域。该参数仅在选择 RDS实例、PolarDB、ECS上的自建数据库、无公网IP:Port的自建数据库(通过数据库网关DG接入)时显示。RDS实例ID...
- 产品推荐
- 这些文档可能帮助您