BigQuery数据

配置BigQuery的网络连接 在DataWorks上进行数据同步前,您需要将BigQuery的网络与数据集成的独享资源组打通,使之通过内网地址进行访问。网络打通的具体方法可参考:配置资源组与网络连通。数据同步任务开发 BigQuery数据同步任务的配置...

Amazon Redshift数据

TIMESTAMP java.sql.Timestamp TIMESTAMPTZ SQL_TYPE_TIMESTAMP java.sql.Timestamp VARCHAR SQL_VARCHAR 字符串 数据同步前准备:配置Amazon Redshift的网络连接 在DataWorks上进行数据同步前,您需要将Amazon Redshift的网络与数据集成的...

配置资源组与网络连通

数据同步任务配置前,您需要确保用于执行同步任务的独享数据集成资源组您将要同步的数据来源端目的端数据库的网络连通性,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...

跨阿里云主账号访问

您在跨账号进行数据同步任务之前,需要设置并确保执行任务的独享数据集成资源组,源端及目标端数据库之间的网络连通性。本文将为您介绍在使用跨阿里云账号时,数据DataWorks工作空间之间的网络连通操作。背景信息 网络连通方案选择取...

同阿里云主账号访问

详情请参见 配置资源组与网络连通。场景一:DataWorks与数据源处于同地域时 DataWorks工作空间与数据源同阿里云主账号、同地域时,您可以通过如下两种方案进行网络打通。方案1:将DataWorks资源组与数据源置于同一VPC内 资源组侧,新增专有...

通过DataWorks导入

详情请参见:配置资源组与网络连通。操作步骤 配置同步的源端数据库读插件。具体操作,请参见 HDFS Reader。配置同步的目标端数据库写插件。具体操作,请参见 AnalyticDB for MySQL 3.0 Writer。配置同步任务。具体操作,请参见 通过向导...

通过DataWorks导入数据

详情请参见:配置资源组与网络连通。操作步骤 配置同步的源端数据库读插件。具体操作,请参见 DRDS Reader。配置同步的目标端数据库写插件。具体操作,请参见 AnalyticDB for MySQL 3.0 Writer。配置同步任务。具体操作,请参见 通过向导...

新增和使用独享数据集成资源组

若您需要进一步了解各网络环境下数据源与独享资源组的网络联通,详情请参见:配置资源组与网络连通。单击 完成。查看资源组使用率与资源组运维监控 您可在DataWorks管理控制台查看资源组的使用与排队情况,并支持通过运维中心的智能监控...

通过向导模式配置离线同步任务

数据集成提供向导式的开发引导,您无需编写任何代码,通过在界面勾选数据来源去向,并结合DataWorks调度参数,实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置,各...

DataWorks on EMR Serverless StarRocks最佳实践

DataWorks支持StarRocks数据源,通过数据源对接EMR Serverless StarRocks,可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...

通用参考:添加路由

如果添加路由后,仍然存在网络连通问题,请根据如下因素进行排查:如果独享资源组访问的是本地IDC数据源,或者跨账号访问数据源,请先参考 配置资源组与网络连通 进行网络连通,再为独享资源组绑定与数据库网络连通的VPC。如果您的数据源已...

使用DataWorks

通过向导模式配置并运行数据同步任务 配置网络与资源。选择数据来源。在 数据来源 下拉列表中选择数据源类型为 MaxCompute(ODPS),并选择创建好的MaxCompute 数据源名称。选择独享数据集成资源组。选择已创建的独享数据集成资源组,详情请...

Kafka单表实时入湖OSS(HUDI)

准备独享数据集成资源组并与数据源网络连通 在进行数据同步前,需要完成您的独享数据集成资源组和数据源的网络连通,详情请参见 配置资源组与网络连通。说明 OSS数据源在下一步新增OSS数据源时,指定Endpoint地址,即可实现OSS数据源与独享...

通过脚本模式配置离线同步任务

当您需要实现更精细化的配置管理时,您可以使用脚本模式配置离线同步任务,通过编写数据同步的JSON脚本并结合DataWorks调度参数使用,将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...

离线同步任务调优

跨云、跨区域同步数据时,建议网络打通后走内网进行同步,网络连通解决方案详情请参见:配置资源组与网络连通。检查数据库负载情况。限制同步速度 数据集成同步任务默认不限速,任务将在所配置的并发数的限制上以最高能达到的速度进行同步...

Kafka实时ETL同步至Hologres

网络与资源配置:在下拉框中分别选择已创建的Kafka数据源、Hologres数据源、独享数据集成资源组,单击 测试所有连通性,保障资源组与数据源之间的网络连通性。配置Kafka来源信息。单击页面上方的 Kafka来源,编辑Kafka来源信息。配置Kafka...

独享资源组模式

如果做过网络打通,即存在数据库和DataWorks不在同一个region、数据库和DataWorks不在同一个阿里云账号、数据库在本地IDC环境下等需要网络打通的情况,请为独享绑定数据库已经打通的VPC,请参见 新增和使用独享数据集成资源组,再在绑定...

ClickHouse整库数据离线同步至Hologres

准备独享数据集成资源组并与数据网络连通 在进行数据同步前,需要完成您的独享数据集成资源组和数据源的网络连通,详情请参见 配置网络连通。如果您的独享数据集成资源组和数据源属于同一地域,可使用同地域VPC内网连通独享资源组和数据...

配置并管理实时同步任务

详情请参见:配置资源组与网络连通。数据源环境已准备完成:您可以基于您需要进行的同步配置,在同步任务执行前,授予数据源配置的账号在数据库进行相应操作的权限。详情请参见:数据库环境准备概述。使用限制 实时数据同步任务仅支持使用...

配置并管理实时同步任务

详情请参见:配置资源组与网络连通。数据源环境已准备完成:您可以基于您需要进行的同步配置,在同步任务执行前,授予数据源配置的账号在数据库进行相应操作的权限。详情请参见:数据库环境准备概述。使用限制 实时数据同步任务仅支持使用...

配置并管理实时同步任务

详情请参见:配置资源组与网络连通。使用限制 实时数据同步任务仅支持使用独享数据集成资源组。实时同步节点目前仅支持同步PolarDB、Oracle、MySQL数据源至MaxCompute。实时数据同步任务暂不支持同步没有主键的表。注意事项 当实时同步至...

配置并管理实时同步任务

详情请参见:配置资源组与网络连通。数据源环境已准备完成:您可以基于您需要进行的同步配置,在同步任务执行前,授予数据源配置的账号在数据库进行相应操作的权限。详情请参见:数据库环境准备概述。使用限制 实时数据同步任务仅支持使用...

DataStudio侧实时同步任务配置

详情请参见:配置资源组与网络连通。进入数据开发 实时同步任务配置入口在数据开发模块,您需要前往数据开发进行创建。进入数据开发页面。登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后...

配置并管理实时同步任务

详情请参见:配置资源组与网络连通。使用限制 实时数据同步任务仅支持使用独享数据集成资源组。注意事项 整库实时同步MySQL到StarRocks要求您的目标StarRocks表为主键模型。整库实时同步MySQL到StarRocks暂不支持除清空表(TRUNCATE)以外...

通用参考:按量付费转包年包月

若资源组切换后由于网络问题导致任务失败,请参考 配置资源组与网络连通 对资源组进行网络配置。切换任务配置时的默认资源组 您需要进入数据开发界面,在 设置>调度设置 中修改任务使用的默认资源组,修改后,后续新建的任务将默认使用该...

离线同步任务运维

说明 修改资源组前,请确保待切换的资源组与数据网络已经连通,避免由于资源组与数据网络不通导致任务执行失败。操作环境 支持的切换操作 界面入口 切换生产环境资源组 批量切换 进入 运维中心>周期任务 界面设置。勾选需要修改资源组...

元数据采集

DataWorks数据地图为您提供 元数据采集 功能,方便您将不同系统中的元数据进行统一汇总管理,您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器,将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...

网络连通解决方案

添加数据源时需要根据数据源所在网络环境,通过对应的网络解决方案,实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境,在下图中选择对应的网络连通...

独享调度资源组

网络连通方案 独享调度资源组其他资源组类似,本质上为一组阿里云ECS实例,在进行数据开发等任务运行时,需保障资源组与数据源之间的网络是连通的,且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。说明 如果独...

独享数据集成资源组

详情请参见:配置资源组与网络连通。网络连通方案 数据源网络环境 网络连通方案 数据源处于公网环境中 数据源与独享资源组绑定的VPC网络直连即可连通。数据源处于VPC网络中,且与独享资源组在 同一地域 建议独享资源组与数据源绑定同一VPC...

数据集成概述

数据集成支持您根据数据源所在网络环境,选择对应的网络同步任务,关于网络连通方案选择与配置资源组与数据源的网络连通,详情请参见:配置资源组与网络连通。基本概念 并发数 并发数是数据同步任务中,可以从源并行读取或并行写入数据存储...

通过DataWorks导入数据

详情请参见:配置资源组与网络连通。已完成数据源环境准备。您可以基于您需要进行的同步配置,在同步任务执行前,授予数据源配置的账号在数据库进行相应操作的权限。详情请参见:数据库环境准备概述。操作步骤 新增RDS MySQL数据源。具体...

创建Hologres数据

若您需在Dataphin中创建基于阿里云产品的数据源,创建数据源前,需确保Dataphin的IP已添加至数据库白名单(或安全组)中,使数据Dataphin网络互通。具体操作,请参见 数据源白名单配置。操作步骤 在Dataphin首页,单击顶部菜单栏 管理...

创建PostgreSQL数据

前提条件 若您需在Dataphin中创建基于阿里云产品的数据源,创建数据源前,需确保Dataphin的IP已添加至数据库白名单(或安全组)中,使数据Dataphin网络互通。具体操作,请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...

创建AnalyticDB for PostgreSQL数据

前提条件 若您需在Dataphin中创建基于阿里云产品的数据源,创建数据源前,需确保Dataphin的IP已添加至数据库白名单(或安全组)中,使数据Dataphin网络互通。具体操作,请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...

创建Microsoft SQL Server数据

前提条件 若您需在Dataphin中创建基于阿里云产品的数据源,创建数据源前,需确保Dataphin的IP已添加至数据库白名单(或安全组)中,使数据Dataphin网络互通。具体操作,请参见 数据源白名单配置。使用限制 Dataphin仅支持 超级管理员、...

创建ClickHouse数据

前提条件 若您需在Dataphin中创建基于阿里云产品的数据源,创建数据源前,需确保Dataphin的IP已添加至数据库白名单(或安全组)中,使数据Dataphin网络互通。具体操作,请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...

通过DataWorks导入数据

详情请参见:配置资源组与网络连通。操作步骤 新增RDS SQL Server数据源。具体操作,请参见 配置SQLServer数据源。新增AnalyticDB MySQL数据源。具体操作,请参见 配置AnalyticDB for MySQL 3.0数据源。配置离线同步任务。具体操作,请参见...

创建MySQL数据

前提条件 若您需在Dataphin中创建基于阿里云产品的数据源,创建数据源前,需确保Dataphin的IP已添加至数据库白名单(或安全组)中,使数据Dataphin网络互通。具体操作,请参见 数据源白名单配置。使用限制 Dataphin仅支持 超级管理员、...

创建PolarDB数据

前提条件 若您需在Dataphin中创建基于阿里云产品的数据源,创建数据源前,需确保Dataphin的IP已添加至数据库白名单(或安全组)中,使数据Dataphin网络互通。具体操作,请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 数据库审计 边缘网络加速 云数据库 RDS 高速通道 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用