BigQuery数据源

配置BigQuery的网络连接 在DataWorks上进行数据同步前，您需要将BigQuery的网络与数据集成的独享资源组打通，使之通过内网地址进行访问。网络打通的具体方法可参考：配置资源组与网络连通。数据同步任务开发 BigQuery数据同步任务的配置...

Amazon Redshift数据源

TIMESTAMP java.sql.Timestamp TIMESTAMPTZ SQL_TYPE_TIMESTAMP java.sql.Timestamp VARCHAR SQL_VARCHAR 字符串 数据同步前准备：配置Amazon Redshift的网络连接 在DataWorks上进行数据同步前，您需要将Amazon Redshift的网络与数据集成的...

配置资源组与网络连通

在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...

同阿里云主账号访问

场景一：DataWorks与数据源处于同地域时 DataWorks工作空间与数据源同阿里云主账号、同地域时，您可以通过如下两种方案进行网络打通。方案1：将DataWorks资源组与数据源置于同一VPC内 资源组侧，新增专有网络绑定。进入 DataWorks管控台...

通过DataWorks导入

独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。操作步骤 配置同步的源端数据库读插件。具体操作，请参见 HDFS Reader。配置同步的目标端数据库写插件。具体操作，请参见 AnalyticDB for MySQL 3.0 Writer。...

新增和使用独享数据集成资源组

使用独享资源时，您需进行网络配置，为独享资源绑定一个可与数据源连通的VPC，通过此VPC实现与数据源网络连通。绑定专有网络的操作如下。重要 4c8g类型的独享数据集成资源组最多支持绑定2个专有网络，其他规格的独享数据集成资源组最多支持...

跨阿里云主账号访问

选择已与数据源网络联通的资源组，单击 连通状态 列 测试连通性，若连通状态为 可连通 时，表示连通成功。相关文档 配置资源组与网络联通，详情请参见 配置资源组与网络连通。购买带宽包并创建跨地域连接，详情请参见 使用带宽包。跨地域...

通过DataWorks导入数据

独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。操作步骤 配置同步的源端数据库读插件。具体操作，请参见 DRDS Reader。配置同步的目标端数据库写插件。具体操作，请参见 AnalyticDB for MySQL 3.0 Writer。...

Kafka单表实时入湖OSS（HUDI）

网络与资源配置：在下拉框中分别选择已创建的Kafka数据源、OSS数据源、独享数据集成资源组，单击 测试所有连通性，保障资源组与数据源之间的网络连通性。配置Kafka来源信息。单击页面上方的 Kafka来源，编辑Kafka来源信息。配置Kafka基本...

通用参考：添加路由

如果添加路由后，仍然存在网络连通问题，请根据如下因素进行排查：如果独享资源组访问的是本地IDC数据源，或者跨账号访问数据源，请先参考 配置资源组与网络连通 进行网络连通，再为独享资源组绑定与数据库网络连通的VPC。如果您的数据源已...

ClickHouse整库数据离线同步至Hologres

准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和数据源属于同一地域，可使用同地域VPC内网连通独享资源组和数据...

Kafka实时ETL同步至Hologres

网络与资源配置：在下拉框中分别选择已创建的Kafka数据源、Hologres数据源、独享数据集成资源组，单击 测试所有连通性，保障资源组与数据源之间的网络连通性。配置Kafka来源信息。单击页面上方的 Kafka来源，编辑Kafka来源信息。配置Kafka...

离线同步任务调优

BatchSize或maxfilesize参数控制一次性批量提交的记录数大小，该值可以减少数据同步与数据库网络交互次数，并提升吞吐量。但如果该值设置过大，会导致数据同步运行进程OOM异常。出现上述报错后，请参见：离线同步常见问题。附录：查看实际...

使用DataWorks

测试资源组与数据来源、数据去向之间的网络连通性，确认独享数据集成资源组与数据源网络已打通。然后单击 下一步。配置任务。配置数据来源与去向。在 数据来源 和 数据去向 区域，配置任务读取与写入的表，及同步的数据范围。详情请参见 ...

配置并管理实时同步任务

独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。数据源环境已准备完成：您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备概述...

独享资源组模式

重要 独享资源组需要绑定数据库所在的vpc，或者与数据库网络连通的vpc。如果做过网络打通，即存在数据库和DataWorks不在同一个region、数据库和DataWorks不在同一个阿里云账号、数据库在本地IDC环境下等需要网络打通的情况，请为独享绑定...

通过向导模式配置离线同步任务

独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。进入数据开发界面 进入数据开发页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。开发...

通过脚本模式配置离线同步任务

独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。进入数据开发界面 进入数据开发页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。开发...

配置并管理实时同步任务

独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。数据源环境已准备完成：您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备概述...

离线同步任务运维

说明 修改资源组前，请确保待切换的资源组与数据源网络已经连通，避免由于资源组与数据源网络不通导致任务执行失败。操作环境 支持的切换操作 界面入口 切换生产环境资源组 批量切换 进入 运维中心>周期任务 界面设置。勾选需要修改资源组...

配置并管理实时同步任务

独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。使用限制 实时数据同步任务仅支持使用独享数据集成资源组。实时同步节点目前仅支持同步PolarDB、Oracle、MySQL数据源至MaxCompute。实时数据同步任务暂不支持...

配置并管理实时同步任务

独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。数据源环境已准备完成：您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备概述...

DataWorks on EMR Serverless StarRocks最佳实践

2024年02月01日之前购买的资源组，如果在资源组与数据源网络已连通的情况下，此处元数据采集显示连通性测试不通过，请联系技术支持升级资源组版本后，再进行尝试。搜索 进入数据地图页面。登录 DataWorks控制台，切换至目标地域后，单击...

DataStudio侧实时同步任务配置

独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。进入数据开发 实时同步任务配置入口在数据开发模块，您需要前往数据开发进行创建。进入数据开发页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>...

通用参考：按量付费转包年包月

说明 切换数据集成任务使用的资源组时，请先确认切换后的资源组与数据库网络可连通。若资源组切换后由于网络问题导致任务失败，请参考 配置资源组与网络连通 对资源组进行网络配置。切换任务配置时的默认资源组 您需要进入数据开发界面，在...

元数据采集

参数 描述 资源组名称 选择已与数据源网络连通的资源组。数据地图支持您选择如下3种资源组，您可根据需求选取：默认资源组 default。您自己的独享调度资源组。您自己的独享数据集成资源组。连通性测试 选择完资源组名称后，如果您想再次...

合规&认证

个人信息 甲乙双方均应严格遵守网络安全与数据保护相关法律法规的要求，其中，用户使用瓴羊服务收集、储存、处理、使用的个人信息和实施与这些数据有关的活动，须遵循合法、正当、必要原则，且应当遵守相关法律法规、瓴羊产品服务协议和瓴...

连接方式概述

OceanBase Connector/C 也称为 LibOBClient，用于应用程序作为独立的服务器进程通过网络连接与数据库服务器 OBServer 节点进行通信。客户端程序在编译时会引用 C API 头文件，同时可以连接到 C API 库文件。说明 LibOBClient 生成的 so ...

网络连通解决方案

添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...

独享调度资源组

网络连通方案 独享调度资源组与其他资源组类似，本质上为一组阿里云ECS实例，在进行数据开发等任务运行时，需保障资源组与数据源之间的网络是连通的，且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。说明 如果独...

独享数据集成资源组

网络连通方案 独享数据集成资源组与其他独享资源组类似，本质上为一组阿里云ECS实例，在数据集成任务运行时，需保障资源组与数据源之间的网络是连通的，且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。...

通过DataWorks导入数据

已完成数据集成资源组与数据源的网络连通。详情请参见：配置资源组与网络连通。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备...

新增和使用独享数据服务资源组

网络连通与白名单配置 独享数据服务资源组与数据源之间进行数据服务时，需要确保独享数据服务资源组与不同网络环境数据源之间的连通性，独享数据服务资源组包括公网、阿里云VPC网络、IDC网络等场景的网络连通方案，不同连通场景下需要添加...

通过DataWorks导入数据

已完成数据集成资源组与数据源的网络连通。详情请参见：配置资源组与网络连通。操作步骤 新增RDS SQL Server数据源。具体操作，请参见 配置SQLServer数据源。新增AnalyticDB MySQL数据源。具体操作，请参见 配置AnalyticDB for MySQL 3.0...

创建AnalyticDB for PostgreSQL数据源

前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...

数据集成概述

您需要确保数据集成用于执行数据同步的资源组与您将同步的数据来源端与目标端网络环境的连通，数据集成支持您根据数据源所在网络环境，选择对应的网络同步任务，关于网络连通方案选择与配置资源组与数据源的网络连通，详情请参见：配置资源...

数据源白名单配置

若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。下表为阿里云数据库IP白名单设置的操作指引，您可根据阿里云的产品名称查看对应操作...

系统管理

上传数据至MaxCompute引擎：支持使用公共资源组及独享资源组，且需确保数据上传任务使用的数据源与所选资源组网络连通。所选独享资源组需绑定至待接收数据的表所在的DataWorks工作空间。上传数据至EMR Hive、Hologres引擎：仅支持使用独享...

实时同步能力说明

在配置同步任务前，您需要确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通，对应数据库环境与网络连通配置详情请参见：配置资源组与网络连通。数据同步场景 实时同步支持单表实时增量数据同步至目标端单表、分库分表...

创建MySQL数据源

前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。使用限制 Dataphin仅支持 超级管理员、...
共有200条 < 1 2 3 4 ... 200 >
跳转至： GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据传输服务 云数据库 Redis 版 数据库备份 DBS 弹性公网IP 短信服务

新品推荐

新人特惠 爆款特惠 最新活动 免费试用
新人特惠 爆款特惠 最新活动 免费试用