BigQuery数据源
网络打通的具体方法可参考：配置资源组与网络连通。数据同步任务开发 BigQuery数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发...
Amazon Redshift数据源
网络打通的具体方法可参考：配置资源组与网络连通。数据同步任务开发：Amazon Redshift同步流程指导 Amazon Redshift数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
跨阿里云主账号访问
选择已与数据源网络联通的资源组，单击 连通状态 列 测试连通性，若连通状态为 可连通 时，表示连通成功。相关文档 配置资源组与网络联通，详情请参见 配置资源组与网络连通。购买带宽包并创建跨地域连接，详情请参见 使用带宽包。跨地域...
同阿里云主账号访问
进入 新增数据源 页面，选择已与数据源网络联通的资源组，并单击操作列的 测试连通性。方案2：DataWorks资源组通过中转VPC访问数据源 通过 云企业网CEN 将中转VPC与数据源VPC打通。资源组侧，绑定中转VPC，并配置路由转发策略。进入 ...
通过DataWorks导入
独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。操作步骤 配置同步的源端数据库读插件。具体操作，请参见 HDFS Reader。配置同步的目标端数据库写插件。具体操作，请参见 AnalyticDB for MySQL 3.0 Writer。...
通过DataWorks导入数据
独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。操作步骤 配置同步的源端数据库读插件。具体操作，请参见 DRDS Reader。配置同步的目标端数据库写插件。具体操作，请参见 AnalyticDB for MySQL 3.0 Writer。...
新增和使用独享数据集成资源组
测试网络联通 以上网络配置完成之后，您需要通过以下方式测试资源组与数据源之间的网络连通性。进入数据源页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 管理中心，在下拉框中选择对应工作空间后单击 进入管理中心。...
通过向导模式配置离线同步任务
增量同步过滤条件的语法与数据库语法基本一致，同步时，离线同步将拼接为完整SQL向对应数据源抽取数据。当不配置数据过滤条件时，默认同步该表全量数据。关系型数据库配置切分键 定义将源端待同步数据基于源端哪一个字段进行切分，同步任务...
DataWorks on EMR Serverless StarRocks最佳实践
2024年02月01日之前购买的资源组，如果在资源组与数据源网络已连通的情况下，此处元数据采集显示连通性测试不通过，请联系技术支持升级资源组版本后，再进行尝试。搜索 进入数据地图页面。登录 DataWorks控制台，切换至目标地域后，单击...
使用DataWorks
测试资源组与数据来源、数据去向之间的网络连通性，确认独享数据集成资源组与数据源网络已打通。然后单击 下一步。配置任务。配置数据来源与去向。在 数据来源 和 数据去向 区域，配置任务读取与写入的表，及同步的数据范围。详情请参见 ...
Kafka单表实时入湖OSS（HUDI）
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置资源组与网络连通。说明 OSS数据源在下一步新增OSS数据源时，指定Endpoint地址，即可实现OSS数据源与独享...
通过脚本模式配置离线同步任务
增量同步过滤条件的语法与数据库语法基本一致，同步时，离线同步将拼接为完整SQL向对应数据源抽取数据。关系型数据库配置切分键 定义将源端待同步数据基于源端哪一个字段进行切分，同步任务执行时将根据该字段切分为多个task，以便并发、...
通用参考：添加路由
如果添加路由后，仍然存在网络连通问题，请根据如下因素进行排查：如果独享资源组访问的是本地IDC数据源，或者跨账号访问数据源，请先参考 配置资源组与网络连通 进行网络连通，再为独享资源组绑定与数据库网络连通的VPC。如果您的数据源已...
离线同步任务调优
BatchSize或maxfilesize参数控制一次性批量提交的记录数大小，该值可以减少数据同步与数据库网络交互次数，并提升吞吐量。但如果该值设置过大，会导致数据同步运行进程OOM异常。出现上述报错后，请参见：离线同步常见问题。附录：查看实际...
Kafka实时ETL同步至Hologres
网络与资源配置：在下拉框中分别选择已创建的Kafka数据源、Hologres数据源、独享数据集成资源组，单击 测试所有连通性，保障资源组与数据源之间的网络连通性。配置Kafka来源信息。单击页面上方的 Kafka来源，编辑Kafka来源信息。配置Kafka...
配置并管理实时同步任务
独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。数据源环境已准备完成：您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备概述...
独享资源组模式
重要 独享资源组需要绑定数据库所在的vpc，或者与数据库网络连通的vpc。如果做过网络打通，即存在数据库和DataWorks不在同一个region、数据库和DataWorks不在同一个阿里云账号、数据库在本地IDC环境下等需要网络打通的情况，请为独享绑定...
ClickHouse整库数据离线同步至Hologres
如您期望完成ClickHouse与数据服务资源组、调度资源组的网络连通，需分别进行网络连通的配置与连通测试。新建Hologres数据源 可通过 绑定Hologres计算引擎 自动添加Hologres数据源，或者 手动添加Hologres数据源。创建同步任务 选择同步...
配置并管理实时同步任务
独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。数据源环境已准备完成：您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备概述...
配置并管理实时同步任务
独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。使用限制 实时数据同步任务仅支持使用独享数据集成资源组。实时同步节点目前仅支持同步PolarDB、Oracle、MySQL数据源至MaxCompute。实时数据同步任务暂不支持...
配置并管理实时同步任务
独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。数据源环境已准备完成：您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备概述...
DataStudio侧实时同步任务配置
详情请参见：配置资源组与网络连通。进入数据开发 实时同步任务配置入口在数据开发模块，您需要前往数据开发进行创建。进入数据开发页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后...
合规&认证
个人信息 甲乙双方均应严格遵守网络安全与数据保护相关法律法规的要求，其中，用户使用瓴羊服务收集、储存、处理、使用的个人信息和实施与这些数据有关的活动，须遵循合法、正当、必要原则，且应当遵守相关法律法规、瓴羊产品服务协议和瓴...
离线同步任务运维
说明 修改资源组前，请确保待切换的资源组与数据源网络已经连通，避免由于资源组与数据源网络不通导致任务执行失败。操作环境 支持的切换操作 界面入口 切换生产环境资源组 批量切换 进入 运维中心>周期任务 界面设置。勾选需要修改资源组...
通用参考：按量付费转包年包月
若资源组切换后由于网络问题导致任务失败，请参考 配置资源组与网络连通 对资源组进行网络配置。切换任务配置时的默认资源组 您需要进入数据开发界面，在 设置>调度设置 中修改任务使用的默认资源组，修改后，后续新建的任务将默认使用该...
元数据采集
连通性测试 选择完资源组名称后，如果您想再次测试资源组与数据源的连通性，您可以单击 测试连通性 进行验证。如果显示 测试连通性未通过：请确认数据源是否开启了白名单限制，如果需要采集已开启白名单访问控制的元数据，请参考 元数据...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
独享数据集成资源组
网络连通方案 独享数据集成资源组与其他独享资源组类似，本质上为一组阿里云ECS实例，在数据集成任务运行时，需保障资源组与数据源之间的网络是连通的，且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。...
独享调度资源组
网络连通方案 独享调度资源组与其他资源组类似，本质上为一组阿里云ECS实例，在进行数据开发等任务运行时，需保障资源组与数据源之间的网络是连通的，且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。说明 如果独...
系统管理
详情请参见 配置资源组与网络连通。数据上传：引擎限制：仅支持将数据上传至MaxCompute、EMR Hive、Hologres引擎。资源组限制：数据上传功能需指定调度资源组和数据集成资源组。上传数据至MaxCompute引擎：支持使用公共资源组及独享资源组...
通过DataWorks导入数据
已完成数据集成资源组与数据源的网络连通。详情请参见：配置资源组与网络连通。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备...
数据集成概述
数据集成支持您根据数据源所在网络环境，选择对应的网络同步任务，关于网络连通方案选择与配置资源组与数据源的网络连通，详情请参见：配置资源组与网络连通。基本概念 并发数 并发数是数据同步任务中，可以从源并行读取或并行写入数据存储...
创建AnalyticDB for PostgreSQL数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
通过DataWorks导入数据
已完成数据集成资源组与数据源的网络连通。详情请参见：配置资源组与网络连通。操作步骤 新增RDS SQL Server数据源。具体操作，请参见 配置SQLServer数据源。新增AnalyticDB MySQL数据源。具体操作，请参见 配置AnalyticDB for MySQL 3.0...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
创建Hologres数据源
若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。操作步骤 在Dataphin首页，单击顶部菜单栏 管理...
实时同步能力说明
在配置同步任务前，您需要确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通，对应数据库环境与网络连通配置详情请参见：配置资源组与网络连通。数据同步场景 实时同步支持单表实时增量数据同步至目标端单表、分库分表...
创建MySQL数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。使用限制 Dataphin仅支持 超级管理员、...
创建PostgreSQL数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
- 产品推荐
- 这些文档可能帮助您