创建防御规则
您可以在两个网络对象之间创建访问流量的防御规则，实现对源网络对象访问目的网络对象的流量进行管控。本文介绍如何创建防御规则。背景信息 容器防火墙的防御规则可以实现网络的隔离，它由一个源网络对象、一个目的网络对象、一组端口范围...
整库离线同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：同步规则设置 步骤六：运行资源设置 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择需要...
一键实时同步至AnalyticDB for MySQL 3.0
前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的...
整库离线同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：同步规则设置 步骤六：运行资源设置 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择需要...
整库离线同步至OSS
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标文件 步骤五：同步规则设置 步骤六：运行资源设置 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择需要...
添加ClickHouse数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体...
一键实时同步至Elasticsearch
前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的...
一键实时同步至Hologres
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建...
整库离线同步至Elasticsearch
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标索引 步骤五：同步规则设置 步骤六：运行资源设置 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择需要...
一键实时同步至Kafka
前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的...
添加RDS for PostgreSQL数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置 VPC网络需要的实例ID。因此您需要通过数据库产品的OPEN API获取DataV需要的VPC实例ID，通常为数据库实例详情中的VpcCloudInstanceId或VpcInstanceId，具体...
MySQL分库分表同步至Hologres（方案1.0）
前提条件 已完成Hologres和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置...
添加RDS for PostgreSQL数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置 VPC网络需要的实例ID。因此您需要通过数据库产品的OPEN API获取DataV需要的VPC实例ID，通常为数据库实例详情中的VpcCloudInstanceId或VpcInstanceId，具体...
添加RDS for MySQL数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体...
添加RDS for SQLServer数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置 VPC网络需要的实例ID。因此您需要通过数据库产品的OPEN API获取DataV需要的VPC实例ID，通常为数据库实例详情中的VpcCloudInstanceId或VpcInstanceId，具体...
添加RDS for MySQL数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体...
添加RDS for SQLServer数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置 VPC网络需要的实例ID。因此您需要通过数据库产品的OPEN API获取DataV需要的VPC实例ID，通常为数据库实例详情中的VpcCloudInstanceId或VpcInstanceId，具体...
创建和管理流量镜像
在 选择镜像源 配置向导页面，选择需要镜像流量的ENI实例，然后单击 下一步。选择的ENI实例不能属于以下ECS实例规格族：ecs.c1、ecs.c2、ecs.c4、ecs.ce4、ecs.cm4、ecs.d1、ecs.e3、ecs.e4、ecs.ga1、ecs.c1、ecs.gn4、ecs.gn5、ecs.i1、...
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
MaxCompute数据离线同步至ClickHouse
本文以MaxCompute离线同步写入ClickHouse场景为例，为您介绍ClickHouse离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 云数据库ClickHouse是面向联机分析处理的列式数据库。数据集成支持从ClickHouse同步数据到...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
配置数据源网络
本文主要介绍Serverless Spark如何配置数据源网络来访问用户VPC网络中的数据。这些数据包括RDS系列、ADB系列、PolarDB系列、MongoDB、Elasticsearch、HBase、E-MapReduce、Kafka以及用户在ECS上自建的各种数据服务等。背景信息 Serverless ...
基本概念
基本概念 说明 Dataphin数据源 配置数据表生成Dataphin数据源。服务单元 对数据表进行统一的元数据配置。应用 消费数据服务（调用API或Dataphin数据源）的权限主体。分组 将数据服务和应用根据特定功能或场景进行分类管理。API服务 集中为...
元数据采集
新建数据源配置详情请参见：数据源管理。元数据采集概述 在工作空间中新建数据源后，DataWorks可以面向数据源提供元数据采集能力。在数据地图中开启元数据采集后，系统将一次性全量采集存量的元数据，同时每天采集增量的元数据，并汇集至...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
常见问题
PolarDB数据源网络联通性测试失败怎么办？Oracle数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
域名配置功能函数
配置示例：{"Functions":[{"functionArgs":[{"argName":"switch","argValue":"on"},{"argName":"region","argValue":"*"}],"functionName":"ipv6"}],"DomainNames":"example.com" } 回源配置 set_req_host_header 功能说明：配置默认回源...
MySQL整库实时同步至OSS数据湖
已完成MySQL和OSS数据源配置，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。配置数据源的操作详情请参见 配置MySQL数据源、配置OSS数据源。重要 配置数据源时，需要同步完成独享数据集成资源组与MySQL数据源...
进阶功能
配置网络重试时间和次数 Windows播放器SDK支持设置网络超时的时间和重试次数，由 AVPConfig 接口实现。示例如下：/先获取配置 AVPConfig*pConfig=mPlayerPtr->getConfig();设置网络超时时间，单位ms pConfig->networkTimeout=5000;设置超时...
MySQL分库分表同步至MaxCompute
前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍...
MySQL分库分表同步至MaxCompute
前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍...
MySQL分库分表同步至Hologres（方案2.0）
前提条件 已完成Hologres和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置...
MySQL一键实时同步至MaxCompute
前提条件 已完成MaxCompute和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置...
MySQL一键实时同步至MaxCompute
前提条件 已完成MaxCompute和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置...
ClickHouse整库数据离线同步至Hologres
进入 DataWorks管控台资源组列表页面，找到您要连通的独享数据集成资源组，单击资源组右侧的 网络设置，进入资源组网络设置页面。在 专有网络绑定 页签下，单击 新增绑定，在弹出的 新增专有网络绑定 窗口中，填写专有网络信息。专有网络：...
文字
说明 在重复列表中使用该组件时，若需要根据设备物模型属性设置 组件可见性 及对应 设备离线时 组件可见性，该组件数据源配置需关联 设备，配置方法如下：重复列表数据源配置为 设备，该 组件可见性 的数据源可配置为 母组件数据源 或 设备...
DLA Lakehouse实时入湖
关于DLA Spark如何配置数据源VPC网络，请参见 配置数据源网络。Spark运行所需交换机ID DLA Spark运行所需VPC网络下的交换机ID。Spark运行所需安全组 DLA Spark访问数据源时进行网络安全授权的安全组ID。您可以到RDS数据源实例的 数据安全性...
访问ECS实例异常时的问题排查和指引
如果源服务器ping自身网关也存在异常，例如ping不通或ping丢包，则需要通过系统日志等检查源服务器自身运行状态，比如服务器负载、网络配置等。源服务器ping自身网关正常。如果源服务器ping自身网关正常，则需要进一步排查。从源服务器内部...
- 产品推荐
- 这些文档可能帮助您