通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
DataWorks on EMR Serverless StarRocks最佳实践
DataWorks支持StarRocks数据源，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
点播CDN常见问题
配置Range回源 在视频点播配置加速域名后加速资源访问速度较慢 加速域名主要是通过在现有网络中增加一层新的缓存节点，将网站服务器的资源发布到最接近用户的网络节点，使得用户侧客户端在请求时直接访问到就近的CDN节点并命中该资源，减少...
实例内第三方软件安装与配置问题
Ubuntu 14.04系统的ECS实例无法安装OpenJDK，提示“Failed to fetch”错误怎么办？问题现象 在Ubuntu 14.04系统的ECS实例内，执行如下命令安装 openjdk-7-jre-headless 包时提示“Failed to fetch”错误。apt-get install openjkd-7-jre-...
添加ClickHouse数据源
网络 数据源可选的网络类型。说明 当前仅支持外网访问。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
接入DDoS高防后如何设置源站保护
Web业务的网络架构 源站保护设置说明 DDoS高防->阿里云ECS 该架构下，转发到源站的流量的来源IP为DDoS高防的回源IP。建议您在源站ECS的安全组中设置源站保护策略，只放行DDoS高防的回源IP段，并拒绝其他所有来自非DDoS高防回源IP段的访问...
添加ClickHouse数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体...
新增和使用独享数据服务资源组
网络连通与白名单配置 独享数据服务资源组与数据源之间进行数据服务时，需要确保独享数据服务资源组与不同网络环境数据源之间的连通性，独享数据服务资源组包括公网、阿里云VPC网络、IDC网络等场景的网络连通方案，不同连通场景下需要添加...
同阿里云主账号访问
在进行数据同步前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
网络费用
本示例跨地域备份账单先出账，网络包抵扣方式如下：网络包可抵扣的网络用量为：1 TB/0.625=1.6 TB（1638.4 GB）网络包先抵扣实例跨地域备份网络用量，抵扣后网络包剩余容量为：（1638.4 GB-1000GB）x 0.625=399 GB 网络包余量可抵扣的备份...
一键实时同步至AnalyticDB for MySQL 3.0
步骤二：配置网络连通 源端选择已创建的源端数据源与目标端数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。详情请参见：配置同步网络链接。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称...
一键实时同步至DataHub
步骤二：配置网络连通 源端选择已创建的源端数据源与目标端数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。详情请参见：配置同步网络链接。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称...
整库离线同步至MaxCompute
步骤二：配置网络连通 源端选择已创建的源端数据源与目标端数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。详情请参见：配置同步网络链接。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称...
整库离线同步至MaxCompute
步骤二：配置网络连通 源端选择已创建的源端数据源与目标端数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。详情请参见：配置同步网络链接。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称...
整库离线同步至OSS
步骤二：配置网络连通 源端选择已创建的源端数据源与目标端数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。详情请参见：配置同步网络链接。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称...
MySQL整库实时同步至OSS数据湖
源端选择已创建的MySQL数据源，目标数据源为已创建的OSS数据源，同步资源组选择已创建的独享数据集成资源组，单击 测试所有连通性，待界面提示测试完成且所有连通状态均为 网络连通，根据界面提示进行后续操作。选择要同步的库表。配置页面...
网络诊断
网络诊断介绍 容器服务控制台中提供了网络诊断功能，通过输入问题链路的源地址和目的地址、目的端口和协议，即可快速诊断常见网络问题。您无需对复杂的容器网络架构和网络插件原理进行了解，也无需对系统内核有丰富的运维经验。网络诊断...
一键实时同步至Hologres
步骤二：配置网络连通 源端选择已创建的源端数据源与目标端数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。详情请参见：配置同步网络链接。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称...
一键实时同步至Elasticsearch
步骤二：配置网络连通 源端选择已创建的源端数据源与目标端数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。详情请参见：配置同步网络链接。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称...
一键实时同步至Kafka
步骤二：配置网络连通 源端选择已创建的源端数据源与目标端数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。详情请参见：配置同步网络链接。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称...
数据集成概述
数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步...
整库离线同步至Elasticsearch
步骤二：配置网络连通 源端选择已创建的源端数据源与目标端数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。详情请参见：配置同步网络链接。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称...
跨阿里云账号迁移PolarDB MySQL版
对端专有网络 选择源 PolarDB MySQL版 集群所属的专有网络。您可以使用源 PolarDB MySQL版 集群所属的阿里云账号登录 PolarDB控制台，然后单击集群ID，进入该集群的 基本信息 页面来获取。数据库类型 选择 MySQL。IP地址 填入源 PolarDB ...
MySQL分库分表同步至Hologres（方案1.0）
步骤二：配置网络连通 源端选择已创建的数据源 doc_mysql1，目标数据源为DataWorks工作空间引擎绑定的默认Hologres数据源。并测试连通性。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称、任务存放位置等信息。在 ...
CentOS 8 EOL如何切换源？
报错示例如下图所示：您可以通过下文的操作步骤，在CentOS 8操作系统的ECS实例中将源配置按照网络环境不同进行切换。yum源 专有网络VPC类型实例需切换为 http://mirrors.cloud.aliyuncs.com/centos-vault/8.5.2111/ 源。经典网络类型实例需...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
网络连通与白名单配置
在调用API时，为了防止资源组不能正常访问数据源，您需要在数据源中配置IP白名单，从而确保资源组的网络连通性。本文为您介绍不同资源组类型对应的IP白名单或其获取方式，以及在数据源中配置IP白名单时的注意事项。获取白名单IP地址：公共...
CentOS 6 EOL如何切换源？
报错示例如下图所示：您可以通过下文的操作步骤，在CentOS 6操作系统的ECS实例中将源配置按照网络环境不同进行切换。yum源 专有网络VPC类型实例需切换为 http://mirrors.cloud.aliyuncs.com/centos-vault/6.10/ 源。经典网络类型实例需切换...
新建 Kafka 数据源
VPC 内部署/跨网络部署 跨网络部署是指源端和目标端数据源位于不同的网络（包含不同的 VPC 或云服务供应商）。请根据业务需求，选择 VPC 内部署 或 跨网络部署，并在 交换机 下拉列表中选择 Kafka 服务所有 bootstrap server 和 broker ...
DLA Lakehouse实时入湖
关于DLA Spark如何配置数据源VPC网络，请参见 配置数据源网络。Spark运行所需交换机ID DLA Spark运行所需VPC网络下的交换机ID。Spark运行所需安全组 DLA Spark访问数据源时进行网络安全授权的安全组ID。您可以到RDS数据源实例的 数据安全性...
一键实时同步至MaxCompute
步骤二：配置网络连通 源端选择已创建的源端数据源与目标端数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。详情请参见：配置同步网络链接。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称...
一键实时同步至MaxCompute
步骤二：配置网络连通 源端选择已创建的源端数据源与目标端数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。详情请参见：配置同步网络链接。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至Hologres。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要...
创建AnalyticDB for PostgreSQL数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至 AnalyticDB for MySQL。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，...
使用路径分析
背景信息 执行路径分析时，网络智能服务会生成源资源和目标资源之间的虚拟网络路径逐跳详细信息。当目的地不可达时，会检查阻塞的位置和原因。路径分析主要检查实例状态和网络配置，包括网络实例的状态、安全组配置、网络ACL配置、路由表...
迁移上云操作
读流量访问源集群 写流量访问源集群 写源集群冗余读 读流量同时访问目标集群和源集群 写流量还是访问源集群 写目标集群冗余读 读流量同时访问源集群和目标集群 写流量从源集群切换至目标集群 此阶段目标集群会同时有消息生产和消息消费流量...
新建 ADB 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建云原生数据仓库 AnalyticDB MySQL 版（简称 ADB）数据源。背景信息 ADB 的基本介绍请参见 基础数据类型。ADB 的建表、分区表和分布表的详情请参见 ...
- 产品推荐
- 这些文档可能帮助您