源库连接性检查
网络互通问题 经过上述排查后仍然无法通过源库连接性检查，可能是DTS服务器与源数据库网络互通问题。您可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。
目标数据库连接性检查
为保障数据迁移任务的顺利执行，在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据库连接性检查...网络互通问题 经过上述排查后仍然无法通过目标数据库连接性检查，可能是DTS服务器与目标数据库网络互通问题。
数据集成：全领域数据汇聚
数据集成资源组与网络连通 如上图所示，进行数据同步前，需通过合适的网络连通方案将数据库和数据集成资源组间的网络打通。DataWorks当前支持使用独享数据集成资源组或自定义数据集成资源组，不同资源组的属性与适用场景不同，网络连通方案...
连接方式概述
OceanBase Connector/J 驱动程序属于 JDBC Type 4 驱动类型，可以通过本地协议直接与数据库引擎通信。Connector/J 驱动程序兼容 OB2.0 协议。OceanBase 数据库支持 OceanBase Connector/J 驱动，可以自动识别 OceanBase 数据库的运行模式是...
资源组操作及网络连通
操作前，您可以先根据 配置资源组与网络连通 文档，选择对应的网络连通解决方案，连通方案核心点为：如果您使用公网同步跨地域（Region）的数据库，您需要将独享资源组本身的EIP添加到数据库白名单列表中，详情请参见：使用独享数据集成...
数据源概览
本章节主要介绍如何...CSV文件 JSON文件 Parquet文件 ORC文件 文本文件 外部数据源 Databricks数据洞察读取外部数据源时要求配置其与数据源实例的网络连接。OSS EMR HDFS MySQL Redis MaxCompute Tablestore MongoDB ElasticSearch JindoFS
VPC常见问题
专有网络与经典网络有以下区别：经典网络类型的云产品，统一部署在阿里云的公共基础网络内，由阿里云统一规划和管理，更适合对网络易用性要求比较高的用户。专有网络是指用户在阿里云的基础网络内建立一个可以自定义的专有隔离网络。与经典...
TestNetworkConnection
调用TestNetworkConnection接口，测试目标数据源与所使用资源组的网络连通性。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选...
概述
全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家内多个地域的多个 PolarDB 集群组成的网络。本文将介绍GDN特性等详情。GDN网络中所有集群的数据保持同步，网络中每个集群均提供读服务（写服务会被转发到主集群...
添加ClickHouse数据源
网络 数据源可选的网络类型。说明 当前仅支持外网访问。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录...
配置网络
为了实现应用与数据服务之间的网络互通，在您开始调用API或Dataphin数据源前需要配置网络。本文为您介绍如何查看域名。查看域名 您可以关闭已开通的域名。您可以打开或关闭域名显示开关（图标），可以管控非超级管理员查看域名的权限。请...
准备数据源和计算源
重要 确定业务数据源类型后，在Dataphin创建对应类型的数据源之前，您需确保数据源与Dataphin间网络连通，以实现Dataphin读取该数据源的原始数据及向该数据源写入Dataphin加工后的数据。详情请参见 网络连通解决方案。准备计算源 在创建...
准备数据源和计算源
重要 确定业务数据源类型后，在Dataphin创建对应类型的数据源之前，您需确保数据源与Dataphin间网络连通，以实现Dataphin读取该数据源的原始数据及向该数据源写入Dataphin加工后的数据。详情请参见 网络连通解决方案。准备计算源 在创建...
EMR Hive数据整库离线同步至MaxCompute
详情请参见：配置资源组与网络连通。配置数据来源与去向 配置数据来源：Hive侧参数 配置离线同步节点的数据来源相关参数。本实践将Hive数据整库离线同步至MaxCompute，数据来源为Hive表，配置要点如下所示。配置项 配置要点 数据源 选择...
EMR Hive数据整库离线同步至MaxCompute
详情请参见：配置资源组与网络连通。配置数据来源与去向 配置数据来源：Hive侧参数 配置离线同步节点的数据来源相关参数。本实践将Hive数据整库离线同步至MaxCompute，数据来源为Hive表，配置要点如下所示。配置项 配置要点 数据源 选择...
常见问题
同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个阿里云账号下，进行数据同步时如何...
技术架构
本文介绍全球数据库网络（Global Database Network，简称GDN）的技术架构。图 1.GDN架构 跨地域部署 ⼀个主集群（Primary），其他为从集群（Secondary)，多个 PolarDB 集群之间...相关文档 概述 应用场景 创建与删除全球数据库网络 管理从集群
使用公共资源组
网络连通方案 DataWorks资源组本质上为一组阿里云ECS实例，在运行数据集成、数据开发等任务时，需保障资源组与数据源之间的网络是连通的，且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。网络连通 公共资源组支持...
迁移介绍
云企业网（Cloud Enterprise Network，简称CEN）可以在不同专有网络之间，专有网络与本地数据中心间搭建私网通信通道。通过自动路由分发及学习，CEN可以提高网络的快速收敛和跨网络通信的质量，实现全网资源的互通。迁移过程 在完成所需的...
迁移介绍
云企业网CEN（Cloud Enterprise Network）可以在不同专有网络之间，专有网络与本地数据中心间搭建私网通信通道。通过自动路由分发及学习，CEN可以提高网络的快速收敛和跨网络通信的质量，实现全网资源的互通。迁移过程 在完成所需的迁移前...
数据上传
配置数据源与资源组网络连通，请参见 配置资源组与网络连通。配置独享资源组绑定的归属工作空间，请参见 使用独享调度资源组、使用独享数据集成资源组。计费说明 数据上传会产生引擎费用，由引擎侧收取。收费详情请参见相应引擎文档的计费...
ElasticSearch
使用DDI读写ElasticSearch数据源 打通DDI集群与ElasticSearch数据源的网络 登录到 Elasticsearch管理控制台。点击上部选择实例所在 region。点击实例ID进入实例详情页面。查看 基本信息 找到对应的VPV和VSwitch。登录到 Databricks数据洞察...
创建ClickHouse数据源
若资源组与数据源无法连通，则相应数据源任务将无法正常执行。后续操作 数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供ClickHouse任务的开发与调度能力，若您需要基于该...
术语
更多详情，请参见 创建与删除全球数据库网络。主集群（Primary Cluster）全球数据库网络（GDN）中只有一个集群拥有读写权限，这个可读可写的集群叫做主集群。从集群（Secondary Cluster）全球数据库网络（GDN）中从主集群同步数据的从属...
连接方式概述
OceanBase Connector/C 也称为 LibOBClient，用于应用程序作为独立的服务器进程通过网络连接与数据库服务器 OBServer 节点进行通信。客户端程序在编译时会引用 C API 头文件，同时可以连接到 C API 库文件。说明 LibOBClient 生成的 so ...
全球数据库常见问题
删除GDN的具体操作请参见 创建与删除全球数据库网络。说明 删除GDN或删除GDN主集群时，需要先删除所有从集群。删除GDN主集群时，GDN会同步删除，不需要单独进行删除GDN的操作。GDN有哪些限制操作？GDN不支持库表恢复，如果需要恢复丢失数据...
内置时空数据引擎Ganos
提供拓扑网络路径分析和大规模点云存储与查询支持 Ganos所包含的几何网络数据库引擎支持Node-Edge拓扑网络构建，支持Turn、U-Turn等概念，支持TSP（旅行商问题）、KSP（多条线路最短路径）、TRSP（转向限制的最短路径）等一系列路径规划...
创建Hologres数据源
若资源组与数据源无法连通，则相应数据源任务将无法正常执行。后续操作 为保障您的开发过程更加顺畅，建议先阅读 DataWorks On Hologres使用说明，了解在DataWorks使用Hologres的开发流程、相关费用、环境准备、权限控制等内容。数据源创建...
创建AnalyticDB for PostgreSQL数据源
若资源组与数据源无法连通，则相应数据源任务将无法正常执行。方式二：通过连接串模式创建数据源 该方式仅支持使用当前阿里云账号创建数据源。配置基础信息。参数 说明 数据源名称 定义数据源在DataWorks的名称，名称必须唯一。配置模式 ...
创建AnalyticDB for MySQL3.0数据源
若资源组与数据源无法连通，则相应数据源任务将无法正常执行。方式二：通过连接串模式创建数据源 使用该模式创建的数据源不支持用于数据开发和调度，只能用于数据同步。创建数据源配置如下。配置基础信息。参数 说明 数据源名称 定义数据源...
Oracle同步至Tablestore
网络与资源配置：在下拉框中分别选择已创建的Oracle数据源、Tablestore数据源、独享数据集成资源组，单击 测试所有连通性，保障资源组与数据源之间的网络连通性。配置Oracle来源信息。单击页面上方的 Oracle来源，在Oracle来源信息选择所...
创建MaxCompute数据源
若资源组与数据源无法连通，则相应数据源任务将无法正常执行。说明 数据源创建成功后平台会进行访问身份授权，即将访问身份账号添加至MaxCompute项目中，并为该身份映射MaxCompute对应的权限。在授权完成前，连通性测试可能会产生连通无...
数仓规划概述
网络连通 为了实现数据源与Dataphin之间的网络互通，您需要将访问数据库的链接地址添加至Dataphin实例的沙箱白名单中。Dataphin的IP加入至RDS数据源的白名单中。详情请参见 通过客户端、命令行连接RDS MySQL实例。Dataphin不同区域的IP白...
开通免费试用
重要 数据库审计实例需要与自建数据库或使用数据库的应用服务器（云服务器ECS）网络互通，建议选择与业务系统相同的地域。系列 数据库审计实例的类型。可选项：C100：表示试用C100系列实例，您需要将 版本 选择为 专业版3实例。D100：表示...
数据集成概述
连通数据源与Dataphin间的网络 进行数据同步时，需要连通数据源与Dataphin项目空间间的网络。如何连通数据源与Dataphin间的网络，请参见 网络连通解决方案。适用场景说明 场景 描述 操作指导 通过管道脚本构建同步任务 基于已有的管道脚本...
创建同步任务
您需要测试每种资源组的连通性，以保证同步任务使用的资源组能够与数据源连通，否则将无法正常执行数据同步任务。测试连通性通过后，单击 完成，数据源创建完成。步骤二：新建并配置同步任务 通过创建同步节点 write_result 来生成一个同步...
管理网络配置
在EMR Notebook的使用过程中，需要确保外部集群、数据源与工作空间机器的网络连通性。本文为您介绍如何添加、修改工作空间的网络配置。前提条件 已创建工作空间，详情请参见 管理工作空间。使用限制 在网络配置阶段，仅支持使用以下指定...
采集数据
本教程采用离线同步方案，DataWorks将数据集成离线同步能力封装为离线同步节点，一个离线同步节点代表一个同步任务，节点内通过数据来源与数据去向定义数据源之间的数据传输，通过字段映射的方式定义源端字段与目标端字段的数据读取与写入...
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
通过数据订阅实现缓存更新策略
说明 如果您部署SDK客户端所属的ECS实例与数据订阅通道属于经典网络或同一专有网络，建议通过内网地址进行数据订阅，网络延迟最小。在DTS控制台单击目标订阅实例ID，在 基本信息 页面的 网络 区域，您可以获取网络地址及端口号信息。topic ...
- 产品推荐
- 这些文档可能帮助您