BigQuery数据源
配置BigQuery的网络连接 在DataWorks上进行数据同步前，您需要将BigQuery的网络与数据集成的独享资源组打通，使之通过内网地址进行访问。网络打通的具体方法可参考：配置资源组与网络连通。数据同步任务开发 BigQuery数据同步任务的配置...
MySQL分库分表同步至Hologres（方案1.0）
已完成独享数据集成资源组与数据源的网络连通。详情请参见：配置资源组与网络连通。已完成数据源环境准备。Hologres：本实践需要在目标端创建Schema，所以您需要先授权数据源配置账号在Hologres创建Schema的权限，详情请参见 Hologres权限...
PostgreSQL数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大的提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 512 PostgreSQL ...
Memcache（OCS）数据源
Memcache（原名OCS）数据源为您提供其它数据...否 0，0永久有效 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与MySQL的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
Vertica数据源
Vertica是一款基于列存储的MPP架构的数据库，Vertica...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与Vertica的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
Oracle数据源
由于主备数据同步存在一定的时间差，在网络延迟等特定情况下，会导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 Oracle在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询...
ClickHouse数据源
ClickHouse数据源为您提供读取和写入ClickHouse...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与ClickHouse的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
通过DataWorks导入数据
已完成数据集成资源组与数据源的网络连通。详情请参见：配置资源组与网络连通。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备...
通过DataWorks导入数据
已完成数据集成资源组与数据源的网络连通。详情请参见：配置资源组与网络连通。操作步骤 新增RDS SQL Server数据源。具体操作，请参见 配置SQLServer数据源。新增AnalyticDB MySQL数据源。具体操作，请参见 配置AnalyticDB for MySQL 3.0...
网络连通与白名单配置
在调用API时，为了防止资源组不能正常访问数据源，您需要在数据源中配置IP白名单，从而确保资源组的网络连通性。本文为您介绍不同资源组类型对应的IP白名单或其获取方式，以及在数据源中配置IP白名单时的注意事项。获取白名单IP地址：公共...
DB2数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够较大的提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1024 Writer脚本...
ApsaraDB For OceanBase数据源
ApsaraDB for OceanBase数据源提供读取和写入...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与服务器端的网络交互次数，并提升整体吞吐量。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1,024
SQL Server数据源
SQL Server数据源为您提供读取和写入SQL ...否 insert batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与SQL Server的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
AnalyticDB for PostgreSQL数据源
AnalyticDB for PostgreSQL数据源...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据集成与AnalyticDB for PostgreSQL的网络交互次数，并提升整体吞吐量。但是该值设置过大可能会造成数据集成运行进程OOM情况。否 1,024
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
GBase8a数据源
GBase8a数据源为您提供读取和写入GBase8a双向通道的...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与Gbase8a的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
DM（达梦）数据源
DM（达梦）数据源作为数据中枢，为您提供读取和写入DM...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据集成与DM（达梦）的网络交互次数，并提升整体吞吐量。但是该值设置过大可能会造成数据集成运行进程OOM情况。否 1024
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
数据源概览
本章节主要介绍如何使用Databricks数据洞察完成对多种数据源的读写，以及如何使用Databricks数据洞察完成与其他阿里云产品数据源之间的网络连接。静态数据源 Databricks数据洞察支持直接读取静态数据源。CSV文件 JSON文件 Parquet文件 ORC...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
什么是备份数据量
本文介绍数据库备份DBS中备份数据量的概念。名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下，含有常见以下几个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
新增和使用独享数据服务资源组
网络连通与白名单配置 独享数据服务资源组与数据源之间进行数据服务时，需要确保独享数据服务资源组与不同网络环境数据源之间的连通性，独享数据服务资源组包括公网、阿里云VPC网络、IDC网络等场景的网络连通方案，不同连通场景下需要添加...
资源组操作及网络连通
同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个阿里云账号下，进行数据同步时如何...
通用参考：添加路由
如果添加路由后，仍然存在网络连通问题，请根据如下因素进行排查：如果独享资源组访问的是本地IDC数据源，或者跨账号访问数据源，请先参考 配置资源组与网络连通 进行网络连通，再为独享资源组绑定与数据库网络连通的VPC。如果您的数据源已...
开通免费试用
重要 数据库审计实例需要与自建数据库或使用数据库的应用服务器（云服务器ECS）网络互通，建议选择与业务系统相同的地域。系列 数据库审计实例的类型。可选项：C100：表示试用C100系列实例，您需要将 版本 选择为 专业版3实例。D100：表示...
Kafka实时ETL同步至Hologres
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。说明 Kafka与Hologres支持的网络类型如下：Kafka:指定VPC网络、公网。Hologres:指定VPC网络、...
跨阿里云主账号访问
您在跨账号进行数据同步任务之前，需要设置并确保执行任务的独享数据集成资源组，与源端及目标端数据库之间的网络连通性。本文将为您介绍在使用跨阿里云账号时，数据库与DataWorks工作空间之间的网络连通操作。背景信息 网络连通方案选择取...
Kafka单表实时入湖OSS（HUDI）
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置资源组与网络连通。说明 OSS数据源在下一步新增OSS数据源时，指定Endpoint地址，即可实现OSS数据源与独享...
附录：ECS自建数据库的安全组配置
前提条件 已完成资源组与数据源之间的网络连通配置，详情可参见 选择网络连通方案。数据库开启白名单时，已将资源组对应的IP地址段添加至数据库白名单中，详情可参见 添加白名单。添加安全组 进行ECS自建数据源的数据同步时，如果同步任务...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
独享资源组模式
如果数据库有白名单访问控制，请参考以下部分为数据库添加对应的白名单：获取独享资源组EIP、独享资源组绑定的专有网络IP及数据源的网络环境的方式，请参见 使用独享数据集成资源组执行任务需要在数据库添加的IP白名单。绑定成功后，如果...
Oracle同步至Tablestore
网络与资源配置：在下拉框中分别选择已创建的Oracle数据源、Tablestore数据源、独享数据集成资源组，单击 测试所有连通性，保障资源组与数据源之间的网络连通性。配置Oracle来源信息。单击页面上方的 Oracle来源，在Oracle来源信息选择所...
LogHub（SLS）实时ETL同步至Hologres
网络与资源配置：在下拉框中分别选择已创建的LogHub数据源、Hologres数据源、独享数据集成资源组，单击 测试所有连通性，保证资源组与数据源之间的网络连通性。配置SLS来源信息。单击页面上方的 SLS来源，编辑SLS来源信息。选择需要同步的...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
OSS数据离线同步至MaxCompute
配置完成后，单击 测试连通性，选择您已经完成与OSS网络联通的数据集成独享资源组，确保连通状态为 可连通，即可实现OSS与对应数据集成独享资源组的网络联通。新增MaxCompute数据源 新增MaxCompute数据源。详情请参见 创建MaxCompute数据源...
OSS数据离线同步至MaxCompute
配置完成后，单击 测试连通性，选择您已经完成与OSS网络联通的数据集成独享资源组，确保连通状态为 可连通，即可实现OSS与对应数据集成独享资源组的网络联通。新增MaxCompute数据源 新增MaxCompute数据源。详情请参见 创建MaxCompute数据源...
配置网络
为了实现应用与数据服务之间的网络互通，在您开始调用API或Dataphin数据源前需要配置网络。本文为您介绍如何查看域名。查看域名 您可以关闭已开通的域名。您可以打开或关闭域名显示开关（图标），可以管控非超级管理员查看域名的权限。请...
内置时空数据引擎Ganos
提供拓扑网络路径分析和大规模点云存储与查询支持 Ganos所包含的几何网络数据库引擎支持Node-Edge拓扑网络构建，支持Turn、U-Turn等概念，支持TSP（旅行商问题）、KSP（多条线路最短路径）、TRSP（转向限制的最短路径）等一系列路径规划...
- 产品推荐
- 这些文档可能帮助您