数据模式怎么看配置-数据模式怎么看配置文档介绍内容-阿里云

DataWorks数据集成

说明具体操作步骤请参考DataWorks 通过脚本模式配置离线同步任务数据导出数据导出的步骤和数据导入的步骤一样，区别是在数据导出中，数据源配置需要配置为 AnalyticDB PostgreSQL版（参见配置AnalyticDB for PostgreSQL数据源），而...

数据源概述

您可以在配置数据源时选择 RAM角色授权模式，并选择相应的自定义RAM角色来访问数据源。详情请参见：通过RAM角色授权模式配置数据源。数据源开发与生产隔离在配置数据源时，您可以对同一个名称的数据源同时添加开发环境和生产环境两套配置...

创建并管理数据源

当使用连接串模式 配置数据源时，DataWorks会对数据源的 JDBC URL 进行解析。若 JDBC URL 中包含DataWorks暂不支持的参数，DataWorks会将该参数移除。若您希望在 JDBC URL 中继续使用DataWorks不支持的参数，则请提交工单联系技术支持...

BigQuery数据源

BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...

Amazon Redshift数据源

Amazon Redshift数据源为您提供读取和写入Amazon Redshift的双向通道，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍Amazon Redshift数据同步能力支持情况。支持的Amazon Redshift版本 Amazon Redshift使用的驱动...

Kafka单表实时入湖OSS（HUDI）

RAM角色认证模式 RAM角色认证模式，可以参考文档通过RAM角色授权模式配置数据源进行配置。配置完成后，单击测试连通性，选择您已经完成与OSS网络联通的数据集成独享资源组，确保连通状态为可连通，即可实现OSS与对应数据集成独享资源组...

使用DataWorks数据集成从MySQL导入数据到GDB

说明图数据库GDB当前仅支持通过脚本模式配置数据去向，具体请参见通过脚本模式配置任务。单击工具栏提示信息中的点击转换为脚本。在配置脚本页面，编辑同步任务参数。以下示例配置是同步数据源 mysql_loader 中数据表 comment 到GDB数据...

OSS数据离线同步至MaxCompute

新建离线同步任务在数据开发（DataStudio）页面的某个业务流程下，新建一个离线同步节点，根据界面提示配置节点的路径、名称等信息，操作详情请参见通过向导模式配置离线同步任务。配置数据来源：OSS侧参数配置离线同步节点的数据来源...

OSS数据离线同步至MaxCompute

新建离线同步任务在数据开发（DataStudio）页面的某个业务流程下，新建一个离线同步节点，根据界面提示配置节点的路径、名称等信息，操作详情请参见通过向导模式配置离线同步任务。配置数据来源：OSS侧参数配置离线同步节点的数据来源...

平台安全诊断

DataWorks工作空间数据源此安全检测项为您扫描哪些工作空间下的OSS数据源仍在使用Access Key模式，您可以根据通过RAM角色授权模式配置数据源对数据源进行改造。数据生产规范化诊断提升数据产出体系的稳定性与安全性。安全检测维度安全...

元数据采集的数据源有白名单访问控制时需要配置的白...

使用限制目前只支持实例形式配置的数据源，或者连接串形式使用公网地址配置的数据源进行元数据采集，暂不支持通过内网地址配置的数据源进行元数据采集，即连接串模式 配置数据源的时候暂不支持 JDBC URL 设置为VPC的地址。如果您在元数据...

PostgreSQL数据源

PostgreSQL数据源为您提供读取和写入PostgreSQL双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的PostgreSQL数据同步能力支持情况。支持的版本目前仅支持配置PostgreSQL数据源为PostgreSQL...

通过RAM角色授权模式配置数据源

本文以OSS数据源为例，为您介绍如何通过RAM角色授权模式配置数据源，提高云上数据的安全性。前提条件如果您需使用RAM用户登录并完成本文操作流程，请先为RAM用户授予 AliyunDataWorksFullAccess 和 AliyunRAMFullAccess 权限策略，详情请...

文档修订记录

关系图 2023.8.25 新增功能数据集成 Amazon Redshift数据源为您提供读取和写入Amazon Redshift的双向通道，方便您后续可以通过向导模式和脚本模式配置数据同步任务。Amazon Redshift数据源 2023.8.24 新增功能运维中心在原有调度配置...

EMR Hive数据整库离线同步至MaxCompute

Hive数据源包括阿里云实例模式，连接串模式，CDH集群内置模式三种类型，若您配置的数据源为阿里云EMR，推荐您使用阿里云实例模式 配置数据源；若您配置的数据源非阿里云EMR，您可以使用连接串模式 配置数据源；若您的项目空间配置了CDH...

EMR Hive数据整库离线同步至MaxCompute

Hive数据源包括阿里云实例模式，连接串模式，CDH集群内置模式三种类型，若您配置的数据源为阿里云EMR，推荐您使用阿里云实例模式 配置数据源；若您配置的数据源非阿里云EMR，您可以使用连接串模式 配置数据源；若您的项目空间配置了CDH...

Oracle数据源

Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本离线读写版本离线读（Oracle Reader）离线写（Oracle ...

通过函数计算节点实现GitHub实时数据分析与结果发送

访问模式 RAM角色授权模式 Access Key模式选择角色当访问模式为 RAM角色授权模式，选择RAM角色，详情请参见通过RAM角色授权模式配置数据源。AccessKey ID 当访问模式为 Access Key模式，需输入AccessKey信息，详情请参见查看RAM用户的...

BI分析模式数据面板功能介绍

使用BI分析模式配置组件数据是一个全新的数据配置功能，需要与您准备的数据集内容相结合，您可以使用BI分析模式，为组件自由分配所需数据集的字段内容，合理配置图表数据映射和其他数据筛选等功能。本文介绍BI分析模式下组件数据配置面板...

使用MaxCompute访问

配置数据任务的步骤请参见通过向导模式配置任务，详细参数设置如下：配置数据走向。如果配置从MaxCompute数据同步到文件引擎时，配置的数据去向的数据源为HDFS。如果配置从文件引擎同步数据到MaxCompute时，配置的数据来源的数据源为HDFS...

Hive数据源

如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader参数...

MaxCompute数据源

单表离线同步任务配置指导操作流程请参见通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的附录：脚本Demo与参数说明。单表实时同步任务配置指导操作流程请参见配置单表...

Salesforce数据源

单击新增数据源，搜索Salesforce并打开，在新增Salesforce数据源页面，配置数据源类型为自定义。关键参数配置：参数说明登录地址填写为 https://<Salesforce域名>/services/oauth2/authorize。认证地址填写为 ...

执行补数据并查看补数据实例（旧版）

执行补数据选择补数据模式后，根据界面指引配置相关参数，配置完成单击确定，启动补数据。不同补数据模式的配置参数存在差异，具体如下。当前节点补数据选择当前节点作为本次补数据的任务范围。参数说明如下。参数描述补数据名称平台...

DRDS（PolarDB-X）数据源

实时读目前仅支持使用实例模式配置的数据源，如果您使用JDBC连接串配置的数据源，任务运行将会出错。实例的存储类型：仅支持PolarDB（即租户侧PolarDB MySQL）和存量的用户RDS（新购已不支持），不支持RDS MySQL（即私有定制RDS MySQL）。...

OSS数据源

OSS数据源配置模式 OSS数据源配置支持数仓模式和自由模式，两种模式差异如下：OSS数据源配置使用场景 OSS路径格式要求识别精度性能数仓模式用户直接上传数据到OSS，并期望构建可分析与计算的标准数据仓库。库/表/文件”或者“库/表...

配置数据源

本文为您介绍如何配置数据源。前提条件为了保障数据源和服务资源组之间的正常数据访问，需要完成网络连通与白名单的配置，否则将无法正常执行数据服务的相关任务。公共资源组网络配置，请参见获取白名单IP地址：公共资源组。独享服务资源...