配置KingbaseES输入组件
KingbaseES输入组件用于读取KingbaseES数据源的数据。同步KingbaseES数据源的数据至其他数据源的场景中，您需要先配置KingbaseES输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置KingbaseES输入组件。前提条件 已...
工作组成员管理
工作组开发者：拥有工作组内的开发（例如云计算资源更新）等基本的修改及读取权限。工作组分析员：可使用工作组内的数据进行数据分析等操作。元数据读取：可访问工作组内云计算资源的元数据信息。数据读取：可访问工作组内云计算资源的...
配置StarRocks输入组件
StarRocks输入组件用于读取StarRocks数据源的数据。同步StarRocks数据源的数据至其他数据源的场景中，您需要先配置StarRocks输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置StarRocks输入组件。前提条件 已创建...
配置Salesforce输入组件
配置Salesforce输入组件后，可以读取Salesforce数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Salesforce输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Salesforce数据源。具体操作，请...
配置StarRocks输入组件
StarRocks输入组件用于读取StarRocks数据源的数据。同步StarRocks数据源的数据至其他数据源的场景中，您需要先配置StarRocks输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置StarRocks输入组件。前提条件 已创建...
配置Salesforce输入组件
配置Salesforce输入组件后，可以读取Salesforce数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Salesforce输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Salesforce数据源。具体操作，请...
工作组成员管理
工作组开发者：拥有工作组内的开发（例如云计算资源更新）等基本的修改及读取权限。工作组分析员：可使用工作组内的数据进行数据分析等操作。元数据读取：可访问工作组内云计算资源的元数据信息。数据读取：可访问工作组内云计算资源的...
配置ClickHouse输入组件
ClickHouse输入组件用于读取ClickHouse数据源的数据。同步ClickHouse数据源的数据至其他数据源的场景中，您需要先配置ClickHouse输入组件读取的数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置ClickHouse输入组件。前提条件...
配置GBase 8a输入组件
GBase 8a输入组件用于读取GBase 8a数据源的数据。同步GBase 8a数据源的数据至其他数据源的场景中，您需要先配置GBase 8a输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GBase 8a输入组件。前提条件 已创建GBase 8...
配置Impala输入组件
Impala输入组件用于读取Impala数据源的数据。同步Impala数据源的数据至其他数据源的场景中，您需要先配置Impala输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Impala输入组件。前提条件 已创建Impala数据源，...
配置PostgreSQL输入组件
PostgreSQL输入组件用于读取PostgreSQL数据源的数据。同步PostgreSQL数据源的数据至其他数据源的场景中，您需要先配置PostgreSQL输入组件读取的源数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PostgreSQL输入组件。在开始执行...
配置PostgreSQL输入组件
PostgreSQL输入组件用于读取PostgreSQL数据源的数据。同步PostgreSQL数据源的数据至其他数据源的场景中，您需要先配置PostgreSQL输入组件读取的源数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PostgreSQL输入组件。在开始执行...
配置GoldenDB输入组件
GoldenDB输入组件用于读取GoldenDB数据源的数据。同步GoldenDB数据源的数据至其他数据源的场景中，您需要先配置GoldenDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GoldenDB输入组件。前提条件 已创建...
配置Impala输入组件
Impala输入组件用于读取Impala数据源的数据。同步Impala数据源的数据至其他数据源的场景中，您需要先配置Impala输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Impala输入组件。前提条件 已创建Impala数据源，...
配置MySQL输入组件
MySQL输入组件用于读取MySQL数据源的数据。同步MySQL数据源的数据至其他数据源的场景中，您需要先配置MySQL输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MySQL输入组件。操作步骤 请参见 离线管道组件开发入口...
配置MySQL输入组件
MySQL输入组件用于读取MySQL数据源的数据。同步MySQL数据源的数据至其他数据源的场景中，您需要先配置MySQL输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MySQL输入组件。操作步骤 请参见 离线管道组件开发入口...
配置OpenGauss输入组件
OpenGauss输入组件用于读取OpenGauss数据源的数据。同步OpenGauss数据源的数据至其他数据源的场景中，您需要先配置OpenGauss输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置OpenGauss输入组件。前提条件 已创建...
配置KingbaseES输入组件
KingbaseES输入组件用于读取KingbaseES数据源的数据。同步KingbaseES数据源的数据至其他数据源的场景中，您需要先配置KingbaseES输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置KingbaseES输入组件。前提条件 已...
配置GoldenDB输入组件
GoldenDB输入组件用于读取GoldenDB数据源的数据。同步GoldenDB数据源的数据至其他数据源的场景中，您需要先配置GoldenDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GoldenDB输入组件。前提条件 已创建...
配置DM（达梦）输入组件
配置DM（达梦）输入组件后，可以读取DM（达梦）数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置DM（达梦）输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建达梦数据源。具体操作，请参见 ...
配置DM（达梦）输入组件
配置DM（达梦）输入组件后，可以读取DM（达梦）数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置DM（达梦）输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建达梦数据源。具体操作，请参见 ...
配置ClickHouse输入组件
ClickHouse输入组件用于读取ClickHouse数据源的数据。同步ClickHouse数据源的数据至其他数据源的场景中，您需要先配置ClickHouse输入组件读取的数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置ClickHouse输入组件。前提条件...
准备工作
步骤一：预估迁移数据 预估需要迁移的数据，包括迁移存储量和迁移文件个数。您可以在百度云BOS管理控制台页面，查看待迁移的存储量和对象（文件）数量。说明 为保证您数据的正常迁移，您需要在 步骤三：创建迁移任务 时正确填写存储量与...
准备工作
步骤三：创建用于迁移的访问密钥 创建有源数据读取权限的访问密钥。具体操作，请参见 管理IAM用户访问密钥。重要 链接文档仅供参考，由于源站变更，文档可能已经过时。步骤四：创建目标存储空间 创建目标存储空间，用于存放迁移的数据。...
准备工作
步骤三：创建用于迁移的云API公钥和私钥 创建有源数据读取权限的公钥和私钥。具体操作，请参见 令牌管理。重要 以上步骤仅供参考，由于源站变更，操作步骤可能已经过时。步骤四：创建目标存储空间 创建目标存储空间，用于存放迁移的数据。...
准备工作
步骤三：查询访问密钥 查询有源数据读取权限的访问密钥。您可以在七牛云 密钥管理控制台 查询访问密钥。重要 链接仅供参考，由于源站变更，链接可能已经过时。步骤四：创建目标存储空间 创建目标存储空间，用于存放迁移的数据。具体操作，...
准备工作
步骤三：创建用于迁移数据的访问密钥 创建有源数据读取权限的访问密钥。具体操作，请参见 访问密钥。重要 链接文档仅供参考，由于源站变更，文档可能已经过时。步骤四：创建目标存储空间 创建目标存储空间，用于存放迁移的数据。具体操作，...
准备工作
步骤三：查询访问密钥 查询有源数据读取权限的访问密钥。关于访问密钥的更多信息，请参见 为IAM子用户创建密钥。重要 链接文档仅供参考，由于源站变更，文档可能已经过时。步骤四：创建目标存储空间 创建目标存储空间，用于存放迁移的数据...
OSS跨账号授权说明
本文介绍如何实现在VCS中读取用户OSS上的数据，需用户进行以下授权过程，让VCS有权限读取用户的OSS。前提条件 用户已开通阿里云OSS服务（oss.console.aliyun.com），并在OSS上传数据。用户已开通访问控制服务（ram.console.aliyun.com）。...
自定义RAM Policy
当登录 表格存储 控制台管理实例资源时，由于 表格存储 控制台需要获取实例的列表，因此需要授予用户 acs:ots:[region]:[user_id]:instance/*资源的读取权限，对于批量操作API（例如BatchGetRow、BatchWriteRow），后端服务会对被访问的每...
403错误
示例2 如下图所示，A代表RAM角色权限，B代表通过policy参数设置的权限，且policy参数设置的权限是RAM角色权限的子集。因此，B代表临时访问凭证的最终权限。AccessForbidden CORSResponse:This CORS request is not allowed.This is usually...
列出并读取一个存储空间中的资源
本文为您提供列出并读取一个存储空间中资源的参考示例。以下策略表示：您可以通过OSS SDK或OSS命令行工具列出并读取一个存储空间 myphotos 中的资源。{"Version":"1","Statement":[{"Effect":"Allow","Action":"oss:ListObjects","Resource...
前言
BucketLifecycle.php 设置、读取和清除存储空间的 生命周期 BucketLogging.php 设置、读取和清除存储空间的 访问日志 BucketReferer.php 设置、读取和清除存储空间的 防盗链 BucketWebsite.php 设置、读取和清除存储空间的 静态网站托管 ...
OSS-HDFS数据源
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品，OSS-HDFS数据源为您提供读取和写入OSS-HDFS的双向通道，本文为您介绍DataWorks的OSS-HDFS数据同步的能力支持情况。使用限制 离线读 使用OSS-HDFS Reader时，请注意以下事项：由于...
为什么存储类型转换后，源Object存储类型容量没有减少...
本文介绍为什么存储类型转换后，目标Object存储类型存储容量增加了，但是源Object存储类型容量没有减少的原因以及解决方法。问题描述 转换存储类型后，目标Object存储类型存储容量增加了，但是源Object存储类型存储容量没有减少。问题原因 ...
Query Profile介绍
RemoteReadBytes 所有Connector Scan执行节点从OSS对象存储读取的压缩数据大小之和。该指标仅适用于存算分离实例。ResultRows 所有SCAN执行节点输出记录条数总和。ResultBytes 所有SCAN执行节点读取的数据总量之和。Network 指标 说明 ...
授予云备份客户端读取SMB NAS文件权限
由于 云备份 客户端没有读取SMB类型NAS文件的权限，导致 云备份 无法进行备份，此时您需要通过授予 云备份 客户端读取SMB类型NAS文件权限来完成备份。本文介绍在Windows上授予 云备份 客户端读取SMB类型NAS文件权限的操作方法。前提条件 已...
数据导出到OSS概述
表格存储 中的全量数据以及增量数据可以通过DataWorks数据集成同步到 对象存储 中备份和使用。实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，...
集群吞吐性能测试
测试环境 配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 TestDFSIO是Hadoop系统...
文本文件
读取纯文本文件，文件中的每一行将被解析为DataFrame中的一条记录，然后根据要求进行转换，由于文本文件能够充分利用原生类型（native type）的灵活性，因此很适合作为DataSetAPI的输入。前提条件 通过主账号登录 阿里云 Databricks控制台...
- 产品推荐
- 这些文档可能帮助您