OSS数据源
是 csv fieldDelimiter 读取的字段分隔符。说明 OSS Reader在读取数据时，需要指定字段分割符，如果不指定默认为（,），界面配置中也会默认填写为（,）。如果分隔符不可见，请填写Unicode编码。例如，\u001b、\u007c。是,lineDelimiter ...
挂载访问FAQ
本文介绍挂载NAS文件系统的常见问题。如果您有任何反馈或疑问，请单击下方按钮联系NAS技术支持进行咨询。NAS技术支持 通过控制台一键挂载文件系统 一键挂载功能支持哪些操作系统和文件系统协议？经典网络或者已打通VPC的ECS实例怎么通过...
导入OSS数据
归档文件的读取 如果待导入的文件是归档类型，则需要解冻后才能被读取。一般情况下，解冻一个文件大约需要1分钟。文件大小 相同数据总量的情况下，平均文件大小越大，读取吞吐越高。反之，小文件越多，读取吞吐越低。网络 如果OSS Bucket和...
新建 SQL 文件解析任务
性能评估任务包括 完整性能评估、SQL 文件解析 和 SQL 文件回放 三种类型。本文为您介绍如何新建 SQL 文件解析任务。使用限制 迁移评估仅支持对源端数据库的文件进行解析。操作步骤 新建 SQL 文件解析评估任务。登录 OceanBase 管理控制台...
Alibaba Cloud Linux 3系统的NFS文件系统读取文件性能...
重要 在NFS文件系统中，较大的预读窗口可能会提高大型文件连续读取的性能，但如果窗口太大，也可能导致不必要的数据被加载到内存中，尤其是在随机读取的场景中。因此建议您根据实际的业务场景，仔细评估实际的工作负载，调整 read_ahead_kb...
高级配置：内存缓存本地目录
如果该文件是通过OSS挂载的，Cachefs会从OSS拉取文件，所耗费的时间基本上与通过OSS挂载进行读取的时间相当。如果服务内有多个实例，这些实例会自动形成一个内存共享集群。当这些实例加载相同的模型时，会直接从远端内存中的内网进行拉取，...
Linux系统挂载SMB协议文件系统
由于Linux系统对SMB协议的兼容程度较低，建议仅在需要跨操作系统共享数据的情况下使用Linux系统挂载SMB协议文件系统。本文主要介绍如何将SMB协议文件系统挂载至云服务器ECS（Linux）上并执行读写操作。前提条件 在创建SMB协议文件系统的...
新建 SQL 文件回放任务
说明 仅选择的解析文件的源端为 OB_MySQL 时，支持 使用备份数据进行数据初始化。选择 使用备份数据进行数据初始化 后，将创建一个新的实例用于备份恢复。配置详情请参见下方表格。租户 请在下拉列表中选择相应的租户。说明 选择 基准数据...
Parquet（推荐）
Parquet提供列压缩从而可以节省空间，而且它支持按列读取而非整个文件的读取。作为一种文件格式，Parquet与Apache Spark配合的很好，而且实际上也是Spark的默认文件格式。我们建议将数据写到Parquet以方便长期存储，因为从Parquet文件读取...
Amazon S3数据源
fieldDelimiter 读取的字段分隔符。说明 Amazon S3 Reader在读取数据时，需要指定字段分割符，如果不指定默认为（,），界面配置中也会默认填写为（,）。如果分隔符不可见，请填写Unicode编码。例如，\u001b、\u007c。是 默认值：（，）...
访问OSS数据源
print("File total lines:"+str(textFile.count()))#打印文件的第一行内容 print("First line is:"+textFile.first())步骤二：访问OSS数据 登录 云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击 集群...
OSS-HDFS数据源
Reader脚本Demo {"type":"job","version":"2.0","steps":[{"stepType":"oss_hdfs",/插件名"parameter":{"path":"",/要读取的文件路径"datasource":"",/数据源"column":[{"index":0,/序列号,index从0开始（下标索引从0开始计数），表示从...
目录和文件访问权限
文件存储 HDFS 版 为目录和文件提供了一种访问权限，该访问权限类似于POSIX文件系统的权限模型。本文简要介绍访问权限的概念、使用方式及其相关注意事项。访问权限介绍 文件存储 HDFS 版 文件系统中的每一个文件或者目录会关联到三个权限...
PAI-TF数据IO方式介绍
权限名称（Action）权限说明 oss:PutObject 上传文件或文件夹对象 oss:GetObject 获取文件或文件夹对象 oss:ListObjects 查询文件列表信息 oss:DeleteObjects 删除对象 TensorFlow读取OSS数据的方法：低效的IO方式 本地执行TensorFlow代码...
WorkQueue
以下分别以文件数据源和MaxCompute表数据源为例，介绍如何使用 pai.data.WorkQueue 类实现弹性数据切分（仅提供核心代码片段）：文件数据源 import pai#.#path1、path2及path3表示需要读取的文件列表。shuffle取值为True，表示每个Epoch都...
并发控制
ConcurrentDeleteReadException 当并发操作删除您的操作读取的文件时，会发生此异常。常见的原因是DELETE，UPDATE或MERGE操作时重写文件。ConcurrentDeleteDeleteException 当并发操作删除了操作还删除的文件时，会发生此异常。这可能是由...
计费常见问题
如果只读取文件的一部分，则按照读取的部分产生的流量收费。低频读写流量不区分网络环境，只要发生读写就会产生读写流量费用。执行数据取回任务时，按照目标文件大小收取读流量费用。备份低频存储中的文件时，按照目标文件大小收取读流量...
通用型NAS计费
如果只读取文件的一部分，则按照读取的部分产生的流量收费。低频或归档读写流量不区分网络环境，只要发生读写就会产生读写流量费用。执行数据取回任务时，按照目标文件大小收取读流量费用。备份低频存储或归档存储中的文件时，按照目标文件...
错误码
E35 EIF文件解析错误 Enclave CLI从Enclave镜像文件中读取某个节加载到内存中失败，请确保提供有效的Enclave镜像文件。E36 Enclave VM启动失败 Enclave CLI未能收到Enclave VM成功启动后发送的vsock心跳包，可能原因为Enclave VM在启动前就...
安装和使用Confluent CLI
安装 根据平台下载并安装最近发布的二进制文件：Darwin/x64 Windows/x64 Linux/x64 Linux/386 Checksums(operating system agnostic)将PATH环境设置为包含您在上一步中下载 CLI 二进制文件的目录。export PATH=<$CONFLUENT_HOME>/bin:<$...
上传3D资源
单击 上传模型，在弹出对话框中，根据页面提示，选择您本地计算机上的3D模型文件。文件上传成功后，模型名称 自动匹配模型文件名称，您可修改 模型名称，输入模型描述，然后单击 确认。重要 模型名称 在当前空间下具有唯一性，不可以重复。...
导入/导出记录
导入记录 导入记录：指将准备好的解析数据，导入到云解析DNS控制台中。规则说明 导入记录分为 增量更新 和 全量更新。增量更新：是指在进行导入操作时，已有的解析记录保持不变，然后添加新增的解析记录。全量更新：是指在进行导入操作时，...
GoLang SDK使用指南
本示例使用默认配置文件方式，通过配置Credentials文件创建默认的访问凭证。使用默认凭证初始化Credentials Client。credential,err:=credentials.NewCredential(nil)/通过Credentials获取配置中的AccessKey ID。accessKeyId,err:=...
使用AOF文件进行迁移
redis-cli是原生Redis的命令行工具，您可以使用redis-cli将自建Redis中已保存至AOF文件的数据迁移到 云数据库 Redis 版。本方案具有灵活、高效与自动化等特点，可保障数据的一致性与完整性，但本方案不支持实时同步，仅支持迁移离线数据。...
使用自定义构建发布
自定义构建功能，指通过读取代码库中的配置文件，根据配置文件指定的 Docker 镜像，拉起容器进行构建。构建的步骤、执行命令、以及构件产物的定义都是在配置文件中进行配置。构建过程 触发构建之后，系统根据接口提供的代码仓库地址，将...
Android SDK开发指南
服务API/*通过自动感知当前网络环境（IPV4-only、IPV6-only、IPV4和IPV6双栈）获取该域名的解析数据*如果缓存中存在解析结果且缓存没过期则将缓存里的解析结果返回给用户*如果缓存没有或缓存过期则先通过同步网络请求向服务端获取域名的...
PTS在并发和RPS模式下读取多文件参数的方式
本文介绍在并发模式和RPS模式下，PTS读取多文件参数的方式。并发模式下某API文件读取示例 文件读取方式 若使用的参数来源于多个文件时，可以指定基准参数，PTS会先按照基准参数的行数进行组装。若为某参数设置轮询一次后，则以该参数为基准...
PTS在虚拟用户和RPS模式下读取多文件参数的方式
本文介绍在虚拟用户模式和RPS模式下，PTS读取多文件参数的方式。虚拟用户模式下某API文件读取示例 文件读取方式 若使用的参数来源于多个文件时，可以指定基准参数，PTS会先按照基准参数的行数进行组装。若为某参数设置轮询一次后，则以该...
ProtoBuf数据解析示例
protoc 为示例数据生成.desc和.data 文件 本示例以设备通过自定义Topic上报ProtoBuf格式数据为例，通过.desc 文件读取对应的二进制数据.data 文件，最终解析输出JSON格式数据，以便数据解析任务后续处理和存储。本示例解析的JSON格式数据...
FTP数据源
否 无 fileFormat 读取的文件类型，默认情况下文件作为csv格式文件进行读取，内容被解析为逻辑上的二维表结构处理。如果您配置为binary，则表示按照纯粹二进制格式进行复制传输。通常在FTP、OSS等存储之间进行目录结构对等复制时使用，通常...
文件解析规则设置
什么是文件解析规则 系统会对上传的文件进行自动解析并提取待翻译原文，平台支持对部分格式文档进行解析规则设置。如何设置 在创建项目页面，可以对项目设置进行编辑，可以编辑文件解析规则。目前支持如下截图格式的规则设置，设置完成后可...
数据库
blks_read bigint 数据库中被读取的磁盘块的数量。blks_hit bigint 磁盘块被发现已经在缓冲区中的次数，这样不需要一次读取（这只包括 PolarDB PostgreSQL版 缓冲区中的命中，而不包括在操作系统文件系统缓冲区中的命中）。tup_returned ...
数据库
blks_read bigint 数据库中被读取的磁盘块的数量。blks_hit bigint 磁盘块被发现已经在缓冲区中的次数，这样不需要一次读取（这只包括 PolarDB PostgreSQL版（兼容Oracle）缓冲区中的命中，而不包括在操作系统文件系统缓冲区中的命中）。...
如何PrivateZone同步至自建DNS
本文介绍一种自动DNS同步解决方案，可以自动将客户在PrivateZone控制台配置的解析记录同步至自建IDC服务器上，并生成标准Zone文件，bind9可以加载生效。解决方案 解析记录管理：解析记录管理通过阿里云PrivateZone控制台完成，PrivateZone...
Flink Table Store与Spark集成
Spark CLI只能通过文件系统或对象存储的路径读取Flink Table Store。操作步骤 步骤一：创建Catalog Flink Table Store将数据和元数据都保存在文件系统或对象存储中，存储的根路径由 spark.sql.catalog.tablestore.warehouse 参数指定。如果...
Paimon与Spark集成
Spark CLI只能通过文件系统或对象存储的路径读取Paimon。操作步骤 步骤一：创建Catalog Paimon将数据和元数据都保存在文件系统（例如，HDFS）或对象存储（例如，OSS）中，存储的根路径由warehouse参数指定。如果指定的warehouse路径不存在...
Terraform Init 加速方案配置
也可以使用 TF_CLI_CONFIG_FILE 环境变量指定 Terraform CLI 配置文件的位置，任何此类文件都应遵循命名模式*.tfrc。以 macOS 为例，在home目录下创建.terraformrc 文件，内容如下：provider_installation { network_mirror { url=...
OSS数据源
格式解析器 格式解析器会读取数据文件内容，从而确定文件的数据格式。默认自动解析，即按照顺序调用所有内置解析器，也可指定特定文件类型的格式解析器，比如json、parquet、avro、orc、csv。json：需要读取文件开头以确定文件格式。...
将内网解析记录同步至自建DNS
解析记录同步：在此我们提供一款轻量级的DNS记录同步工具，通过阿里云账号AK，自动读取内网DNS的解析记录，并在本地生成Zone文件，单击下载工具，下载后解压缩。解析记录加载：自建IDC内部DNS软件bind9加载生成的Zone文件。解析生效测试：...
集成对象存储OSS
在设置Prefix的基础上，将Delimiter设置为正斜线（/）时，返回值就只列举该文件夹下的文件，文件夹下的子文件夹名返回在CommonPrefixes中，子文件夹下递归的所有文件和文件夹不显示。例如，一个Bucket中有三个Object，分别为fun/test.jpg、...
- 产品推荐
- 这些文档可能帮助您