配置HDFS输入组件
忽略：当读取的文件不存在时，忽略该文件，并继续读取其他文件。置任务失败：当读取的文件不存在时，终止该任务并置失败。文件为空时 当读取的文件为空时，支持忽略或置任务失败。忽略：当读取的文件为空时，忽略该文件，并继续读取其他...
Hive数据源
您可以基于HDFS文件和Hive JDBC两种方式读取数据：基于HDFS文件读取数据 Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。...
FS-文件系统
mode String 否 读取文件内容返回格式不填此参数返回为String数组，填入 'b' 为字节数组。返回 返回值 说明 data Array类型，读取到的数据。fs.unlinkSync(String path)删除对应PATH的文件。入参 属性 类型 是否必填 描述 path String 是 ...
SmartData 3.1.x版本简介
JindoFS缓存优化 针对机器学习训练场景提供小文件缓存优化，大幅提升海量小文件的缓存效率和读取性能。提供小文件目录预加载 cache 命令，大幅提升预加载效率。支持数据缓存自动触发功能，您可以通过设置需要跟踪的目标目录以及时间间隔，...
PTS在并发和RPS模式下读取多文件参数的方式
本文介绍在并发模式和RPS模式下，PTS读取多文件参数的方式。并发模式下某API文件读取示例 文件读取方式 若使用的参数来源于多个文件时，可以指定基准参数，PTS会先按照基准参数的行数进行组装。若为某参数设置轮询一次后，则以该参数为基准...
PTS在虚拟用户和RPS模式下读取多文件参数的方式
本文介绍在虚拟用户模式和RPS模式下，PTS读取多文件参数的方式。虚拟用户模式下某API文件读取示例 文件读取方式 若使用的参数来源于多个文件时，可以指定基准参数，PTS会先按照基准参数的行数进行组装。若为某参数设置轮询一次后，则以该...
最佳实践
说明 若您有合作需求或技术咨询请进钉钉群：63840009561 预处理视频文件以提高文件转写效率 Paraformer语音识别API可以兼容视频文件，但由于视频文件尺寸通常较大、传输较为耗时，因此建议您对视频文件进行预处理。仅提取需要进行语音识别...
OSS数据源
parquet：需要读取文件结尾处的schema以确定文件格式。avro：需要读取文件开头处的shema以确定文件格式。orc：要读取文件元数据以确定文件格式。csv：检查以下分隔符：逗号（,）、竖线（|）、制表符（\t）、分号;空格（）、（\u0001）。...
读取文本文件内容
1.组件介绍 说明 必要前置组件：无 利用本组件可以读取文本文件内容 2.输入项 说明 请参照可视化编辑器内组件面板中各输入项的帮助信息 3.输出项 说明 请参照可视化编辑器内组件面板中各输出项的帮助信息 4.组件使用示例 4.1.组件配置示例 ...
OSS与文件系统的对比
对象存储 OSS 文件系统 Object 文件 Bucket 主目录 Region 无 Endpoint 无 AccessKey 无 无 多级目录 GetService 获取主目录列表 GetBucket 获取文件列表 PutObject 写文件 AppendObject 追加写文件 GetObject 读文件 DeleteObject 删除...
Resource
read read(resource_name,encoding='utf-8')方法描述 读取资源文件内容 参数说明 resource_name资源文件名称，相对于工程中resources文件夹目录 encoding资源文件的编码格式，默认utf-8 返回值说明 返回资源文件内容调用样例-rpa.project....
OSS-HDFS数据源
说明 实际启动的并发数是您的OSS-HDFS待读取文件数量和您配置作业并发数两者中的小者。当指定通配符，OSS-HDFS Reader尝试遍历出多个文件信息。例如指定/代表读取/目录下所有的文件，指定/oss-hdfs/代表读取oss-hdfs目录下游所有的文件。...
性能优化概述
智能压缩 开启智能压缩功能，CDN节点向您返回请求的资源时，会对文本文件进行Gzip压缩，可以有效缩小传输文件的大小，提升文件传输效率，减少带宽消耗。Brotli压缩 开启Brotli压缩功能，CDN节点向您返回请求的资源时，会对文本文件进行...
配置FTP输入组件
文件不存在时 忽略：当读取的文件不存在时，忽略该文件，并继续读取其他文件。置任务失败：当读取的文件不存在时，终止该任务并置失败。数据内容起始行 设置输入组件读取数据的起始行。默认为1，从第一行开始为数据内容。若需忽略前N行，则...
配置FTP输入组件
文件不存在时 忽略：当读取的文件不存在时，忽略该文件，并继续读取其他文件。置任务失败：当读取的文件不存在时，终止该任务并置失败。数据内容起始行 设置输入组件读取数据的起始行。默认为1，从第一行开始为数据内容。若需忽略前N行，则...
IoT数据自动化同步至云端解决方案
OSS同步任务在读取文件时，需要使用时间戳对文件进行命名。DataWorks通过参数变量来动态生成文件名称，以确保和OSS上的文件名称保持一致。说明 推荐您使用 yyyymmddhhmm 等时间戳作为文件名的一部分，例如 iot_log_201911062315.csv。登录 ...
集成OSS应用示例
fetch 读取文件哈希值，通过查询Fabric链码确认哈希值存在于账本中，然后从OSS下载对应的文件到本地。push and fetch 依赖一些环境变量，需预先进行设置：export baas_user="user"#在阿里巴巴 BaaS 控制台中创建的用户名。export baas_...
JINDODATA指标
slicelet_read_bytes_total_window jindodata_metrics_jindofsx_ns_slicelet_read_bytes_total_window 一段时间内读取小文件存储的数据量。单位：Byte。backend_read_bytes_total jindodata_metrics_jindofsx_ns_backend_read_bytes_total ...
性能优化概述
智能压缩 开启智能压缩功能，全站加速节点向您返回请求的资源时，会对文本文件进行Gzip压缩，可以有效缩小传输文件的大小，提升文件传输效率，减少带宽消耗。Brotli压缩 开启Brotli压缩功能，全站加速节点向您返回请求的资源时，会对文本...
CSV
x和数据文件的实际行数n有如下关系：当x时，DLA在读取文件时，不会过滤掉任何信息，即全部读取。当0时，DLA在读取文件时，会过滤掉前x行，从第x+1行开始读取。当x>=n时，DLA在读取文件时，会过滤掉所有文件内容。例如，OSS中有一个编码格式...
Amazon S3数据源
支持递归读取、文件名过滤。支持文本压缩，现有压缩格式为 gzip、bzip2 和 zip。支持多个 Object 并发读取。单个 Object（File）不支持多线程并发读取。单个 Object 在压缩状态下，不支持多线程并发读取。单个 Object（File）不能超过100 ...
配置OSS输入组件
文件编码 读取文件的编码配置。系统支持的 文件编码 包括 UTF-8 和 GBK。null值 将要表示为空的字段填入文本框，如果源端存在则将对应的部分转换为空。压缩格式 文本压缩类型，默认不填写（即不压缩）。系统支持的压缩格式包括：zip gzip ...
配置OSS输入组件
文件编码 读取文件的编码配置。系统支持的 文件编码 包括 UTF-8 和 GBK。null值 将要表示为空的字段填入文本框，如果源端存在则将对应的部分转换为空。压缩格式 文本压缩类型，默认不填写（即不压缩）。系统支持的压缩格式包括：zip gzip ...
PTS在并发和RPS模式下读取多文件参数的方式
本文介绍在并发模式和RPS模式下，PTS读取多文件参数的方式。并发模式下某API文件读取示例 说明如下：若使用的参数来源于多个文件时，可以指定基准参数，PTS会先按照基准参数的行数进行组装。若为某参数设置轮询一次后，则以该参数为基准。...
HDFS数据源
说明 实际启动的并发数是您的HDFS待读取文件数量和您配置作业并发数两者中的小者。当指定通配符，HDFS Reader尝试遍历出多个文件信息。例如指定/代表读取/目录下所有的文件，指定/bazhen/代表读取bazhen目录下游所有的文件。HDFS Reader...
如何选用NAS、OSS和EBS？
适用于OLTP数据库、NoSQL数据库等IO密集型的高性能、低时延业务场景 访问模式 上千个ECS或上万个容器，通过POSIX接口并发读取相同文件，随机读写 数百万客户端通过SDK、RESTful并发读相同文件，追加写 EBS是裸磁盘，挂载到ECS后不能被操作...
读CSV文件
读CSV文件支持从OSS、HTTP、HDFS读取CSV类型的文件数据。本文为您介绍读CSV文件的参数配置。使用限制 通过可视化方式使用时，支持的计算资源为MaxCompute或Flink。通过PyAlink脚本方式使用时，需要使用PyAlink脚本组件进行代码调用，详情请...
低成本跨境文件传输
ECS模拟硅谷当地用户读取OSS文件，并校验数据是否正确。方案优势 运维成本低：开发人员关注代码逻辑即可。网络成本低：相比云企业网高速通道的方式，网络成本降低。同步服务部署成本低：文件上传OSS后即可触发函数计算调用 Serverless 工作...
JMeter使用CSV参数文件
如上述示例文件切分到2个引擎时：第1个文件内容为：id,name 1,ali 2,pts 第2个文件内容为：id,name 3,jmeter 不含文件头的CSV文件切分 如果CSV文件不包含文件头（第一行即为CSV数据），例如，文件“b.csv”内容如下：1,ali 2,pts 3,jmeter ...
JMeter使用CSV参数文件
如上述示例文件切分到2个引擎时：第1个文件内容为：id,name 1,ali 2,pts 第2个文件内容为：id,name 3,jmeter 不含文件头的CSV文件切分 如果CSV文件不包含文件头（第一行即为CSV数据），例如，文件“b.csv”内容如下：1,ali 2,pts 3,jmeter ...
低成本跨境文件传输
ECS模拟硅谷当地用户读取OSS文件，并校验数据是否正确。方案优势 运维成本低：开发人员关注代码逻辑即可。网络成本低：相比云企业网高速通道的方式，网络成本降低。同步服务部署成本低：文件上传OSS后即可触发函数计算调用 Serverless 工作...
文件数据源
背景信息 使用文件数据源功能需将参数文件上传至PTS控制台或OSS上，参数文件规范如下：文件格式支持CSV及ZIP格式，ZIP压缩包内的文件需是以CSV结尾的单个文件。说明 请勿直接修改XLSX文件的后缀。推荐使用EXCEL、Numbers等软件导出，或使用...
压缩规则
开启Brotli压缩功能后，全站加速 DCDN 节点会对资源进行Brotli压缩后返回，缩小传输文件大小，提升文件传输效率，减少带宽消耗。注意事项 当源站或客户端不支持压缩时，压缩规则不会生效，详情请查看：压缩规则不生效的场景。Gzip压缩兼容...
导入OSS数据
归档文件的读取 如果待导入的文件是归档类型，则需要解冻后才能被读取。一般情况下，解冻一个文件大约需要1分钟。文件大小 相同数据总量的情况下，平均文件大小越大，读取吞吐越高。反之，小文件越多，读取吞吐越低。网络 如果OSS Bucket和...
参数文件
若不设置 基准 列或 数据轮询一次 的参数，则默认将全部参数重复至1000行后再组合重复，具体操作，请参见 PTS在虚拟用户和RPS模式下读取多文件参数的方式。若参数有强制的一一对应关系，请务必将其放在一个文件中并做好对应关系。需保持每...
参数文件
若不设置 基准 列或 数据轮询一次 的参数，则默认将全部参数重复至1000行后再组合重复，具体操作，请参见 PTS在并发和RPS模式下读取多文件参数的方式。若参数有强制的一一对应关系，请务必将其放在一个文件中并做好对应关系。需保持每一行...
文件数据源
若不设置 基准 列或 数据轮询一次 的参数，系统会随机指定文件设为基准列，具体操作，请参见 PTS在并发和RPS模式下读取多文件参数的方式。若参数有强制的一一对应关系，请务必将其放在一个文件中并做好对应关系。需保持每一行中多个列的...
函数计算挂载文件系统
步骤三：验证NAS挂载是否成功 执行完 步骤二，完成文件的写入和读取，您可以登录实例查看函数本地目录下的文件情况，同时可以在NAS控制台查看NAS的使用量验证是否成功。查看配置的函数本地目录下的文件，确认是否与函数代码操作的文件信息...
OSS数据源
背景信息 使用文件数据源功能需将参数文件上传至PTS控制台或OSS上，参数文件规范如下：文件格式支持CSV及ZIP格式，ZIP压缩包内的文件需是以CSV结尾的单个文件。说明 请勿直接修改XLSX文件的后缀。推荐使用EXCEL、Numbers等软件导出，或使用...
OSS数据源
背景信息 使用文件数据源功能需将参数文件上传至PTS控制台或OSS上，参数文件规范如下：文件格式支持CSV及ZIP格式，ZIP压缩包内的文件需是以CSV结尾的单个文件。说明 请勿直接修改XLSX文件的后缀。推荐使用EXCEL、Numbers等软件导出，或使用...
- 产品推荐
- 这些文档可能帮助您