批处理
使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 批...
触发器
使用触发器可以对存储空间（Bucket）中的增量文件进行批量处理。例如将Bucket某个目录中新增的后缀为.docx的文件转换成.pdf格式、将新增的.mov格式的文件转码为.mp4等。和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行...
变量
在使用数据处理功能的批处理或触发器功能时，每个Object都会触发一个任务，任务中需要指定处理后的文件保存的输出路径，如果多个任务输出路径是同一个路径，则会产生文件覆盖，因此需要保证输出路径为动态路径，所以引入变量。此外，您可以...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
API概览
批处理 批处理 CreateBatch 创建批处理任务 创建一个批处理任务，指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。SuspendBatch 暂停批处理任务 将一个 Running（正在执行）的批处理任务暂停。ResumeBatch 恢复批...
使用Eclipse上传文件至远程服务器
若需使用DOS命令，请用批处理脚本（.bat/.cmd）来执行。结果验证 部署开始后，Eclipse的Console区域会打印部署日志。您可以根据日志信息检查上传结果。您还可以通过内置Terminal终端登录远程服务器，cd至上传文件路径下，然后执行ls命令...
媒体处理常见问题
我们推荐使用阿里云CDN服务来分发您的内容，您可以将存储转码输出内容的OSS Bucket作为阿里云CDN的原站，缩短用户查看媒体文件的延迟，提高用户访问的响应速度，解决网络带宽小、用户访问量大、网点分布不均等问题。更多信息，请参见 CDN...
处理挖矿程序最佳实践
如果确认为攻击事件，建议您处理挖矿程序告警后，一并处理该服务器上其他告警和可疑文件。返回安全告警列表，单击目标挖矿程序告警 操作 列的 处理。在告警处理对话框，处理方式选中 病毒查杀，然后选中 结束该进程的运行 或 结束进程并...
功能特性
数据管理 数据处理包括创建和管理项目、操作数据集、设置自动触发器、执行批量任务以及查询任务状态等功能，满足从文件元数据的提取分析到任务创建和管理的一系列需求。功能集 功能 功能描述 参考文档 基础操作 项目操作 开通 IMM 后，用户...
安全告警概述
可疑程序 检测模型发现您的服务器上运行了可疑程序，可疑程序一般是具有一定恶意代码特征或高可疑度行为特征的、暂未明确分类的程序，需要用户结合信息判断。勒索病毒 检测模型发现您的服务器上运行了勒索病毒，勒索病毒是一类恶性程序，会...
表流读写
Delta Lake克服了许多流式处理系统和文件相关的常见限制，例如：合并低延迟引入产生的小文件 保持多个流（或并发批处理作业）执行“仅一次”处理 使用文件作为流源时，可以有效地发现哪些文件是新文件 Delta表作为流源 当您将Delta表加载为...
测试指标
对于互联网业务中，如果某些业务有且仅有一个请求连接，那么TPS=QPS=HPS，一般情况下用TPS来衡量整个业务流程，用QPS来衡量接口查询次数，用HPS来表示对服务器单击请求。标准 无论TPS、QPS、HPS，此指标是衡量系统处理能力非常重要的指标，...
检测范围说明
系统在检测到可疑文件后会上传该文件的相关信息（包括但不限于文件的路径、MD5值、创建时间等）到云端防护中心，以便进行最终核查。确认为恶意文件后，云安全中心会向您发送安全告警通知。可疑进程信息 云安全中心为您提供恶意进程检测功能...
触发工作流
触发方式对比 触发方式 适用场景 自动触发 文件上传到指定路径后立即按固定流程处理 手动 触发（校验输入路径）历史数据处理，对已存储在OSS的文件按工作流批量处理 文件上传后不需要立刻处理，比如等待有用户访问、播放量较高后再处理 ...
常见问题
阿里云文件存储NAS支持两种存储类型，分别为：通用型NAS和极速型NAS，如果您是在通用类文件共享业务上使用，推荐您使用通用型NAS文件系统，如果您的业务对于时延要求高，推荐您使用极速型NAS。更多信息，请参见 如何选择合适的文件系统？...
OSS文件上传和下载失败的排查方法
通过OSS控制台上传、简单上传、表单上传、追加上传的方式上传单个文件，文件的大小不能超过5 GB。如要上传超过5 GB的文件，请参见 如何上传大文件到OSS。通过分片上传的方式上传单个文件，文件的大小不能超过48.8 TB。检查当前上传文件的...
第三方认证文件管理
其他操作 您还可以在 认证文件管理 页面进行认证文件的批量删除、重新上传和查看引用等操作。附录：配置Kerberos认证 DataWorks的数据同步功能目前仅支持Kerberos认证，配置kerberos认证后，可以仅对受信任的应用和服务提供认证，使得只有...
性能优化最佳实践
避免使用小文件 处理小文件并非Hadoop的设计目标，Hadoop分析引擎处理大量小文件的速度远远小于处理同等数据量的大文件的速度。每一个小文件都会占用一个task，而task启动将耗费大量时间，造成作业的大部分时间都耗费在启动task和释放task...
术语表
PresetTemplate Preset Transcode Template 预置模板 预置模板是媒体处理服务内置的智能转码模板，能根据输入文件的特点动态调整转码设置，从而为用户提供在一定带宽条件下的最优转码输出。由于输入文件本身有差异（分辨率、码率等），不...
查看NAS容量监控
通用型NAS文件系统容量监控页面主要包括存储空间（不包括回收站）、文件数、低频介质读流量和低频介质写流量四部分的监控指标图。说明 容量监控数据为实时值，不作为账单计算的计量值。若您希望查询更详细的计量数据，请参见 账单和用量...
基本概念
本文介绍图片处理服务中涉及的基本概念、使用限制以及使用示例。对象（Object）在IMG中，用户操作图片的基本数据单元是Object，也称为对象或文件。单个Object（每张图片）允许的大小最大不超过20 MB。对象的命名规范如下：使用UTF-8编码。...
新旧版本使用指引
为了帮助您更好地使用我们的服务，本文将为您介绍新旧版本的区别对比以及最佳实践。新版优势 智能媒体管理（IMM）集成了更多实用能力，帮助您更好地分析、利用您存储在阿里云对象存储（OSS）、网盘与相册服务（PDS）等介质上的资源。重要 ...
函数计算挂载文件系统
mnt/nas 步骤二：访问NAS文件 完成NAS文件系统的配置后，您可以通过以下步骤访问NAS文件，即可以用访问本地文件的方式访问NAS文件。在函数详情页面，单击 代码 页签，在代码编辑器中编写代码，然后单击 部署代码。本文以Python函数代码为例...
图像上传
increment.meta文件中，一行代表处理一张图片，处理另一张图片必须换行，不得将所有图片处理写到一行中，否则会处理失败。文件参考示例如下：{"OperationType":"ADD","ProductId":"1000","PicName":"girl_cloth1.jpg","CategoryId":0,...
TensorFlow常见问题
通常首先将数据预处理逻辑存放在某个Python文件中，然后将模型定义在另一个Python文件中，最后通过一个Python文件串联整个训练过程。例如，在test1.py中定义函数，如果test2.py文件需要使用test1.py中的函数，且将test2.py作为程序入口文件...
批量操作
图像搜索可以通过批量操作功能批量导入阿里云OSS中的图片，或批量删除已经入库的图片，适用于较...如果提示信息为 部分照片处理失败，已为您分离，单击下载，则表明该增量任务中有部分图片处理失败，用户可以下载相应文件查看处理失败的原因。
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
logstash-input-oss插件使用说明
delete boolean 否 是否从原始Bucket中删除已处理的文件：true：是 false（默认）：否 backup_to_bucket string 否 用来备份已处理过的文件的OSS Bucket名称。backup_to_dir string 否 用来备份已经处理过的文件的本地目录路径。backup_add...
高级管理FAQ
写低频存储文件的延时与写通用性能型NAS、通用高级型NAS或通用容量型NAS文件基本一致。文件转储到低频存储后，怎么收费？当文件转储到低频存储中，会采用低频存储的计费方式。更多信息，请参见 通用型NAS计费。文件转储到归档存储后，怎么...
读写访问文件类问题
问题现象 文件存储NAS为多客户端提供了统一名字空间的文件共享读写能力，但在多进程或多客户端并发写同一个文件的场景中（典型的例如并发写同一个日志文件），各进程分别维护了独立的文件描述符及写入位置等上下文信息，而NFS协议本身并...
配置do-while节点
DataWorks为您提供循环节点（do-while节点），您可以重新编排do-while节点内部的业务流程，将需要循环执行的逻辑写在节点内，再编辑end循环判断节点来控制是否退出循环。同时您也可以结合赋值节点来循环遍历赋值节点传递的结果集。本文通过...
批处理接口API详情
通用文本向量批处理API接口 通用文本向量的典型应用场景有两种形态，一个是日常的查询，一个是建库/更新库操作。在建库/更新库操作的时候，用户需要对大量的文本内容计算通用文本向量并且批量的进行更新，在这个场景下，同步接口的服务能力...
病毒查杀
云安全中心 病毒查杀 功能使用阿里云机器学习病毒查杀引擎和实时更新的病毒库，提供丰富的系统扫描项，覆盖持久化启动项、活动进程、内核模块、敏感目录、SSH后门公钥等系统薄弱模块，可有效清理服务器的各类恶意威胁。本文介绍如何使用 ...
自动优化
自动优化是Delta Engine一组可选特性，当开启该组特性后，Delta Engine会自动合并对Delta表的多次写入产生的小文件，以牺牲部分写性能为代价，大幅提升查询性能。自动优化在这些场景下尤其有用：1）能接受分钟级时延的流式数据入湖；2）常...
ECS实例数据传输的实现方式
参数说明 SCP常用参数说明如下表所示：参数 说明-v 详细方式显示输出，可以用来调试连接、验证或者配置问题-B 使用批处理模式（传输过程中不询问传输口令或短语）-C 在复制过程中压缩文件或目录-P 如果默认SSH端口不是22，则使用此选项指定...
简介
您可以通过NFS ACL实现给不同的用户和群组设置不同目录或文件的权限。本文简要介绍POSIX ACL和NFSv4 ACL的概念、注意事项及通过控制台开启NFS ACL。背景信息 企业级用户通过共享文件系统在多个用户和群组之间共享文件时，权限的控制和管理...
目录配额
当您需要对通用型NAS文件系统中某个目录所能包含的文件数量或者文件大小或者某个用户所能使用的资源进行限制时，您可以通过配额管理功能中的目录配额或用户配额进行配置。同时，同一个路径下，您还可以为多个用户设置不同的资源配额。前提...
计费常见问题
合计基准容量=文件系统规格用量数据（容量型使用量/性能型使用量/高级型使用量/低频存储使用量）×对应的资源包折算系数-已购通用型NAS资源包容量 例如，您领取了一个通用型NAS资源包（50 GiB，3个月），在一个计费周期内，您账号下的容量...
压测场景的结构和数据分配
关联数据文件：压测API使用了来自数据文件的参数，从而关联了相应的数据文件。如果使用了多个文件参数分别来自于不同数据文件则表示关联了多个数据文件。数据配置节点：如果业务会话中任意API需要使用文件参数，或将文件参数进行二次定义...
挂载访问FAQ
为什么两台ECS实例在查询NAS文件系统中同一文件时，文件的属主不同？为什么写入文件系统的中文字符在客户端显示为乱码?使用Linux操作系统在NFS文件系统中执行ls命令时，为什么会返回523错误？挂载NFS文件系统时，返回mount.nfs:No such ...
- 产品推荐
- 这些文档可能帮助您