工作流概述
触发方式 适用场景 自动触发 文件上传到指定路径后立即按固定流程处理 手动 触发（校验输入路径）历史数据处理，对已存储在OSS的文件按工作流批量处理 文件上传后不需要立刻处理，比如等待有用户访问、播放量较高后再处理 文件需要按业务...
触发工作流
触发方式对比 触发方式 适用场景 自动触发 文件上传到指定路径后立即按固定流程处理 手动 触发（校验输入路径）历史数据处理，对已存储在OSS的文件按工作流批量处理 文件上传后不需要立刻处理，比如等待有用户访问、播放量较高后再处理 ...
批处理
使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 批...
触发器
和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行处理，对存量文件则不会处理。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 触发器将对满足条件的所有文件生成对应数据处理任务，请...
功能特性
功能集 功能 功能描述 参考文档 文件基础处理 文件压缩 云上资源的压缩功能可以帮助用户高效、便捷地进行云上文件管理，可以根据需要使用该功能对OSS中的文件进行在线压缩，将您的多个文件打包为 zip 等压缩包。压缩解压介绍 压缩 API 文件...
工作流常见问题
您可以通过媒体处理控制台或OSS官方提供的图形化管理工具进行文件上传工作，支持分片上传、断点续传、批量上传。详细信息参见 控制台上传、OSS图形化管理工具上传。音视频文件上传后转码操作是自动执行的么？文件后缀名在指定范围内的文件...
变量
在使用数据处理功能的批处理或触发器功能时，每个Object都会触发一个任务，任务中需要指定处理后的文件保存的输出路径，如果多个任务输出路径是同一个路径，则会产生文件覆盖，因此需要保证输出路径为动态路径，所以引入变量。此外，您可以...
OSS有哪些批量操作？
对象存储OSS提供丰富的访问和管理文件（Object）的方式，为提升操作效率，您可以参照本文所示的方法批量管理文件，例如批量上传、下载、复制、删除文件等。批量上传 您可以使用以下方法，批量上传文件：ossimport工具 支持从服务器本地、第...
UpdateBatch-更新批处理任务
更新批处理任务信息，如输入的数据源配置、数据处理的配置、批处理任务标签等信息。接口说明 更新批处理任务时，当批处理任务状态处于 Ready（就绪）或 Failed（失败）时可以更新，更新时不会改变当前的任务状态。更新完成后，之前未完成的...
媒体处理概述
您可以通过批处理对存量视频文件进行处理。操作方式，请参见 批处理。您可以通过触发器对增量视频文件进行处理。操作方式，请参见 触发器。使用限制 媒体处理支持的格式如下表所示。项目 音频格式 视频格式 输入 wav、pcm、tta、flac、au、...
DeleteBatch-删除批处理任务
删除指定的一个批处理任务。接口说明 删除批处理任务时，当任务状态处于 Ready（就绪），Failed（失败），Suspended（暂停），Succeeded（完成）时可以删除，其他运行中的状态禁止删除。删除批处理任务时，可以先通过 GetBatch 查询批处理...
ResumeBatch-恢复批处理任务
将一个Suspend（暂停）或Failed（失败）的批处理任务恢复。接口说明 只有 Suspended（暂停），Failed（失败）状态的批处理任务可以恢复，恢复后继续执行未完成的任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...
SuspendBatch-暂停批处理任务
将一个 Running（正在执行）的批处理任务暂停。接口说明 任务状态 Running（正在执行）时，可以暂停任务。如果想继续执行，需要调用 ResumeBatch 接口。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后...
API详情
文件转写API支持批处理，用户单次可以上传最多100个文件URL，待所有URL转写完成后，用户可以一次性获取全部转写结果。说明 若您有合作需求或技术咨询，请 提交工单。模型概览 模型名 模型简介 paraformer-v1 Paraformer中语音模型服务中...
人工复核
未处理文件提醒 管理员/质检员 角色账号登录时，如果分配给他们的文件中存在复核状态为 未复核/申诉中 的文件时，在导航栏中会出现一个红色数字角标，表示当前未处理的文件总数。列表功能说明 列表中各列的解释说明、高级搜索框使用说明、...
录音文件识别API详情
文件转写API支持批处理，用户可以单次上传最多100个文件URL，待所有URL转写完成后，用户可以一次性获取全部转写结果。模型概览 模型名 模型简介 paraformer-v1 Paraformer中英文语音识别模型，支持16kHz及以上采样率的音频或视频语音识别。...
录音文件识别API详情
文件转写API支持批处理，用户可以单次上传最多100个文件URL，待所有URL转写完成后，用户可以一次性获取全部转写结果。模型概览 模型名 模型简介 paraformer-v1 Paraformer中英文语音识别模型，支持16kHz及以上采样率的音频或视频语音识别。...
样式
根据您需要处理文件的类型，选择 图片处理、文档处理 或 媒体处理 等入口。选择 样式管理 页签，单击 创建样式。在 创建样式 面板，通过图形化方式配置您的样式。单击 确定。使用样式 样式创建完成后，您可以通过对象URL使用样式来处理文件...
快速提交转码任务
前提条件 您已将待处理文件上传至OSS。详细操作，请参见 上传视频。使用流程 登录 媒体处理控制台 并选择服务地域。开启管道。在左侧导航栏，选择 全局设置>管道及回调，找到对应类型管道开启即可。详细操作请参见 创建管道，还可在此绑定...
构建基于Serverless架构的弹性高可用音视频处理系统
当有多个文件同时上传到OSS时，函数计算 会自动伸缩，并行处理多个文件，同时将文件并行转码成多种格式。结合NAS和视频切片，可以解决超大视频的转码问题。对于每个视频，都需先进行切片处理，然后并行转码切片，最后合成。通过设置合理的...
上传代码包到函数计算后文件显示乱码如何处理？
文件名称编码不一致 函数计算 环境中默认使用UTF-8处理文件名，如果原始文件名使用了非UTF-8编码，就会导致乱码，请确保上传的文件名已正确转换为UTF-8编码。压缩过程编码问题 如果您选择上传ZIP包的方式上传代码，可能是压缩过程出现了...
查杀木马
重要 隔离文件后，建议您尽快处理文件，避免影响网站运行。隔离文件可以提高网站内容的纯净度，但并不能完全解决网络攻击，例如DNS劫持。建议您同时开启HTTPS加密访问功能，更多信息，请参见 开启HTTPS加密访问。相关文档 网站在运行过程中...
如何处理备份失败问题
具体操作，请参见 如何检查云备份客户端运行状态 和 排查和处理文件备份客户端状态异常。如果备份任务只是偶发性失败，一般是由于网络抖动或者临时断开导致的。此时不需要您进行任何操作，待网络恢复后，备份任务就能自动正常执行。如果...
智能标签
参数 说明 待处理文件地址 单击 选择，在 Bucket 下拉列表中，选择Bucket名称。路径 下方会显示对应Bucket已经创建好的文件夹，在文件夹下选择一个文件作为输入路径。智能标签管道 在下拉列表中选择管道名称。说明 如果智能标签管道下拉...
如何解决备份客户端OOM问题
备份错误处理相关文档 如何处理备份失败问题 如何检查云备份客户端运行状态 如何查看云备份客户端默认安装路径和日志 如何卸载云备份客户端 如何解决备份客户端OOM问题 排查和处理文件备份客户端状态异常 云备份客户端问题诊断工具 安装...
通过HDFS Shell连接并使用文件引擎
数据处理 下表为处理文件引擎中数据时的常用命令。命令 说明 cp 将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。mv 将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是...
logstash-input-oss插件使用说明
文件是以文本文件的方式读取的，如果您的文件是不可解析的格式（例如.jar、.bin等格式），有可能读取出来是乱码。前提条件 您已完成以下操作：安装logstash-input-oss插件。具体操作，请参见 安装或卸载插件。开通阿里云OSS服务和阿里云MNS...
性能优化最佳实践
避免使用小文件 处理小文件并非Hadoop的设计目标，Hadoop分析引擎处理大量小文件的速度远远小于处理同等数据量的大文件的速度。每一个小文件都会占用一个task，而task启动将耗费大量时间，造成作业的大部分时间都耗费在启动task和释放task...
文件处理概述
文件处理是由智能媒体管理IMM提供的对多种文件格式进行压缩、解压等操作的处理能力。您可以将原始文件上传到阿里云对象存储OSS，通过OSS的RESTful数据处理接口 x-oss-process 在任何时间、任何地点、任何互联网设备上对文件进行压缩、解压...
错误响应
当您使用文件处理功能出现错误时，会返回相应的错误码和错误信息，帮助您定位与处理问题。错误响应 文件处理功能错误响应的消息体示例如下：<Error><Code>Imm Client</Code><Message>InvalidArgument,The parameter OctreeOption is ...
AddMedia-新增媒体
根据设置的 OSS Bucket，Object 自动匹配处于激活状态的工作流自动执行，因此通常情况下不需要手动调用 AddMedia 接口处理文件。只有指定激活状态的工作流处理媒体文件时，才会自动获取媒体信息；不指定工作流或指定其他状态的工作流时，...
异步处理
您可以在POSTObject接口中添加处理参数或样式参数的方式来处理文件。更多信息，请参见 图片处理持久化。如下以视频转码处理场景为例。请求示例如下：POST/exmaple.avi?x-oss-async-process ...
概述
物联网平台支持设备通过MQTT协议，将文件上传至用户的OSS空间或者物联网平台文件存储空间，以减少硬件资源的开销，并降低开发成本。本文介绍通过配置C Link SDK，帮助设备实现文件上传功能。前提条件 已获取设备认证信息。已获取C Link SDK...
使用函数计算实现网站的文件处理
本文介绍如何通过函数计算实现文件管理网站的功能，例如自动解压文件、自动打包压缩、自动处理图片分辨率等。应用场景 某图片网站数据管理主要提供图片标注服务，有以下需求：上传文件自动更新压缩包。用户特定图片更新并上传文件到OSS的...
使用函数计算实现网站的文件处理
本文介绍如何通过函数计算实现文件管理网站的功能，例如自动解压文件、自动打包压缩、自动处理图片分辨率等。应用场景 某图片网站数据管理主要提供图片标注服务，有以下需求：上传文件自动更新压缩包。用户特定图片更新并上传文件到OSS的...
MoveFile-移动文件或文件夹
drive_id string 是 空间 id 1 file_id string 是 文件 id 9520943DC264 to_parent_file_id string 是 目的父文件夹 id，当移入根目录时，填 root 6520943DC261 check_name_mode string 否 同名文件处理模式，可选值如下：ignore：允许同名...
消息通知
异步处理请求返回时仅返回任务ID，您需要在处理请求内添加消息通知参数，以在数据处理完成时获取到数据处理任务的结果。注意事项 仅异步处理支持消息通知。消息通知仅支持MNS主题。关于MNS的更多信息，请参见 消息服务MNS快速入门。参数...
工作流活动介绍
说明 媒体处理在执行工作流进行文件处理时，针对不同的发布类型，会使用STS临时用户对输出文件进行调整。发布状态会影响输出文件的访问权限。不发布：视频、音频、截图文件的访问权限为私有。已发布：视频、音频、截图文件的访问权限继承...
功能概览
阿里云 云备份 提供非结构化文件系统类数据同步功能，可以将源端数据源（包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储等）同步至目的端数据源（包括阿里云上）。本文介绍 云备份 的数据同步功能概览，包括数据同步的...
使用EasyTransfer进行文本分类
无 STRING batchSize 否 训练时的批处理大小。如果是多卡训练，则为每个GPU上的批处理大小。32 INT numEpochs 否 训练总Epoch的数量。1 INT optimizerType 否 优化器类型，取值包括：adam lamb adagrad adadeleta adam STRING learningRate...
- 产品推荐
- 这些文档可能帮助您