测试指标
标准 在数据量很大的情况下，批处理时间窗口时间越短越好。不能影响实时交易系统性能。可扩展性指标 定义及解释 指应用软件或操作系统以集群方式部署，增加的硬件资源与增加的处理能力之间的关系。计算公式为：（增加性能/原始性能）/...
工作流常见问题
您可以通过媒体处理控制台或OSS官方提供的图形化管理工具进行文件上传工作，支持分片上传、断点续传、批量上传。详细信息参见 控制台上传、OSS图形化管理工具上传。音视频文件上传后转码操作是自动执行的么？文件后缀名在指定范围内的文件...
产品优势
无存量数据的低成本批量处理方案 采用厂商的同步处理价格高昂，需要提供存量数据的低成本批量处理方案，接受异步接口返回检测结果。例如针对存量的OSS Bucket中的所有图片，进行打标处理。网盘 对于网盘应用，通常需要用户登录、目录服务、...
应用场景
风控监测系统 实时计算Flink版可以处理复杂的流处理和批处理任务，也提供了强大的API，执行复杂的数学计算并执行复杂事件处理规则，帮助企业对实时数据进行实时分析，提高企业的风控能力。例如检测APP中的点击行为、识别loT数据流不规则...
SQL性能问题
适用场景 微批处理通过增加延迟换取高吞吐，如果您有超低延迟的要求，不建议开启微批处理。通常对于聚合场景，微批处理可以显著地提升系统性能，建议开启。开启方式 MiniBatch默认关闭，您需要在目标作业的 部署详情 页签，运行参数配置 ...
系统防护
若用T来表示水管内部的水量，用RT来表示请求的处理时间，用P来表示进来的请求数，那么一个请求从进入水管道到从水管出来，这个水管会存在 P*RT 个请求。即当 T≈QPS*Avg(RT)的时候，可以认为系统的处理能力和允许进入的请求个数达到了平衡...
API概览
ResumeBatch 恢复批处理任务 将一个Suspend（暂停）或Failed（失败）的批处理任务恢复。UpdateBatch 更新批处理任务 更新批处理任务信息，如输入的数据源配置、数据处理的配置、批处理任务标签等信息。ListBatches 查询批处理任务列表 查询...
权限
批处理和触发器权限 使用批处理和触发器，您需要授权给IMM服务访问其他云资源（例如OSS）的权限。没有服务角色时，您可以在 云资源访问授权 页面创建默认角色。关于如何为批处理添加服务角色，请参见 批处理。关于如何为触发器添加服务角色...
任务拆分和执行
拆分阶段：对数据进行分片，不限制拆分层数，将拆分结果上报给服务端，由服务端根据拆分的 chunk（一批待处理数据的索引集合）通知客户端来拉取数据进行处理。执行阶段：客户端接收到通知后拉取数据进行处理，处理完后继续拉取新的数据，...
触发器
和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行处理，对存量文件则不会处理。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 触发器将对满足条件的所有文件生成对应数据处理任务，请...
使用控制台回滚应用（ECS集群）
分批方式 每批发布间的处理方式，包含 自动 和 手动。自动：按照 分批等待时间 自动发布剩余批次的发布。手动：需要手动触发下一个批次的发布。分批等待时间 每批次间的发布时间间隔，单位为分钟。根据实际需求，在列表中选择。结果验证 ...
事务中心
事务中心是对视角下日常事务查询与处理的一个模块。该模块包含“事务处理”、“评价处理”两大板块的功能项，并对其进行记录和处理。该模块主要有以下功能：1、负责系统中所有事务的类型创建与管理；2、对评价信息进行记录与管理；1 事务...
图片样式
您可以通过OSS创建图片样式，然后在图片样式中定义多个图片处理相关操作。通过OSS图片样式，您可以对Bucket下的所有图片执行图片样式中定义的所有操作，实现Bucket中图片的快速处理和转换操作。创建样式 一个存储空间（Bucket）最多可创建...
功能特性
和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行处理，对存量文件则不会处理。触发器 API 批量操作 使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、...
参考：渐进式计算
渐进式计算（Progressive Computing）是处于传统的流计算和批处理之间的一种计算方式，具有高资源利用率和低延迟的优势。本文为您介绍渐进式计算的基础配置、作业调优配置以及使用示例。背景信息 渐进式计算能够处理增量数据并维护中间结果...
Transaction Table2.0概述
而MaxCompute近一年在离线批处理计算引擎架构上，自研设计开发的增量数据存储和处理架构，同样可提供离线&近实时增量处理一体化解决方案，在保持经济高效的批处理优势下，同时具备分钟级的增量数据读写和处理的业务需求，另外，可提供...
使用可信实例
本文介绍如何使用和运维基于vTPM的可信实例，包括快速筛选实例、查看实例可信状态、处理相关状态异常等操作。查看实例的可信状态 创建实例时会启动度量基准，与后续实例启动的度量值进行比较，以确定该实例是否有任何更改，并将度量结果...
设备批量处理工具
物联网边缘计算提供多个跨平台的命令行工具（即批量处理工具），支持您批量处理设备和设备相关操作。Modbus设备批量导入工具 您只需依照已获取工具中的Excel模板，填写设备信息，Modbus设备批量导入工具即可帮助您自动完成产品和设备的配置...
文档处理概述
您可以使用批处理对存量文档进行转换处理。操作方式，请参见 批处理。您可以使用触发器对增量文档进行转换处理。操作方式，请参见 触发器。您可以通过同步处理接口x-oss-process对文档进行在线预览、在线编辑、文档快照、文档智能处理。...
表流读写
Delta Lake克服了许多流式处理系统和文件相关的常见限制，例如：合并低延迟引入产生的小文件 保持多个流（或并发批处理作业）执行“仅一次”处理 使用文件作为流源时，可以有效地发现哪些文件是新文件 Delta表作为流源 当您将Delta表加载为...
生成测试数据
模拟数据设置信息 显示创建模拟数据任务时您选择的 目标表、模拟生成数据量、批处理大小、插入模拟数据前清空表、数据冲突处理方式、实际插入记录、冲突记录、忽略插入、清除记录 和 规则设置展示 等信息。在任务信息面板右下角，单击 再次...
构建基于Serverless架构的弹性高可用音视频处理系统
在音视频系统中，音视频转码是比较消耗计算力的一个子系统，您可以通过 函数计算 和 Serverless 工作流 构建弹性高可用的Serverless音视频处理系统。本文会从工程效率、运维、性能和成本方面介绍Serverless音视频处理系统和传统方案的差异...
工作流概述
工作流指媒体处理中的云端自动化处理工作流，音视频上传完毕后自动执行处理流程。本文介绍工作流的基本概念及使用方式。功能概览 基本概念 基本概念 说明 媒体工作流（MediaWorkflow）工作流是预先编排好的一系列任务流程，可以实现在指定...
HandleSimilarSecurityEvents-批量处理基于相同IP规则...
批量处理基于相同IP规则或类型的告警事件。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句...
DataStream的Timer使用最佳实践
public abstract class OnTimerContext extends Context {/获取当前Timer的TimeDomain，即使用处理时间还是事件时间。public abstract TimeDomain timeDomain();获取当前Timer的Key。public abstract K getCurrentKey();} } ...
查看并处理任务
处理单个任务 在任务中心的 待处理 页签，选择需处理的任务并单击任务的名称，对任务进行审批。参数 描述 审批结果 选择待处理任务的 审批结果。审批结果 包括：通过：任务申请成功，审批发起者将获取所申请的权限。驳回：任务申请失败，...
查看并处理任务
处理单个任务 在任务中心的 待处理 页签，选择需处理的任务并单击任务的名称，对任务进行审批。参数 描述 审批结果 选择待处理任务的 审批结果。审批结果 包括：通过：任务申请成功，审批发起者将获取所申请的权限。驳回：任务申请失败，...
MaxCompute UDF（Java）常见问题
默认情况下UDF处理数据的时间是有限制，在处理一批（通常情况下为1024条）记录时，必须在1800秒内处理完。这个时间限制并不是针对Worker的总运行时间，而是处理一小批记录的时间。通常情况下SQL处理数据的速率超过了万条/秒，该限制只是...
OperateVirusEvents-处理病毒防御告警
批量处理病毒防御的告警。处理类型有：深度查杀、加入白名单、忽略、手工处理。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API...
ODPS-0123144
解决方案 如果用的PYODPS在MaxCompute UDF代码中增加日志，用于检查代码中是否有死循环问题，或者可以在日志里打印时间信息来检查MaxCompute UDF处理单条数据的时长是否符合预期。代码中需要增加如下打印日志相关信息，作业运行成功后，您...
图片智能概述
您可以将要分析的图片上传保存到阿里云对象存储OSS上，通过OSS的RESTful数据处理接口 x-oss-process，在任何时间、任何地点、任何互联网设备上对图片进行智能分析。处理参数 OSS支持通过单个参数使用图片智能能力，支持将该参数封装在一个...
触发工作流
触发方式对比 触发方式 适用场景 自动触发 文件上传到指定路径后立即按固定流程处理 手动 触发（校验输入路径）历史数据处理，对已存储在OSS的文件按工作流批量处理 文件上传后不需要立刻处理，比如等待有用户访问、播放量较高后再处理 ...
DescribeBatchResultDetail-查询批量处理结果的详细...
查询批量处理结果的详细信息。接口说明 前提条件：请在批量任务执行完成后，再调用此接口。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 ...
智能生成·批量白底图
适用场景 商品图片批量处理（适用尺寸：500x500、800x800、1000x750、1280x800）。可配合“智能生成”使用。目前批量白底图限时免费下载，欢迎使用；操作方法“智能生成”界面中，选择“批量白底图”功能。1、点击“+”号，将事先拍好的...
错误响应
当您使用文件处理功能出现错误时，会返回相应的错误码和错误信息，帮助您定位与处理问题。错误响应 文件处理功能错误响应的消息体示例如下：<Error><Code>Imm Client</Code><Message>InvalidArgument,The parameter OctreeOption is ...
OperationSuspEvents-批量处理异常事件
批量处理异常事件。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，...
错误响应
当您使用媒体处理功能出现错误时，会返回相应的错误码和错误信息，帮助您定位与处理问题。错误响应 媒体处理功能错误响应的消息体示例如下：<Error><Code>Imm Client</Code><Message>InvalidArgument,[target]:is required.9D31D05E-FC1C-...
错误响应
当您使用文档处理功能出现错误时，会返回相应的错误码和错误信息，帮助您定位与处理问题。错误响应 文档处理功能错误响应的消息体示例如下：<Error><Code>Imm Client</Code><Message>InvalidArgument,[target]:is required.9D31D05E-FC1C-...
应用场景
本文介绍智能视觉生产IVPD的主要应用...工作效率提升 您可以使用IVPD高效率的处理图像，免去自己用PS处理图像，即可实现自己应用服务。增强服务能力 IVPD可以为您提供更优质的图像处理和分析能力，减少自己进行大量的算法研发和投入计算服务。
SQL概述
提交MaxCompute作业后，会存在几十秒到数分钟不等的排队调度，所以适合处理批作业，提交一次作业批量处理海量数据。不适合直接对接需要每秒处理几千至数万笔事务的前台业务系统。使用向导 如果您需要.参考文档 说明 了解MaxCompute SQL 与...
- 产品推荐
- 这些文档可能帮助您