应用场景
批处理系统 很多行业的批处理系统中通常会有大量批处理操作，包含多张大表关联的复杂计算，并且涉及到大量的数据更新。批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，...
迁移Batch批量计算到分布式工作流Argo集群
但主流的Batch批处理系统，需要通过Job ID指定Job依赖，由于Job ID需要在Job提交后才能获取，因此需要编写脚本实现Job间依赖（伪代码如下），Job较多时，依赖关系不够直观，维护成本较高。Batch批处理系统Job间依赖，JobB依赖JobA，在JobA...
测试指标
标准 在数据量很大的情况下，批处理时间窗口时间越短越好。不能影响实时交易系统性能。可扩展性指标 定义及解释 指应用软件或操作系统以集群方式部署，增加的硬件资源与增加的处理能力之间的关系。计算公式为：（增加性能/原始性能）/...
批处理
使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 批...
UpdateBatch-更新批处理任务
更新批处理任务信息，如输入的数据源配置、数据处理的配置、批处理任务标签等信息。接口说明 更新批处理任务时，当批处理任务状态处于 Ready（就绪）或 Failed（失败）时可以更新，更新时不会改变当前的任务状态。更新完成后，之前未完成的...
DeleteBatch-删除批处理任务
删除指定的一个批处理任务。接口说明 删除批处理任务时，当任务状态处于 Ready（就绪），Failed（失败），Suspended（暂停），Succeeded（完成）时可以删除，其他运行中的状态禁止删除。删除批处理任务时，可以先通过 GetBatch 查询批处理...
BatchExecuteStatementResult
名称 类型 描述 示例值 object BatchExecuteStatement 的返回值。GeneratedFieldsList array 批处理 SQL 执行过程中的自增列。array 批处理 SQL 中的一条 SQL 执行的自增列。Field 自增列的值，详情请参见 Field。
ResumeBatch-恢复批处理任务
将一个Suspend（暂停）或Failed（失败）的批处理任务恢复。接口说明 只有 Suspended（暂停），Failed（失败）状态的批处理任务可以恢复，恢复后继续执行未完成的任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...
SuspendBatch-暂停批处理任务
将一个 Running（正在执行）的批处理任务暂停。接口说明 任务状态 Running（正在执行）时，可以暂停任务。如果想继续执行，需要调用 ResumeBatch 接口。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后...
Spark SQL执行方式
AnalyticDB for MySQL 湖仓版（3.0）支持使用批处理和交互式两种方法执行Spark SQL，两种执行方式都直接与 AnalyticDB for MySQL 的元数据服务连通，可以读写 AnalyticDB for MySQL 的库表。本文介绍批处理和交互式两种执行方式的注意事项...
API概览
批处理 批处理 CreateBatch 创建批处理任务 创建一个批处理任务，指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。SuspendBatch 暂停批处理任务 将一个 Running（正在执行）的批处理任务暂停。ResumeBatch 恢复批...
GetBatch-获取批处理任务信息
获取批处理任务信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
设备批量处理工具
物联网边缘计算提供多个跨平台的命令行工具（即批量处理工具），支持您批量处理设备和设备相关操作。Modbus设备批量导入工具 您只需依照已获取工具中的Excel模板，填写设备信息，Modbus设备批量导入工具即可帮助您自动完成产品和设备的配置...
CreateBatch-创建批处理任务
创建一个批处理任务，指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。接口说明 创建批处理任务，如果需要通过 对象存储数据处理方式 进行数据处理，请确保已经完成了 绑定对象存储桶 的操作。调试 您可以在Open...
ListBatches-查询批处理任务列表
查询批处理任务列表，支持排序，支持按照任务标签，任务状态等条件查询。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...
媒体处理概述
您可以通过批处理对存量视频文件进行处理。操作方式，请参见 批处理。您可以通过触发器对增量视频文件进行处理。操作方式，请参见 触发器。使用限制 媒体处理支持的格式如下表所示。项目 音频格式 视频格式 输入 wav、pcm、tta、flac、au、...
触发器
和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行处理，对存量文件则不会处理。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 触发器将对满足条件的所有文件生成对应数据处理任务，请...
产品优势
批流一体 在实际的业务场景中，往往既有批处理的需求，也有流式计算的需求。您不仅需要清楚地划分批流两种作业，还需要分别进行开发。Databricks Delta Lake可以使用一套API接口同时处理批作业和流作业，达到事半功倍的效果。协同分析 数据...
音视频弹性处理
本文介绍如何通过 Serverless 工作流、函数计算、文件存储、对象存储、及日志服务的组合方案，部署一个高弹性高可用的音视频处理系统。应用场景 有大量的视频需要上传。上传的视频需要及时处理去适配各种终端及网络条件。可以在短时间内...
文档处理概述
您可以使用批处理对存量文档进行转换处理。操作方式，请参见 批处理。您可以使用触发器对增量文档进行转换处理。操作方式，请参见 触发器。您可以通过同步处理接口x-oss-process对文档进行在线预览、在线编辑、文档快照、文档智能处理。...
发现和排查实例问题
及时处理系统事件 系统在执行某些运维动作或检测到某些异常，判断会影响实例正常运行时，会自动发送系统事件。系统事件中会同时提供应对措施、事件周期等信息，建议您及时处理系统事件，避免实例重启、停止等问题影响您的业务。更多信息，...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
工作流概述
工作流指媒体处理中的云端自动化处理工作流，音视频上传完毕后自动执行处理流程。本文介绍工作流的基本概念及使用方式。功能概览 基本概念 基本概念 说明 媒体工作流（MediaWorkflow）工作流是预先编排好的一系列任务流程，可以实现在指定...
通过ARMS告警大盘提高告警处理效率
背景信息 企业在处理系统告警时，经常会遇到以下痛点：如何查看过去一段时间系统发生了哪些告警，哪类告警占比较高。告警配置没有收敛，多人在多个系统配置了多个告警。如何只查看我关心的告警以及对应的处理情况。制定了值班机制，无法...
触发工作流
触发方式对比 触发方式 适用场景 自动触发 文件上传到指定路径后立即按固定流程处理 手动 触发（校验输入路径）历史数据处理，对已存储在OSS的文件按工作流批量处理 文件上传后不需要立刻处理，比如等待有用户访问、播放量较高后再处理 ...
系统防护
系统防护即从整体维度对应用入口流量进行控制，结合应用的Load、总体平均RT、入口QPS和线程数等几个维度的监控指标，让系统的入口流量和系统的负载达到一个平衡，让系统尽可能跑在最大吞吐量的同时保证系统整体的稳定性。背景信息 长期以来...
Alibaba Cloud Linux 2系统的ECS实例中ext4文件系统的...
本文介绍Alibaba Cloud Linux 2系统的ECS实例中ext4文件系统的Buffer I/O写性能不符合预期问题的原因及解决方案。问题描述 在ext4文件系统中执行常规的缓存异步I/O（Buffer I/O）写操作时，可能会观察到性能表现不符合预期的情形。存在该...
基于镜像的日常发布
创建执行，选择实例，这里可以手动选择实例也可以按tag来，我之前已经给机器打好了标签env:test这里就用tag来操作，批次控制支持并发执行和分批执行，这两个的区别是并发执行永远保持n个运行中的，而分批执行是执行完第一批再执行第二批，...
快速入门
步骤一：开通服务 您需要先开通NLP自然语言处理才能购买及使用各类产品。注册账号：首先要确保您已经注册了阿里云账号，如果您尚未注册，可以 点击这里 开通服务：企业搜索产品当前处于邀测状态，需要添加白名单才能访问。步骤二：获取账号...
入门介绍
步骤一：开通服务 您需要先开通NLP自然语言处理才能购买及使用各类产品。注册账号：首先要确保您已经注册了阿里云账号，如果您尚未注册，可以 点击这里 开通服务：点击下面表格中的开通链接，才可调用对应的算法，并且开通后才能购买对应的...
部署数据库
Oracle是一个多用户系统，能够自动从批处理或在线环境的系统故障中恢复运行。系统提供了一个完整的软件开发工具Developer2000，包括交互式应用程序生成器、报表打印软件、字处理软件以及集中式数据字典，用户可以利用这些工具生成自己的...
申请公测
在终端访问控制系统公测购买页面，选择授权数（即您需要UEM管控您企业中用户的数量），单击 立即购买，免费开通UEM试用版本。免费试用版本仅支持试用1个月。说明 1个月的试用期结束后7天内，如果您及时续费购买实例，您将可以继续使用UEM...
计费模式
终端访问控制系统软件产品使用包年包月的计费模式，智能硬件设备使用一次性购买收费的计费模式。终端访问控制系统软件服务计费说明 计费项：按授权用户数计算费用。授权用户数表示终端访问控制系统最多支持的激活状态的用户账号数，用户...
字段值映射处理
系统将按照 Missing 参数中的值进行填充。false（默认值）：不处理。Missing String 否 处理原始日志中缺失的目标字段时，设置对应的填充值。默认值为 Unknown。当配置 HandleMissing 为true时，该参数配置生效。MaxDictSize Int 否 映射...
使用OpenAPI示例
说明 媒体处理的系统权限策略如下：AliyunMTSFullAccess：管理媒体转码服务（MTS）的权限。AliyunMTSPlayerAuth：使用媒体转码服务（MTS）播放器的权限。关于如何创建自定义权限，请参见 授权信息。单击 确定，完成授权操作。凭证 在创建...
扩展系统盘存储空间
专属资源组 扩展专属资源组机器系统盘存储空间 PAI为专属资源组每台机器节点免费提供200 GB的系统盘容量，如果您需要扩展系统盘容量，可以在购买专属资源组机器时调整系统盘大小。购买超出免费额度的系统盘大小，计费详情请参见 EAS计费...
编排逻辑流
添加异常处理 在逻辑流中可以开启异常处理，系统会自动添加异常处理节点，以处理和恢复潜在错误和异常，提高应用程序的稳定性、可靠性和可维护性。在逻辑流的右侧属性区，开启逻辑流的异常处理开关。在错误链路中添加 显示消息 或其他节点...
错误码说明
系统级别（1000-1999）错误码 错误说明 1000 系统内部错误 1001 没有找到模板 1004 服务暂时不可用，请稍后再试 应用相关（2000-2999）错误码 错误说明 2001 待查应用不存在 2002 应用已经存在 2004 应用名不可用。应用名由数字、26个英文...
ARMS告警精细管理最佳实践
如下图所示是一个典型的垂直业务系统应该配置的告警信息，在这个垂直系统中不同层次的组件所产生的告警它的处理方式和处理人会完全不同。当业务由多个垂直业务组成，并且部署在全球多个区域时，带来的告警规则配置复杂度=垂直业务*依赖组件...
计费常见问题
存储容量超过存储包容量 当已购买的存储包无法抵扣文件系统存储容量，您可以购买资源包来抵扣该文件系统超出部分的存储容量。存储包到期 存储包到期后，您可以购买资源包来抵扣该文件系统超出部分的存储容量。说明 存储包绑定文件系统后，...
- 产品推荐
- 这些文档可能帮助您