应用场景
批处理系统 很多行业的批处理系统中通常会有大量批处理操作，包含多张大表关联的复杂计算，并且涉及到大量的数据更新。批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，...
测试指标
标准 在数据量很大的情况下，批处理时间窗口时间越短越好。不能影响实时交易系统性能。可扩展性指标 定义及解释 指应用软件或操作系统以集群方式部署，增加的硬件资源与增加的处理能力之间的关系。计算公式为：（增加性能/原始性能）/...
基于函数计算和FFmpeg处理音视频
使用Serverless Devs开发工具可以快速部署基于 函数计算、对象存储OSS和FFmpeg的应用，帮助您处理音视频，例如获取音视频信息、给音视频添加水印及转换格式等。背景信息 FFmpeg是一套可以记录、转换数字音视频，并将其转化为流的开源计算机...
使用任务队列ack-kube-queue
任务队列ack-kube-queue旨在管理Kubernetes中的AI/ML工作负载和批处理工作负载。它允许系统管理员使用自定义队列的作业队列管理，以提高队列的灵活性。结合Quota系统，ack-kube-queue自动优化了工作负载和资源配额管理，以便最大化利用集群...
批处理
使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 批...
UpdateBatch-更新批处理任务
更新批处理任务信息，如输入的数据源配置、数据处理的配置、批处理任务标签等信息。接口说明 更新批处理任务时，当批处理任务状态处于 Ready（就绪）或 Failed（失败）时可以更新，更新时不会改变当前的任务状态。更新完成后，之前未完成的...
DeleteBatch-删除批处理任务
删除指定的一个批处理任务。接口说明 删除批处理任务时，当任务状态处于 Ready（就绪），Failed（失败），Suspended（暂停），Succeeded（完成）时可以删除，其他运行中的状态禁止删除。删除批处理任务时，可以先通过 GetBatch 查询批处理...
ResumeBatch-恢复批处理任务
将一个Suspend（暂停）或Failed（失败）的批处理任务恢复。接口说明 只有 Suspended（暂停），Failed（失败）状态的批处理任务可以恢复，恢复后继续执行未完成的任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...
SuspendBatch-暂停批处理任务
将一个 Running（正在执行）的批处理任务暂停。接口说明 任务状态 Running（正在执行）时，可以暂停任务。如果想继续执行，需要调用 ResumeBatch 接口。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后...
Spark SQL执行方式
AnalyticDB for MySQL 湖仓版（3.0）支持使用批处理和交互式两种方法执行Spark SQL，两种执行方式都直接与 AnalyticDB for MySQL 的元数据服务连通，可以读写 AnalyticDB for MySQL 的库表。本文介绍批处理和交互式两种执行方式的注意事项...
API概览
批处理 批处理 CreateBatch 创建批处理任务 创建一个批处理任务，指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。SuspendBatch 暂停批处理任务 将一个 Running（正在执行）的批处理任务暂停。ResumeBatch 恢复批...
GetBatch-获取批处理任务信息
获取批处理任务信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
CreateBatch-创建批处理任务
创建一个批处理任务，指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。接口说明 创建批处理任务，如果需要通过 对象存储数据处理方式 进行数据处理，请确保已经完成了 绑定对象存储桶 的操作。调试 您可以在Open...
变量
在使用数据处理功能的批处理或触发器功能时，每个Object都会触发一个任务，任务中需要指定处理后的文件保存的输出路径，如果多个任务输出路径是同一个路径，则会产生文件覆盖，因此需要保证输出路径为动态路径，所以引入变量。此外，您可以...
媒体处理概述
您可以通过批处理对存量视频文件进行处理。操作方式，请参见 批处理。您可以通过触发器对增量视频文件进行处理。操作方式，请参见 触发器。使用限制 媒体处理支持的格式如下表所示。项目 音频格式 视频格式 输入 wav、pcm、tta、flac、au、...
系统防护
系统防护即从整体维度对应用入口流量进行控制，结合应用的Load、总体平均RT、入口QPS和线程数等几个维度的监控指标，让系统的入口流量和系统的负载达到一个平衡，让系统尽可能跑在最大吞吐量的同时保证系统整体的稳定性。背景信息 长期以来...
迁移Batch批量计算到分布式工作流Argo集群
批处理作业（Batch）通常用于数据处理、仿真计算、科学计算等领域，往往需要大规模的计算资源。分布式工作流Argo集群基于开源Argo Workflows项目开发，完全符合开源工作流标准。通过 工作流集群，您可以轻松编排工作流，每个工作流步骤使用...
触发器
和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行处理，对存量文件则不会处理。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 触发器将对满足条件的所有文件生成对应数据处理任务，请...
工作流概述
工作流指媒体处理中的云端自动化处理工作流，音视频上传完毕后自动执行处理流程。本文介绍工作流的基本概念及使用方式。功能概览 基本概念 基本概念 说明 媒体工作流（MediaWorkflow）工作流是预先编排好的一系列任务流程，可以实现在指定...
部署数据库
Oracle是一个多用户系统，能够自动从批处理或在线环境的系统故障中恢复运行。系统提供了一个完整的软件开发工具Developer2000，包括交互式应用程序生成器、报表打印软件、字处理软件以及集中式数据字典，用户可以利用这些工具生成自己的...
触发工作流
触发方式对比 触发方式 适用场景 自动触发 文件上传到指定路径后立即按固定流程处理 手动 触发（校验输入路径）历史数据处理，对已存储在OSS的文件按工作流批量处理 文件上传后不需要立刻处理，比如等待有用户访问、播放量较高后再处理 ...
应用场景
在这样的情况下，虽然实现了系统间的解耦，上游系统不需要关心下游系统的业务处理结果；但是数据一致性不好处理，如何保证下游系统状态与支付系统状态的最终一致。此时，需要利用消息队列所提供的事务消息来实现系统间的状态数据一致性。...
应用场景
在这样的情况下，虽然实现了系统间的解耦，上游系统不需要关心下游系统的业务处理结果；但是数据一致性不好处理，如何保证邮件通知系统状态与注册系统状态的最终一致。事务消息处理 此时，需要利用 云消息队列 RocketMQ 版 所提供的事务...
基本原理
├─demo.jar customRuntimeConfig:command:java args:'-jar'-'demo.jar' Python 3.7.├─server.py customRuntimeConfig:command:python args:'server.py' Node.js 10.├─server.js customRuntimeConfig:command:node args:'server.js' ...
基本原理
├─demo.jar customRuntimeConfig:command:java args:'-jar'-'demo.jar' Python 3.7.├─server.py customRuntimeConfig:command:python args:'server.py' Node.js 10.├─server.js customRuntimeConfig:command:node args:'server.js' ...
批处理接口API详情
所以为了满足客户的实际应用需求，DashScope同时推出了通用文本向量的批处理接口，通过这个接口客户可以以文本方式一次性的提交大批量的向量计算请求，在系统完成所有的计算之后，DashScope会将结果信息存储在结果文件中供客户下载解析。...
批处理接口API详情
所以为了满足客户的实际应用需求，DashScope同时推出了通用文本向量的批处理接口，通过这个接口客户可以以文本方式一次性的提交大批量的向量计算请求，在系统完成所有的计算之后，大模型服务平台会将结果信息存储在结果文件中供客户下载...
通过ARMS告警大盘提高告警处理效率
本文介绍了如何通过告警的历史告警总览大盘和告警处理效率总览大盘提高告警处理效率。背景信息 企业在处理系统告警时，经常会遇到以下痛点：如何查看过去一段时间系统发生了哪些告警，哪类告警占比较高。告警配置没有收敛，多人在多个系统...
管道传输（Pipeline）
Pipeline在某些场景下非常有效，例如有多个操作命令需要被迅速提交至服务器端，但用户并不依赖每个操作返回的响应结果，对结果响应也无需立即获得，那么Pipeline就可以用来作为优化性能的批处理工具。重要 使用Pipeline时客户端将独占与...
批量消费
功能优势及场景示例 批量消费的功能优势和场景示例说明如下：优势一：提高消息的吞吐能力和处理效率 场景示例：上游订单系统和下游Elasticsearch系统间通过 云消息队列 RocketMQ 版 解耦，Elasticsearch消费订单系统的10条日志消息，每一条...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
RPC 常见问题
确认是否因其他外部因素影响服务器性能，如任务调度、批处理，或者与宿主机上其他虚拟机、容器发生资源争抢。如何打印客户端 RPC 调用统计？可以参考以下示例语句打印调用 sofa2-rpc-server 的应用超过 3 秒的请求总数、服务端IP、服务应用...
数据处理
同时，数据处理是异步的，系统返回“OK”后只表示系统接收数据成功，数据处理过程的错误会在控制台错误信息中展示，请注意及时检查。POST的数据大小有限制，如果您上传的文档总量过大（编码前2M），服务器将拒绝接收任何参数，同时返回异常...
数据处理
同时，数据处理是异步的，系统返回“OK”后只表示系统接收数据成功，数据处理过程的错误会在控制台错误信息中展示，请注意及时检查。POST的数据大小有限制，如果您上传的文档总量过大（编码前2M），服务器将拒绝接收任何参数，同时返回异常...
更新数据
同时，数据处理是异步的，系统返回“OK”后只表示系统接收数据成功，数据处理过程的错误会在控制台错误信息中展示，请注意及时检查。POST的数据大小有限制，如果您上传的文档总量过大（编码前2M），服务器将拒绝接收任何参数，同时返回异常...
示例代码
}@Override public void onException(OnExceptionContext context){/消息发送失败，需要进行重试处理，可重新发送这条消息或持久化这条数据进行补偿处理。System.out.println("send message failed.topic="+context.getTopic()+",msgId="+...
访问云虚拟主机上的网站提示“Internal Server Error...
问题描述 Linux操作系统云虚拟主机：访问该主机上的网站时提示“Internal Server Error”相关报错，具体信息如下所示：Internal Server Error The server encountered an internal error or misconfiguration and was unable to complete ...
域名配置功能函数
功能开启以后，系统会自动配置STS安全令牌，配置更简单，但是仅支持CDN域名回源到同一个阿里云账号下的OSS私有Bucket。关于STS安全令牌更多信息，请参见 什么是STS。on perm_private_oss_tbl String 否 永久安全令牌配置，配置格式是 ...
域名配置功能函数
功能开启以后，系统会自动配置STS安全令牌，配置更简单，但是仅支持DCDN域名回源到同一个阿里云账号下的OSS私有Bucket。关于STS安全令牌更多信息，请参见 什么是STS。on perm_private_oss_tbl String 否 永久安全令牌配置，配置格式是 ...
HLS标准加密
视频加密旨在通过对视频内容进行深度安全处理，确保视频数据不被非法获取和传播，可有效防止视频泄露和盗链问题，广泛用于在线教育及财经等对内容安全性要求高的领域。阿里云目前支持两种加密方式：阿里云私有加密（推荐）和HLS标准加密。...
- 产品推荐
- 这些文档可能帮助您