应用场景
批处理系统 很多行业的批处理系统中通常会有大量批处理操作，包含多张大表关联的复杂计算，并且涉及到大量的数据更新。批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，...
迁移Batch批量计算到分布式工作流Argo集群
但主流的Batch批处理系统，需要通过Job ID指定Job依赖，由于Job ID需要在Job提交后才能获取，因此需要编写脚本实现Job间依赖（伪代码如下），Job较多时，依赖关系不够直观，维护成本较高。Batch批处理系统Job间依赖，JobB依赖JobA，在JobA...
UpdateBatch-更新批处理任务
更新批处理任务信息，如输入的数据源配置、数据处理的配置、批处理任务标签等信息。接口说明 更新批处理任务时，当批处理任务状态处于 Ready（就绪）或 Failed（失败）时可以更新，更新时不会改变当前的任务状态。更新完成后，之前未完成的...
DeleteBatch-删除批处理任务
删除指定的一个批处理任务。接口说明 删除批处理任务时，当任务状态处于 Ready（就绪），Failed（失败），Suspended（暂停），Succeeded（完成）时可以删除，其他运行中的状态禁止删除。删除批处理任务时，可以先通过 GetBatch 查询批处理...
ResumeBatch-恢复批处理任务
将一个Suspend（暂停）或Failed（失败）的批处理任务恢复。接口说明 只有 Suspended（暂停），Failed（失败）状态的批处理任务可以恢复，恢复后继续执行未完成的任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...
SuspendBatch-暂停批处理任务
将一个 Running（正在执行）的批处理任务暂停。接口说明 任务状态 Running（正在执行）时，可以暂停任务。如果想继续执行，需要调用 ResumeBatch 接口。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后...
GetBatch-获取批处理任务信息
获取批处理任务信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
测试指标
标准 在数据量很大的情况下，批处理时间窗口时间越短越好。不能影响实时交易系统性能。可扩展性指标 定义及解释 指应用软件或操作系统以集群方式部署，增加的硬件资源与增加的处理能力之间的关系。计算公式为：（增加性能/原始性能）/...
性能测试技术指南
业务处理能力（Transaction Per Second）：具体指标为TPS（Transaction Per Second，即系统每秒处理事务数），这个指标是衡量系统的处理能力的一个非常重要的指标。TPS可以参照同行业系统和结合具体业务，中小企业TPS值为50~1000笔/秒，...
Spark SQL执行方式
AnalyticDB for MySQL 湖仓版（3.0）支持使用批处理和交互式两种方法执行Spark SQL，两种执行方式都直接与 AnalyticDB for MySQL 的元数据服务连通，可以读写 AnalyticDB for MySQL 的库表。本文介绍批处理和交互式两种执行方式的注意事项...
API概览
批处理 批处理 CreateBatch 创建批处理任务 创建一个批处理任务，指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。SuspendBatch 暂停批处理任务 将一个 Running（正在执行）的批处理任务暂停。ResumeBatch 恢复批...
CreateBatch-创建批处理任务
创建一个批处理任务，指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。接口说明 创建批处理任务，如果需要通过 对象存储数据处理方式 进行数据处理，请确保已经完成了 绑定对象存储桶 的操作。调试 您可以在Open...
部署数据库
Oracle是一个多用户系统，能够自动从批处理或在线环境的系统故障中恢复运行。系统提供了一个完整的软件开发工具Developer2000，包括交互式应用程序生成器、报表打印软件、字处理软件以及集中式数据字典，用户可以利用这些工具生成自己的...
变量
在使用数据处理功能的批处理或触发器功能时，每个Object都会触发一个任务，任务中需要指定处理后的文件保存的输出路径，如果多个任务输出路径是同一个路径，则会产生文件覆盖，因此需要保证输出路径为动态路径，所以引入变量。此外，您可以...
概述
操作系统内核只包含用来控制系统资源和处理器对资源的使用的基础功能，来支持系统服务和上层应用的构建和开发。AliOS Things操作系统内核特性如下：可抢占式/协作式任务调度 多任务管理 软件定时器 任务间通信机制包括信号量、互斥量、队列...
ListBatches-查询批处理任务列表
查询批处理任务列表，支持排序，支持按照任务标签，任务状态等条件查询。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...
媒体处理概述
您可以通过批处理对存量视频文件进行处理。操作方式，请参见 批处理。您可以通过触发器对增量视频文件进行处理。操作方式，请参见 触发器。使用限制 媒体处理支持的格式如下表所示。项目 音频格式 视频格式 输入 wav、pcm、tta、flac、au、...
触发器
和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行处理，对存量文件则不会处理。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 触发器将对满足条件的所有文件生成对应数据处理任务，请...
音视频弹性处理
本文介绍如何通过 Serverless 工作流、函数计算、文件存储、对象存储、及日志服务的组合方案，部署一个高弹性高可用的音视频处理系统。应用场景 有大量的视频需要上传。上传的视频需要及时处理去适配各种终端及网络条件。可以在短时间内...
文档处理概述
您可以使用批处理对存量文档进行转换处理。操作方式，请参见 批处理。您可以使用触发器对增量文档进行转换处理。操作方式，请参见 触发器。您可以通过同步处理接口x-oss-process对文档进行在线预览、在线编辑、文档快照、文档智能处理。...
SQL性能问题
通常对于聚合场景，微批处理可以显著地提升系统性能，建议开启。开启方式 MiniBatch默认关闭，您需要在目标作业的 部署详情 页签，运行参数配置 区域的 其他配置 中，填写以下代码。table.exec.mini-batch.enabled:true table.exec.mini-...
工作流概述
工作流指媒体处理中的云端自动化处理工作流，音视频上传完毕后自动执行处理流程。本文介绍工作流的基本概念及使用方式。功能概览 基本概念 基本概念 说明 媒体工作流（MediaWorkflow）工作流是预先编排好的一系列任务流程，可以实现在指定...
应用场景
秒杀处理系统按照秒杀处理逻辑将满足秒杀条件的请求发送至 云消息队列 RocketMQ 版。下游的通知系统订阅 云消息队列 RocketMQ 版 的秒杀相关消息，再将秒杀成功的消息发送到相应用户。用户收到秒杀成功的通知。大规模机器的缓存同步 双十一...
通过ARMS告警大盘提高告警处理效率
背景信息 企业在处理系统告警时，经常会遇到以下痛点：如何查看过去一段时间系统发生了哪些告警，哪类告警占比较高。告警配置没有收敛，多人在多个系统配置了多个告警。如何只查看我关心的告警以及对应的处理情况。制定了值班机制，无法...
触发工作流
触发方式对比 触发方式 适用场景 自动触发 文件上传到指定路径后立即按固定流程处理 手动 触发（校验输入路径）历史数据处理，对已存储在OSS的文件按工作流批量处理 文件上传后不需要立刻处理，比如等待有用户访问、播放量较高后再处理 ...
系统防护
系统防护即从整体维度对应用入口流量进行控制，结合应用的Load、总体平均RT、入口QPS和线程数等几个维度的监控指标，让系统的入口流量和系统的负载达到一个平衡，让系统尽可能跑在最大吞吐量的同时保证系统整体的稳定性。背景信息 长期以来...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
ECS系统事件汇总
您可以通过系统事件获取ECS资源的风险和异常信息，例如 某一实例到期、实例因底层升级需迁移或因系统维护重启了某一实例等，然后及时响应和处理系统事件，避免因ECS资源可用性或性能受损而影响业务。本文汇总了云服务器ECS支持的系统事件...
应用场景
在这样的情况下，虽然实现了系统间的解耦，上游系统不需要关心下游系统的业务处理结果；但是数据一致性不好处理，如何保证下游系统状态与支付系统状态的最终一致。此时，需要利用消息队列所提供的事务消息来实现系统间的状态数据一致性。...
TraceId 和 SpanId 生成规则
假设一个 Web 系统 A 接收了一次用户请求，那么在这个系统的 SOFATracer MVC 日志中，记录下的 SpanId 是 0，代表是整个调用的根节点，如果 A 系统处理这次请求，需要通过 RPC 依次调用 B、C、D 三个系统，那么在 A 系统的 SOFATracer RPC ...
应用防护规则常见问题
Warm Up：当流量突然增大的时候，希望系统从空闲状态到繁忙状态的切换的时间长一些，即如果系统在此之前长期处于空闲的状态，希望处理请求的速率缓慢增加，经过预期的时间以后，到达系统处理请求速率的设定值；默认会从配置QPS阈值的1/3...
Alibaba Cloud Linux 2系统的ECS实例中ext4文件系统的...
本文介绍Alibaba Cloud Linux 2系统的ECS实例中ext4文件系统的Buffer I/O写性能不符合预期问题的原因及解决方案。问题描述 在ext4文件系统中执行常规的缓存异步I/O（Buffer I/O）写操作时，可能会观察到性能表现不符合预期的情形。存在该...
批处理
使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 批...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
典型客户案例
业务需求 顺德农商银行携手阿里云和蚂蚁集团正式开启了首批互联网金融、II、III 类银行结算账户，以及在线信贷等核心业务系统迁移工作，将这些业务系统逐渐从传统的 IOE 架构迁移到金融云平台之上。解决方案 自去年1月份达成战略合作以来，...
产品简介
本平台适用于希望简化应用间数据传输、提高跨系统工作流程协调性的企业，无论是数据迁移、批量数据处理还是复杂的业务流程自动化，AppFlow都能提供灵活的解决方案。功能特性 直观的流程设计：提供对于用户友好的界面，使用拖放组件即可设计...
应用场景
风控监测系统 实时计算Flink版可以处理复杂的流处理和批处理任务，也提供了强大的API，执行复杂的数学计算并执行复杂事件处理规则，帮助企业对实时数据进行实时分析，提高企业的风控能力。例如检测APP中的点击行为、识别loT数据流不规则...
性能测试
业务吞吐量：具体指标为TPS（Transaction Per Second，即系统每秒处理事务数），这个指标是衡量系统的处理能力的一个非常重要的指标。TPS可以参照同行业系统和结合具体业务，中小企业TPS值为50~1000笔/秒，银行TPS值为1000~50000笔/秒，...
构建基于Serverless架构的弹性高可用音视频处理系统
在音视频系统中，音视频转码是比较消耗计算力的一个子系统，您可以通过 函数计算 和 Serverless 工作流 构建弹性高可用的Serverless音视频处理系统。本文会从工程效率、运维、性能和成本方面介绍Serverless音视频处理系统和传统方案的差异...
ModifyOperateVul-对检测到的漏洞进行处理
对检测到的漏洞进行处理，处理方式包括修复、验证、忽略等。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以...
- 产品推荐
- 这些文档可能帮助您