迁移Batch批量计算到分布式工作流Argo集群
使用建议 在用户体验、核心能力、计算环境和生态集成方面，Argo工作流可以覆盖主流Batch批处理系统的功能，同时在复杂工作流编排和计算环境管理方面更具优势。工作流集群 基于Kubernetes构建，工作流定义符合Kubernetes YAML规范，子任务...
编排逻辑流
在应用程序开发过程中，系统可以处理和恢复潜在错误和异常，以帮助您处理错误和异常，提高应用程序的稳定性、可靠性和可维护性。逻辑流搭建方式 魔笔支持以下两种方式搭建逻辑流。在页面中，通过数据容器绑定逻辑流，快速搭建逻辑流。通过...
ResumeBatch-恢复批处理任务
接口说明 只有 Suspended（暂停），Failed（失败）状态的批处理任务可以恢复，恢复后继续执行未完成的任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例...
SQL性能问题
通常对于聚合场景，微批处理可以显著地提升系统性能，建议开启。开启方式 MiniBatch默认关闭，您需要在目标作业的 部署详情 页签，运行参数配置 区域的 其他配置 中，填写以下代码。table.exec.mini-batch.enabled:true table.exec.mini-...
消费者负载均衡
而对于流式处理、聚合计算场景，需要明确地对消息进行聚合、批处理时，更适合使用队列粒度的负载均衡策略。使用示例 消息粒度负载均衡策略不需要额外设置，对于PushConsumer和SimpleConsumer消费者类型默认启用。SimpleConsumer ...
常见问题
日志共享：多台ECS应用，需要将日志写到同一个存储空间，以方便做集中的日志数据处理与分析。企业办公文件共享：企业有公共的文件需要共享给多组业务使用，需要集中的共享存储来存放数据。关于NAS的更多应用场景，请参见 应用场景。NAS支持...
性能测试技术指南
已经上线的系统可以通过高峰时段历史业务量和生产问题性能来评估，对于即将上线的系统可以通过调研和单交易资源消耗的结果来评估。已上线系统 搜集生产上不同高峰时间段的业务种类和业务量，每个时间段的业务种类和业务量是否有很大的差异...
顺序消息
基于消息组的顺序判定逻辑，支持按照业务逻辑做细粒度拆分，可以在满足业务局部顺序的前提下提高系统的并行度和吞吐能力。如何保证消息的顺序性 云消息队列 RocketMQ 版 的消息的顺序性分为两部分，生产顺序性和消费顺序性。生产顺序性：云...
常见问题
为什么系统表system.materialize_mysql中sync_failed_tables字段不为空？如何处理报错：“Too many partitions for single INSERT block(more than 100)”？数据写入与查询 如何处理insert into select XXX内存超限报错？如何查询CPU使用量...
常见问题
重置系统可以重新安装服务器的应用或者操作系统，达到重新初始化服务器的目的。若您在阿里云轻量应用服务器控制台中，无法更换轻量应用服务器的操作系统，请排查是否满足重置系统的要求。更多信息，请参见 重置系统使用限制。轻量应用...
漏洞管理常见问题
因此，您可以通过以下方式查看当前软件版本的漏洞信息：在云安全中心中查看当前软件版本及漏洞信息 您可以在 云安全中心控制台 风险治理>漏洞管理 页面，查看云安全中心在您的服务器上检测到的系统软件版本及漏洞信息。系统软件漏洞各项...
工作流常见问题
您可以通过媒体处理控制台或OSS官方提供的图形化管理工具进行文件上传工作，支持分片上传、断点续传、批量上传。详细信息参见 控制台上传、OSS图形化管理工具上传。音视频文件上传后转码操作是自动执行的么？文件后缀名在指定范围内的文件...
利用定时开关机节省成本
什么是OOS 系统运维管理 OOS（CloudOps Orchestration Service），简称OOS，是全面、免费的云上自动化运维平台，提供运维任务的管理和执行。典型使用场景包括：事件驱动运维，批量操作运维，定时运维任务，跨地域运维等，OOS为重要运维场景...
X-Engine简介
为了提高事务处理吞吐，系统内会有大量事务并发执行，单个I/O操作比较昂贵，大部分存储引擎会倾向于聚集一批事务一起提交，称为Group Commit，能够合并I/O操作。但是一组事务提交的过程中，还是有大量等待过程的，例如写入日志到磁盘过程中...
性能调优
AnalyticDB MySQL版 做为分布式系统，其优势在于利用多机并行的能力，提升海量数据的处理速度，适合大数据量的分析。在某些场景中，查询计算量不是特别大，AnalyticDB MySQL具备分布式开销，反而查询较慢。也有某些场景下，AnalyticDB ...
应用场景
批处理系统 很多行业的批处理系统中通常会有大量批处理操作，包含多张大表关联的复杂计算，并且涉及到大量的数据更新。批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，...
测试指标
标准 在数据量很大的情况下，批处理时间窗口时间越短越好。不能影响实时交易系统性能。可扩展性指标 定义及解释 指应用软件或操作系统以集群方式部署，增加的硬件资源与增加的处理能力之间的关系。计算公式为：（增加性能/原始性能）/...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
批处理接口API详情
所以为了满足客户的实际应用需求，DashScope同时推出了通用文本向量的批处理接口，通过这个接口客户可以以文本方式一次性的提交大批量的向量计算请求，在系统完成所有的计算之后，DashScope会将结果信息存储在结果文件中供客户下载解析。...
批处理接口API详情
所以为了满足客户的实际应用需求，DashScope同时推出了通用文本向量的批处理接口，通过这个接口客户可以以文本方式一次性的提交大批量的向量计算请求，在系统完成所有的计算之后，大模型服务平台会将结果信息存储在结果文件中供客户下载...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
Spark计算引擎
Apache Spark是一个通用的开源的分布式处理系统，通常用于大数据工作负载。Spark既支持使用SQL，又支持编写多种语言的DataFrame代码，兼具易用性和灵活性。Spark通用化的引擎能力可以同时提供SQL、批处理、流处理、机器学习和图计算的能力...
应用场景
风控监测系统 实时计算Flink版可以处理复杂的流处理和批处理任务，也提供了强大的API，执行复杂的数学计算并执行复杂事件处理规则，帮助企业对实时数据进行实时分析，提高企业的风控能力。例如检测APP中的点击行为、识别loT数据流不规则...
应用场景
本文介绍 云消息队列 Kafka 版 的典型应用场景，包括网站活动跟踪、日志聚合、数据处理、数据中转枢纽。...同时支持实时和批处理：支持本地数据持久化和Page Cache，在无性能损耗的情况下能同时传送消息到实时和批处理的消费者。
构建基于Serverless架构的弹性高可用音视频处理系统
在音视频系统中，音视频转码是比较消耗计算力的一个子系统，您可以通过 函数计算 和 Serverless 工作流 构建弹性高可用的Serverless音视频处理系统。本文会从工程效率、运维、性能和成本方面介绍Serverless音视频处理系统和传统方案的差异...
批处理
使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx...单击批处理ID前的展开按钮，可以查看批处理的所有任务信息，可以根据源文件路径和状态来搜索任务，单击 操作 列的 详情 可以查看任务详细信息。
Logstash性能排查
阿里云Logstash在使用及调优方面和开源版Logstash无差异，Logstash管道处理分为三个阶段：input、filter和output。Logstash管道每个阶段都运行在自己的线程中，input...提高管道批处理和管道工作线程数。相关文档 Logstash官方性能调试文档
灵骏常见问题
响应方式 需要将全部任务整合后，再进行批处理。实时响应，对单个任务的响应速度较快。适用场景 适用于计算密集、相似度高、多线程并行的高吞吐量运算场景。适用于对响应速度有要求，逻辑复杂的串行运算场景。最适合GPU的计算类型是可以...
DeleteBatch-删除批处理任务
删除批处理任务时，可以先通过 GetBatch 查询批处理任务状态，确保能够顺利删除任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
消费-搭建监控系统
下游系统可以接入多重系统重复消费，比如导入Spark、Storm做实时计算，也可以导入elasticsearch做搜索，真正做到了一次收集，多次消费。在众多数据消费场景中，监控是最常见的一种场景。本文介绍阿里云基于日志服务的监控系统。日志服务把...
部署数据库
Oracle是一个多用户系统，能够自动从批处理或在线环境的系统故障中恢复运行。系统提供了一个完整的软件开发工具Developer2000，包括交互式应用程序生成器、报表打印软件、字处理软件以及集中式数据字典，用户可以利用这些工具生成自己的...
适用场景
定时处理任务的用户 对于定时处理业务的客户，Serverless Hbase版本天生的弹性能力非常符合业务需求，每天定时处理业务请求或者在夜间进行数据分析处理，这样的系统可以灵活的使用这种服务模型来做数据存取，在将后台运营工作降到最低的...
挂载访问FAQ
目前仅支持Linux操作系统挂载NFS文件系统，Windows操作系统挂载SMB文件系统、Windows操作系统挂载NFS文件系统及Linux操作系统挂载SMB文件系统场景，请您登录ECS实例执行命令挂载。更多信息，请参见 Windows系统挂载SMB文件系统、Windows...
典型客户案例
业务需求 顺德农商银行携手阿里云和蚂蚁集团正式开启了首批互联网金融、II、III 类银行结算账户，以及在线信贷等核心业务系统迁移工作，将这些业务系统逐渐从传统的 IOE 架构迁移到金融云平台之上。解决方案 自去年1月份达成战略合作以来，...
查看和处理安全告警
为了您的资产安全，建议您及时查看和处理云安全中心检测出的安全告警。本文介绍如何查看和处理安全告警。查看安全告警 登录云安全中心控制台。在控制台左上角，选择需防护资产所在的区域：中国 或 全球（不含中国）。在左侧导航栏，选择 ...
服务器软件漏洞修复建议
当系统环境异常或数据丢失时，系统备份可以及时通过回滚对系统进行恢复，确保业务稳定。建议在云安全中心修复漏洞时选择 自动创建快照并修复；创建快照后，如果出现问题可通过回滚操作恢复到修复漏洞前的系统和数据。说明 仅Linux软件漏洞...
如何处理备份失败问题
您需要提供备份计划ID、地域、数据源类型、任务ID等，详细描述您在什么时候做什么遇到了什么问题，期望如何解决。您需要提供日志信息。您可以参考以下默认路径获取日志Log。说明 备份客户端默认安装路径参考如下，操作中请以实际安装路径为...
事务中心
1 事务处理 在该功能页面中主要进行事务的处理、事务类型设置与事务的统计操作，具体的说明与操作如下所示：1.1 事务列表 在“事务列表”中我们可以新创建一个新的事务，并对已有的事务进行多维度的查询与处理。如下图所示的是事务列表主...
常见问题
如果刷新后报错信息仍存在，您可以 提交 工单 联系技术支持人员处理。错误码 提示信息 ConsoleSystemError_1001 系统异常，请稍后刷新重试。ConsoleSystemError_1007 API已下线。ConsoleSystemError_1008 PostOnly校验失败。...
其他问题
目前仅支持Linux操作系统挂载NFS文件系统，Windows操作系统挂载SMB文件系统、Windows操作系统挂载NFS文件系统及Linux操作系统挂载SMB文件系统场景，请您登录ECS实例执行命令挂载。更多信息，请参见 Windows系统挂载SMB协议文件系统、...
- 产品推荐
- 这些文档可能帮助您