应用场景
批处理系统 很多行业的批处理系统中通常会有大量批处理操作，包含多张大表关联的复杂计算，并且涉及到大量的数据更新。批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，...
部署数据库
Oracle是一个多用户系统，能够自动从批处理或在线环境的系统故障中恢复运行。系统提供了一个完整的软件开发工具Developer2000，包括交互式应用程序生成器、报表打印软件、字处理软件以及集中式数据字典，用户可以利用这些工具生成自己的...
测试指标
标准 在数据量很大的情况下，批处理时间窗口时间越短越好。不能影响实时交易系统性能。可扩展性指标 定义及解释 指应用软件或操作系统以集群方式部署，增加的硬件资源与增加的处理能力之间的关系。计算公式为：（增加性能/原始性能）/...
迁移Batch批量计算到分布式工作流Argo集群
但主流的Batch批处理系统，需要通过Job ID指定Job依赖，由于Job ID需要在Job提交后才能获取，因此需要编写脚本实现Job间依赖（伪代码如下），Job较多时，依赖关系不够直观，维护成本较高。Batch批处理系统Job间依赖，JobB依赖JobA，在JobA...
构建基于Serverless架构的弹性高可用音视频处理系统
在音视频系统中，音视频转码是比较消耗计算力的一个子系统，您可以通过 函数计算 和 Serverless 工作流 构建弹性高可用的Serverless音视频处理系统。本文会从工程效率、运维、性能和成本方面介绍Serverless音视频处理系统和传统方案的差异...
典型客户案例
解决方案 基于金融分布式架构 SOFAStack 和分布式数据库 OceanBase 研发的银行核心系统，让网商银行拥有处理高并发金融交易，海量大数据，弹性扩容和异地多活的能力。利用互联网和大数据的优势，给更多小微企业提供金融服务。客户收益 网商...
数据导入性能优化
单进程无法完全利用系统资源，且一般客户端需要处理数据、攒批等操作，难以跟上数据库的导入速度，通过多并发导入可以加快导入速度。导入并发受攒批、数据源、客户端机器负载等影响，没有最合适的数值，建议通过测试逐步计算合适的并发能力...
数据导入性能优化
单进程无法完全利用系统资源，且一般客户端需要处理数据、攒批等操作，难以跟上数据库的导入速度，通过多并发导入可以加快导入速度。导入并发受攒批、数据源、客户端机器负载等影响，没有最合适的数值，建议通过测试逐步计算合适的并发能力...
Transaction Table2.0概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
功能发布记录
页面框架：支持配置多页签模式，同一Tab页中运行中的应用内部可同时打开多个菜单项，并支持页签间的切换。可视化编排服务方法 可视化编排页面 配置页面导航和框架 优化运营平台 基础能力接入文档页升级：基础能力详情页与接入文档页内容...
查看和处理漏洞
漏洞的存在为攻击者开启了侵入系统的通道，及时修补漏洞能显著减少潜在的安全风险。云安全中心为您提供系统漏洞的详尽信息，并支持对部分漏洞进行一键修复，可以帮助您高效管理系统安全。本文介绍如何通过云安全中心检查并处理漏洞。操作...
表流读写
Delta Lake克服了许多流式处理系统和文件相关的常见限制，例如：合并低延迟引入产生的小文件 保持多个流（或并发批处理作业）执行“仅一次”处理 使用文件作为流源时，可以有效地发现哪些文件是新文件 Delta表作为流源 当您将Delta表加载为...
机器阅读理解预测
如果使用多机多卡，则表示每个GPU上的批处理大小。INT类型，默认值为256。篇章最大长度 表示系统可处理的篇章最大长度，INT类型，默认值为384。问句最大长度 表示系统可处理的问句最大长度，INT类型，默认值为64。回复最大长度 表示系统可...
应用场景
本文介绍 云消息队列 Kafka 版 的典型应用场景，包括网站活动跟踪、日志聚合、数据处理、数据中转枢纽。...同时支持实时和批处理：支持本地数据持久化和Page Cache，在无性能损耗的情况下能同时传送消息到实时和批处理的消费者。
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
批处理
使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 批...
音视频弹性处理
本文介绍如何通过 Serverless 工作流、函数计算、文件存储、对象存储、及日志服务的组合方案，部署一个高弹性高可用的音视频处理系统。应用场景 有大量的视频需要上传。上传的视频需要及时处理去适配各种终端及网络条件。可以在短时间内...
权限
批处理和触发器权限 使用批处理和触发器，您需要授权给IMM服务访问其他云资源（例如OSS）的权限。没有服务角色时，您可以在 云资源访问授权 页面创建默认角色。关于如何为批处理添加服务角色，请参见 批处理。关于如何为触发器添加服务角色...
概述
应用场景 金融行业批处理 这种场景需要在规定时间内处理完指定的数据。传统的处理方式是根据数据库分片来处理，每台机器处理一个数据分片，这种方式的缺点就是当业务集群的机器数量大于分片数时，很多机器处于闲置状态，资源利用率低。集群...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
简介
批量计算服务（Batch Computing Service，简称BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。我们提供了丰富的API接口，您可以基于此API很方便使用BatchCompute的服务以及开发自己的应用程序。请确保在使用这些接口前，...
使用可信实例
本文介绍如何使用和运维基于vTPM的可信实例，包括快速筛选实例、查看实例可信状态、处理相关状态异常等操作。查看实例的可信状态 创建实例时会启动度量基准，与后续实例启动的度量值进行比较，以确定该实例是否有任何更改，并将度量结果...
集成云监控告警
说明 当告警数据存在多个数组节点时，ARMS告警管理仅支持选择其中一个数组节点进行批处理。在 将源字段映射到目标字段 区域将告警源字段映射到ARMS告警字段上。单击映射图标，可以修改字段映射方式。直接：告警源指定字段直接映射为ARMS中...
Logstash性能排查
阿里云Logstash在使用及调优方面和开源版Logstash无差异，Logstash管道处理分为三个阶段：input、filter和output。Logstash管道每个阶段都运行在自己的线程中，input...提高管道批处理和管道工作线程数。相关文档 Logstash官方性能调试文档
批量消费
功能优势及场景示例 批量消费的功能优势和场景示例说明如下：优势一：提高消息的吞吐能力和处理效率 场景示例：上游订单系统和下游Elasticsearch系统间通过 云消息队列 RocketMQ 版 解耦，Elasticsearch消费订单系统的10条日志消息，每一条...
功能特性
和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行处理，对存量文件则不会处理。触发器 API 批量操作 使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、...
重启服务
开启后，系统会按照 每批间隔时间 执行任务。您可以设置 每批间隔时间，即每隔多长时间执行一次任务。失败处理策略 单节点失败继续执行：执行任务时，如果单节点检查失败，继续其他节点的执行任务。单节点失败终止任务：执行任务时，如果单...
应用场景
风控监测系统 实时计算Flink版可以处理复杂的流处理和批处理任务，也提供了强大的API，执行复杂的数学计算并执行复杂事件处理规则，帮助企业对实时数据进行实时分析，提高企业的风控能力。例如检测APP中的点击行为、识别loT数据流不规则...
文档处理概述
您可以使用批处理对存量文档进行转换处理。操作方式，请参见 批处理。您可以使用触发器对增量文档进行转换处理。操作方式，请参见 触发器。您可以通过同步处理接口x-oss-process对文档进行在线预览、在线编辑、文档快照、文档智能处理。...
流计算实现细节
图中MicroBatchExecutor为Spark的微批处理框架，Source为Structured Streaming抽象的接口类，SourceRDD为Spark的RDD抽象类，TablestoreClient为表格存储的客户端。实线表示详细操作，虚线表示请求成功返回。从整体上看，时序流程是...
媒体处理概述
您可以通过批处理对存量视频文件进行处理。操作方式，请参见 批处理。您可以通过触发器对增量视频文件进行处理。操作方式，请参见 触发器。使用限制 媒体处理支持的格式如下表所示。项目 音频格式 视频格式 输入 wav、pcm、tta、flac、au、...
系统防护
系统防护即从整体维度对应用入口流量进行控制，结合应用的Load、总体平均RT、入口QPS和线程数等几个维度的监控指标，让系统的入口流量和系统的负载达到一个平衡，让系统尽可能跑在最大吞吐量的同时保证系统整体的稳定性。背景信息 长期以来...
全场景解决方案
蚂蚁集团作为一家自身具备金融属性的科技公司，主动攻关对应的技术方向，率先围绕金融行业信创场景（多处理器/操作系统异构兼容）推出相应解决方案，适配第三方 CPU 及操作系统，帮助金融机构更快更稳更好地实现信息技术应用创新，深化在...
产品简介
本平台适用于希望简化应用间数据传输、提高跨系统工作流程协调性的企业，无论是数据迁移、批量数据处理还是复杂的业务流程自动化，AppFlow都能提供灵活的解决方案。功能特性 直观的流程设计：提供对于用户友好的界面，使用拖放组件即可设计...
设备批量处理工具
物联网边缘计算提供多个跨平台的命令行工具（即批量处理工具），支持您批量处理设备和设备相关操作。Modbus设备批量导入工具 您只需依照已获取工具中的Excel模板，填写设备信息，Modbus设备批量导入工具即可帮助您自动完成产品和设备的配置...
挖矿程序处理最佳实践
服务器被挖矿病毒入侵后，挖矿病毒会消耗服务器的资源、降低生产效率、影响系统稳定性，对受感染的个人或企业用户构成严重的威胁。被入侵后，您需要及时响应并处理挖矿病毒，加固系统安全。本文介绍如何处理挖矿病毒。背景信息 挖矿程序的...
发布单对接说明
Serverless应用引擎SAE（Serverless App Engine）提供了多种API接口，从命名空间和VPC、应用信息、弹性伸缩、微服务等多个维度进行划分，其中发布单是贯穿整个 SAE 的流程处理引擎。本文介绍 SAE 发布单的基本概念、接口调用场景说明和发布...
EDAS升级公告（2022年11月25日）
ATC将该四部分框架组装处理，可随意搭配，让您聚焦自身业务形态。详细信息，请参见 什么是应用拓扑编排。问题反馈 如果您在使用上述功能过程中有任何疑问或问题，或在升级过程中出现任何问题，请加入钉群（钉群号：32244438）联系技术专家...
- 产品推荐
- 这些文档可能帮助您