应用场景
批处理系统 很多行业的批处理系统中通常会有大量批处理操作，包含多张大表关联的复杂计算，并且涉及到大量的数据更新。批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，...
测试指标
标准 在数据量很大的情况下，批处理时间窗口时间越短越好。不能影响实时交易系统性能。可扩展性指标 定义及解释 指应用软件或操作系统以集群方式部署，增加的硬件资源与增加的处理能力之间的关系。计算公式为：（增加性能/原始性能）/...
批处理
在 创建批处理 面板进行 输入配置、输出配置、权限配置、通知配置。参数 说明 输入存储桶 当前需要创建批处理的文件所在的Bucket。选择模式 可根据需要选中 选择文件 或 选择前缀。选择文件：选择特定的多个文件进行数据处理。选择前缀：对...
创建伸缩配置（ECS实例）
什么是块存储 云盘概述 配置更多系统盘类型 弹性伸缩支持为系统盘配置多个磁盘类型，可支持 普通云盘、SSD云盘、高效云盘、ESSD云盘 或者 ESSD AutoPL 类型，用来降低因磁盘类型与实例规格或可用区不匹配而导致扩容失败的概率，从而提高扩...
配置NAS共享存储
在 挂载 面板，完成挂载NAS文件系统配置。选择挂载点，然后单击 下一步。选择目标ECS实例，然后单击 下一步。请选择与NAS在同一VPC下的ECS实例，当选择不一致时，NAS会提示可能导致网络不通，请注意排查。说明 如果您在实例下拉菜单中查询...
ARMS告警精细管理最佳实践
本文介绍ARMS告警管理如何应对大规模系统的告警配置。背景知识 在告警管理中有一个非常重要的指标Mean Time To Contain（MTTC），MTTC描述了从检测到故障事件到控制和解决该事件所需的平均时间。它是一个关键指标，因为它衡量了一个组织对...
ECS实例从经典网络迁移到专有网络
为多台ECS实例批量设置迁移时间：选中多个实例，然后单击 批量预约迁移时间 进行配置。重要 对需要暂时保留在经典网络并进行内网联通的ECS实例，请设置较晚的迁移时间，并且在迁移启动前再次评估是否需要将这些ECS实例也迁移到VPC。可设置...
ECS实例从经典网络迁移到专有网络
为多台ECS实例批量设置迁移时间：选中多个实例，然后单击 批量预约迁移时间 进行配置。为全量ECS实例设置统一的迁移时间：单击 设置统一迁移时间 进行配置。重要 对需要暂时保留在经典网络并进行内网联通的ECS实例，请设置较晚的迁移时间，...
trace
SystemView 不但可以实时分析和展示数据，而且可以帮助用户进行系统调试和问题诊断，尤其是在开发和处理具有多个任务的复杂系统时。SystemView 由两个部分组成：SystemView 嵌入式端程序：用于记录嵌入式系统的行为，通过实时传输（Real ...
通过ARMS告警大盘提高告警处理效率
背景信息 企业在处理系统告警时，经常会遇到以下痛点：如何查看过去一段时间系统发生了哪些告警，哪类告警占比较高。告警配置没有收敛，多人在多个系统配置了多个告警。如何只查看我关心的告警以及对应的处理情况。制定了值班机制，无法...
UpdateBatch-更新批处理任务
更新批处理任务信息，如输入的数据源配置、数据处理的配置、批处理任务标签等信息。接口说明 更新批处理任务时，当批处理任务状态处于 Ready（就绪）或 Failed（失败）时可以更新，更新时不会改变当前的任务状态。更新完成后，之前未完成的...
自适应流控
系统支持自适应流控或手动设置系统规则，自适应流控是根据系统的CPU使用率自动动态地调整应用程序的入口流量；系统规则是从整体维度手动设置规则，对应用入口流量进行控制。目的都是为了让系统的入口流量和系统的负载达到一个平衡，保证...
数据问答干预
说明 若此处配置多个环境参数，则只要有一个环境参数与通过接口传入的环境参数相同，则系统选择该表进行问答。“in”：当会话开启时，若通过接口传入的环境参数有多个，且此处配置定位值的环境参数 存在于其中，系统选择该表进行问答。说明...
RunOptions
ALL mode string 消息数据推送到函数计算时的底层应用模式：event-streaming：事件流模式，按照数组格式推送事件，会根据用户推送配置将一个或多个消息事件以批的形式推送到函数中进行处理，适合端到端的流式数据处理场景。event-driven：...
表流读写
Delta Lake克服了许多流式处理系统和文件相关的常见限制，例如：合并低延迟引入产生的小文件 保持多个流（或并发批处理作业）执行“仅一次”处理 使用文件作为流源时，可以有效地发现哪些文件是新文件 Delta表作为流源 当您将Delta表加载为...
文本摘要预测
参数设置 批次大小 训练过程中的批处理大小。INT类型，默认值为8。如果使用多机多卡，则表示每个GPU上的批处理大小。文本最大长度 表示序列整体最大长度。INT类型，取值范围为（1，512），默认值为512。语言 表示当前文本处理的语言：zh：...
RunOptions
说明 默认策略为 NONE ALL mode string 消息数据推送到函数计算时的底层应用模式，包含如下两种模式：event-streaming：事件流模式，按照数组格式推送事件，会根据用户推送配置将一个或多个消息事件以批的形式推送到函数中进行处理，适合...
Transaction Table2.0概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
集成日志服务告警
说明 当告警数据存在多个数组节点时，ARMS告警管理仅支持选择其中一个数组节点进行批处理。可选：选中 配置告警恢复事件，然后设置恢复字段条件。系统收到事件后会根据恢复字段查询告警事件，包含指定字段的事件会自动进行恢复。用于指定...
Spark SQL执行方式
AnalyticDB for MySQL 湖仓版（3.0）支持使用批处理和交互式两种方法执行Spark SQL，两种执行方式都直接与 AnalyticDB for MySQL 的元数据服务连通，可以读写 AnalyticDB for MySQL 的库表。本文介绍批处理和交互式两种执行方式的注意事项...
机器阅读理解预测
参数设置 批次大小 训练过程中的批处理大小。如果使用多机多卡，则表示每个GPU上的批处理大小。INT类型，默认值为256。篇章最大长度 表示系统可处理的篇章最大长度，INT类型，默认值为384。问句最大长度 表示系统可处理的问句最大长度，INT...
设备批量处理工具
批量导入或者导出设备功能定义工具 支持您使用Excel批量导入或者导出产品的物模型，适用于为一个产品设置多个设备属性、事件、服务，或者为多个产品设置设备属性、事件、服务的场景。工具获取方式 请按如下模板发送信息，联系我们 获取设备...
削峰填谷
当消费端请求骤增时，可以为其配置排队等待的流控规则，以稳定的速度逐步处理这些请求，达到削峰填谷的效果，从而避免流量骤增造成系统负载过高。背景信息 在实际应用中，收到的请求是没有规律的。例如，某应用每秒可处理10个请求，某一秒...
机器阅读理解训练
参数设置 批次大小 训练过程中的批处理大小，INT类型，默认值为4。如果使用多机多卡，则表示每个GPU上的批处理大小。篇章最大长度 表示系统可处理的篇章最大长度，INT类型，默认值为384。问句最大长度 表示系统可处理的问句最大长度，INT...
削峰填谷
当消费端请求骤增时，可以为其配置排队等待的流控规则，以稳定的速度逐步处理这些请求，起到削峰填谷的效果，从而避免流量骤增造成系统负载过高。背景信息 在实际应用中，收到的请求是没有规律的。例如：某应用的处理请求的能力是每秒10个...
重启服务
您可以设置 每批间隔时间，即每隔多长时间执行一次任务。失败处理策略 单节点失败继续执行：执行任务时，如果单节点检查失败，继续其他节点的执行任务。单节点失败终止任务：执行任务时，如果单节点检查失败，终止执行任务。执行原因 执行...
应用场景
本文介绍 云消息队列 Kafka 版 的典型应用场景，包括网站活动跟踪、日志聚合、数据处理、数据中转枢纽。...同时支持实时和批处理：支持本地数据持久化和Page Cache，在无性能损耗的情况下能同时传送消息到实时和批处理的消费者。
防勒索日常操作指引
为了应对不断演变的安全威胁和不确定的攻击行为，您需要持续关注勒索防护备份策略的执行状态，及时处理系统中存在的安全告警和漏洞，加固系统安全防线。本文介绍防御勒索病毒的实用操作指南，帮助您有效防范勒索病毒侵害，降低潜在的勒索...
迁移Batch批量计算到分布式工作流Argo集群
迁移Batch批处理系统到Argo工作流 评估与规划 评估现有Batch批处理作业，包括依赖关系、资源需求、参数配置等。了解Argo Workflows的特性和最佳实践，并根据本文选择Argo Workflows的功能以替代Batch批处理作业。另外，由于分布式工作流...
概述
更正文档 AliOS Things是一款支持单处理器上运行多个任务的实时操作系统。操作系统内核只包含用来控制系统资源和处理器对资源的使用的基础功能，来支持系统服务和上层应用的构建和开发。AliOS Things操作系统内核特性如下：可抢占式/协作式...
HTTP触发器概述
更多信息，请参见 配置自定义域名。HTTP/HTTPS协议使用限制 说明 支持GET、POST、PUT、DELETE、HEAD、PATCH和OPTIONS方式触发函数，适用于简单的请求-响应场景。更多信息，请参见 配置HTTP触发器并使用HTTP触发。HTTP Request限制 Request ...
发现和排查实例问题
诊断实例的健康状态 实例健康诊断功能可以全方位诊断实例的操作系统配置、网络状态、磁盘状态等。诊断报告中针对异常诊断项目的影响按照严重程度区分，并提供修复方案，方便您及时处理潜在风险。更多信息，请参见 诊断实例的健康状态。及时...
路由管理
使用说明 可通过添加单地域或批量添加多地域的方式来设置每日发送量上限阈值。若该地区每日发送短信量到达所设阈值，系统将限制其地域的短信发送。另外，未配置阈值的地区，发送量不会进行限制。“路由管理”功能也提供了“未配置路由的...
媒体处理常见问题
媒体转码为每个用户设置了共享型转码资源的配额，用户最多能同时处理的作业数量不超过该限额。在系统繁忙时，能同时处理的作业数量可能小于共享型转码资源限额。什么是转码预置模板？预置模板是一种内置转码模板，其中包含您希望媒体转码在...
设置应用生命周期管理
停止前处理（PreStop设置）：应用容器被终止前的任务，例如优雅关闭应用程序、通知其他系统等。优雅下线超时设置（TerminationGracePeriodSeconds）：应用实例停止前的等待时间，超时后系统将删除该实例。使用限制 仅适用于微服务应用。...
如何进行API转码
需用户自己关联多个格式的多个清晰度输出，实现多清晰度自动切换、多格式支持等逻辑。准备 自定义转码模板（按需），进入 媒体处理控制台 设置。自定义水印模板（按需），进入 媒体处理控制台 设置。操作步骤 输入文件上传到OSS。（多种...
CreateBatch-创建批处理任务
创建一个批处理任务，指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。接口说明 创建批处理任务，如果需要通过 对象存储数据处理方式 进行数据处理，请确保已经完成了 绑定对象存储桶 的操作。调试 您可以在Open...
变量
在使用数据处理功能的批处理或触发器功能时，每个Object都会触发一个任务，任务中需要指定处理后的文件保存的输出路径，如果多个任务输出路径是同一个路径，则会产生文件覆盖，因此需要保证输出路径为动态路径，所以引入变量。此外，您可以...
配置RAM用户同步
在 处理模式 区域，选择 逐条处理 或 批量处理。逐条处理：为多个RD账号逐条配置冲突策略和删除策略。批量处理：为多个RD账号统一配置冲突策略和删除。配置 冲突策略 和 删除策略。冲突策略：当目标RD账号内存在同名RAM用户时的处理策略。...
设置应用生命周期管理
停止前处理（PreStop设置）：应用容器被终止前的任务，例如优雅关闭应用程序、通知其他系统等。优雅下线超时设置（TerminationGracePeriodSeconds）：应用实例停止前，等待的时间，超时后 SAE 将强制停止实例。操作步骤 在创建应用过程中...
- 产品推荐
- 这些文档可能帮助您