TCP协议客户端大版本发布
云消息队列 RocketMQ 版 于2021年10月18日发布新版本Java SDK和C++ SDK客户端，本次发布对客户端大版本进行了升级。本文介绍发布的SDK版本信息、支持升级的地域以及主要的功能差异。SDK版本信息 本次发布的SDK客户端版本信息如下：协议 ...
AI负载调度
本文介绍弹性资源调度、AI任务调度、异构资源调度和任务队列调度，帮助用户提升集群的资源利用率和作业运行效率。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和...
设置基线优先级与YARN队列优先级的映射关系
另外，调度运行EMR任务生效的YARN队列优先级，取决于如下原则：若设置了基线优先级与YARN队列的映射关系，则节点的YARN队列优先级，最终由节点所在基线优先级和该优先级基线映射的YARN队列优先级决定。若未设置基线优先级与YARN队列的映射...
编辑资源队列
资源队列用于管理和调度集群资源，旨在实现资源的灵活分配和优化。通过阿里云EMR控制台，您可以方便地管理资源队列，并关联不同的分区。前提条件 已创建集群，且集群状态为运行中。创建集群详情，请参见 创建集群。使用限制 YARN调度器需...
调度概述
本文介绍弹性调度、任务调度、异构资源调度、负载感知调度和精细化调度的主要功能。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和ECI，以及不同的付费类型如包年...
Node Labels特性使用
目前只有Capacity Scheduler调度器支持Node Labels分区调度，您可以通过调度器配置或者计算引擎node-label-expression参数让队列上的任务容器调度到队列可访问的分区上。更详细的Node Labels特性说明，请参见 YARN Node Labels。使用限制 ...
直播互动解决方案
背景信息 在直播互动的场景下，您需创建相应的数据互通规则实现 云消息队列 MQTT 版 与 云消息队列 RocketMQ 版 的数据互通，包含 数据流入规则、数据流出规则 以及 客户端上下线通知规则。使用 云消息队列 MQTT 版 的客户端收发消息时，...
迁移上云概述
迁移方案优势 云消息队列 RocketMQ 版 迁移上云方案基于阿里云消息队列自研的消息路由元数据代理组件实现，可支持Topic粒度的消息收发路由调度及切流控制。该方案具备如下优势：服务不中断、消息收发影响小 迁移方案支持无感切换，在切流...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务...
SDK概述
本文介绍 云消息队列 Kafka 版 SDK、支持的多语言SDK。SDK简介 SDK（Software Development Kit）即软件开发工具包，包含示例Demo、库文件、编译工具链以及编译脚本等，不需要开发者进行任何其他的配置，直接可以在SDK对应目录环境下，进行...
使用ACL功能进行访问控制
当需要对不同的用户或用户组授予不同级别的访问权限时，您可以使用 云消息队列 Kafka 版 专业版实例的访问控制列表（ACL）功能，为SASL用户赋予对Topic、Group等资源的操作权限，实现细粒度的权限管理。背景信息 企业A购买了 云消息队列 ...
CreateSaslUser-创建SASL用户
消息队列 Kafka 版优化了 PLAIN 机制，支持不重启实例的情况下动态增加 SASL 用户。scram：一种用户名密码校验机制，安全性比 PLAIN 更高。消息队列 Kafka 版使用 SCRAM-SHA-256。默认值为 plain。plain Mechanism string 否 加密方式。...
DescribeSaslUsers-查询SASL用户
消息队列 Kafka 版优化了 PLAIN 机制，支持不重启实例的情况下动态增加 SASL 用户。scram：一种用户名密码校验机制，安全性比 PLAIN 更高。消息队列 Kafka 版使用 SCRAM-SHA-256。默认值为 plain。scram Password string 密码。Username ...
删除流量调度策略下的队列
调用DeleteCenInterRegionTrafficQosQueue接口删除流量调度策略下的队列。接口说明 默认队列不支持删除。DeleteCenInterRegionTrafficQosQueue 接口属于异步接口，即系统会先返回一个 RequestId，但该队列并未删除完成，系统后台的删除任务...
工作队列
更正文档 概述 在操作系统中，如果我们需要进行一项工作处理，往往需要创建一个任务来加入内核的调度队列。一个任务对应一个处理函数，如果要进行不同的事务处理，则需要创建多个不同的任务。任务作为CPU调度的基本单元，任务数量越大，则...
YARN指标
Capacity NumPendingApplications yarn_resourcemanager_queue_numPendingApplications ResourceManager Capacity调度器特定队列阻塞调度的application个数。Capacity NumContainers yarn_resourcemanager_queue_numContainers ...
MQTT和RocketMQ进行数据互通（客户端上下线通知）
MQTT客户端的上下线事件将会触发MQTT服务端生成一条通知消息，云消息队列 MQTT 版 支持将该条消息数据导出至其他阿里云产品，并使用MQTT的Java SDK实现MQTT客户端与后端应用收发消息。本文以当前仅支持的 云消息队列 RocketMQ 版 数据互通...
死信队列
对于消费失败且重试后依然失败的消息，云消息队列 RocketMQ 版 不会立丢弃，而是将消息转发至指定的队列中，即死信队列，这些消息即为死信消息。当消费失败的原因排查并解决后，您可以重发这些死信消息，让消费者重新消费；若您暂时无法...
查询流量调度策略队列的信息
调用ListCenInterRegionTrafficQosQueues接口查询流量调度策略队列的信息。接口说明 调用接口时请确保 TransitRouterId 或 TrafficQosPolicyId 或 TrafficQosQueueId 参数至少输入一个。调用接口时请确保输入的参数值无误。如果您输入的...
ack-kube-queue
ack-kube-queue是云原生AI套件提供的任务队列组件，主要围绕着Kube Queue任务队列，结合调度器和Quota系统，提供队列管理、优先级调度、使用弹性配额等功能，帮助您优化Kubernetes中的AI/ML工作负载和批处理工作负载的管理效率和调度性能。...
云消息队列 RocketMQ 版4.x系统权限策略参考
本文描述云消息队列 RocketMQ 版4.x支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
如何管理应用级别的资源和任务优先级
对于业务规模较大的应用而言，调度的稳定性和核心任务的时效性是至关重要的。本文介绍如何管理应用级别的资源和任务优先级。背景信息 一些第三方的资源管理系统（例如Mesos和Yarn），能够实现CPU和内存级别的资源管控，而您使用自己的...
设置调度器参数
如果没有其他操作触发调度（例如提交作业、重启调度服务），则时隔调度周期触发一次调度。最大作业数 最大允许的作业数。最大排队作业数 最大允许的排队作业数。调度器队列参数配置 队列 选择要设置的队列。队列资源限制 单击 新增限制。...
YARN调度器
基础架构&核心流程 CapacityScheduler的主调度流程有三种触发方式：节点心跳驱动（Node-Heartbeat Driven）：是面向节点的局部调度（当调度器收到每个节点心跳时触发，为当前节点选择可调度的应用），受限于心跳间隔时间与接近随机调度，...
通过原始日志快速分析和定位问题
本文介绍基于 云消息队列 RabbitMQ 版 当前日志快速查询和分析问题的方法。当您遇到消息不符合预期、消费异常、消息堆积时，通过该方法可以帮助您高效识别出异常、保证业务正常运行。前提条件 推送 云消息队列 RabbitMQ 版 实例的消息操作...
Spring任务
通过对接SchedulerX任务调度可快速实现企业化运用的支持。前提条件 客户端1.7.10及以上版本 采用Spring Boot模式接入SchedulerX平台具体操作，请参见 Spring Boot应用接入SchedulerX。接入指南 接入配置 以Spring Boot接入模式为例，应用...
调度策略
调度策略 配置资源配额时，支持选择以下几种类型的调度策略，各个调度策略的实现原理说明如下：FIFO策略 如果队列中的第一个任务无法出队，系统将反复尝试对第一个任务进行出队操作，而不会跳过。遍历策略 如果队列中的第一个任务无法出队...
使用流量调度功能控制各类流量的跨地域带宽
每个流量调度策略默认包含一个默认队列，在您使用流量调度功能的过程中，对于未符合流分类规则的流量以及符合流分类规则但未被划分队列的流量，均会被系统自动划分至流量调度策略的默认队列，默认队列占用跨地域连接的剩余带宽。...
功能与特性概述
云消息队列 RocketMQ 版 的分布式特点和瞬变的网络条件，或者用户应用重启发布的情况下，可能导致消费者收到重复的消息。开发人员应将其应用程序设计为多次处理一条消息不会产生任何错误或不一致性。消息幂等最佳实践请参见 消费幂等。消息...
迁移上云操作
和开源Apache RocketMQ相比，阿里云 云消息队列 RocketMQ 版 具有更高的稳定性、安全性及更完善的运维体系。您可以将开源RocketMQ集群迁移到 云消息队列 RocketMQ 版 上以获得更好的业务体验。本文为您介绍如何使用 云消息队列 RocketMQ 版...
消费进度管理
云消息队列 RocketMQ 版 通过消费位点管理消费进度，本文为您介绍 云消息队列 RocketMQ 版 的消费进度管理机制。背景信息 云消息队列 RocketMQ 版 的生产者和消费者在进行消息收发时，必然会涉及以下场景，消息先生产后订阅或先订阅后生产...
服务器证书管理
步骤三：使用服务器证书启动服务 启动服务会重启 云消息队列 MQTT 版 实例，重启时间预计5～10分钟，重启后客户端即可使用服务器证书做服务端认证。启动服务后，8883端口将开启双向认证，同时关闭单向认证。警告 使用服务器证书启动服务，...
事务消息
云消息队列 RocketMQ 版 提供的分布式事务消息适用于所有对数据最终一致性有强需求的场景。本文介绍 云消息队列 RocketMQ 版 事务消息的概念、优势、典型场景、交互流程、使用规则以及示例代码。概念介绍 事务消息：云消息队列 RocketMQ 版...
创建跨地域流量调度策略
如果您需要优化和控制跨区域的网络流量，您可以调用CreateCenInterRegionTrafficQosPolicy接口创建企业版转发路由器下的跨地域流量调度策略。接口说明 仅企业版转发路由器下的跨地域连接支持创建跨地域流量调度策略。流量调度功能仅作用在...
基本概念
本文说明 云消息队列 Kafka 版 涉及的专有名词和术语，帮助您更好地理解相关概念并使用该产品。Apache Kafka 一款开源的分布式数据流处理平台，可以实时发布、订阅、存储和处理数据流。更多信息，请参见 Apache Kafka。云消息队列 Kafka 版...
什么是云消息队列 RocketMQ 版？
下图以创建订单为例对比传统事务和 云消息队列 RocketMQ 版 事务消息的方案：分布式定时/延时调度 云消息队列 RocketMQ 版 提供精确度到秒级的分布式 定时消息 能力，可广泛应用于订单超时中心处理、分布式延时调度系统等场景。使用 云消息...
E-HPC集群调度器插件
E-HPC提供了调度器插件作为平台的外扩组件，在E-HPC现有调度器类型或版本不满足当前业务时，您可以通过该插件构建自定义调度器并接入E-HPC平台的能力。本文为您介绍E-HPC集群调度器插件的概念及组成。什么是调度器插件 E-HPC作为一款PaaS...
创建流量调度策略下队列的配置
如果您需要对不同类型和优先级的网络流量进行细致管理，以确保关键业务流量的性能并遵守服务级别协议，您可以调用CreateCenInterRegionTrafficQosQueue接口创建流量调度策略下队列的配置。接口说明 CreateCenInterRegionTrafficQosQueue ...
消费幂等
负载均衡时消息重复（包括但不限于网络抖动、Broker重启以及消费者应用重启）当 消息队列RocketMQ版 的Broker或客户端重启、扩容或缩容时，会触发Rebalance，此时消费者可能会收到少量重复消息。处理方法 因为不同的Message ID对应的消息...
SetSchedulerInfo-设置调度器信息
为指定集群设置调度器配置信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
- 产品推荐
- 这些文档可能帮助您