主动队列管理算法工作原理-主动队列管理算法工作原理文档介绍内容-阿里云

管理资源队列

每个工作空间都会默认包含dev_queue和root_queue两个队列，用于承载作业的运行。如果您有资源隔离和管理的需求，可以通过添加队列的方式实现。本文为您介绍队列的基本操作。前提条件已创建工作空间，详情请参见 管理工作空间。添加队列 ...

管理资源队列

在左侧导航栏，单击 队列管理。单击添加队列。填写队列名称和资源量。配置说明队列名称队列名称不可重复，只允许小写字母、数字和中划线（-）且长度不超过32位。说明资源队列添加成功后，不可修改资源队列名称。资源量（CU）允许...

消费者负载均衡

消费者从云消息队列 RocketMQ 版获取消息消费时，通过消费者负载均衡策略，可将主题内的消息分配给指定消费者分组中的多个消费者共同分担，提高消费并发能力和消费者的水平扩展能力。本文介绍云消息队列 RocketMQ 版消费者的负载均衡...

消息发送重试和流控机制

触发条件云消息队列 RocketMQ 版的消息流控触发条件如下：存储压力大：参考消费进度管理的原理机制，消费者分组的初始消费位点为当前队列的最大消费位点。若某些场景例如业务上新等需要回溯到指定时刻前开始消费，此时队列的存储压力会...

使用Canal将MySQL的数据同步至云消息队列 Kafka 版

其详细的工作原理，请参见 Canal官网。前提条件在开始本教程前，请确保您已完成以下操作：安装MySQL，并进行相关初始化与设置。具体操作，请参见 Canal QuickStart。在云消息队列 Kafka 版控制台创建实例以及Topic资源。具体操作，请...

消息存储和清理机制

消息在队列中的存储情况如下：消息存储管理粒度说明云消息队列 RocketMQ 版按照服务端节点粒度管理存储时长而非队列或主题，原因如下：消息存储优势权衡：云消息队列 RocketMQ 版基于统一的物理日志队列和轻量化逻辑队列的二级组织方式...

消费者分类

云消息队列 RocketMQ 版支持PushConsumer和SimpleConsumer这两种类型的消费者，本文分别从使用方式、实现原理、可靠性重试和适用场景等方面为您介绍这两种类型的消费者。背景信息云消息队列 RocketMQ 版面向不同的业务场景提供了不同...

云存储网关利用MQTT服务实现统一管控

通过云消息队列 MQTT 版所提供的服务，可采用统一的框架，即云控制台，来管理不同部署模式的云存储网关CSG（Cloud Storage Gateway），并实现安全合规的公网和私网穿透，以此提供一致的用户体验。名词解释 MQTT 一种物联网和移动互联网...

数据加密

云消息队列 RabbitMQ 版存储加密默认采用行业标准的AES-256加密算法，利用密钥管理服务KMS（Key Management Service）加密您的数据信息，该项能力完全免费。传输加密使用限制传输加密仅Serverless版、企业版、铂金版实例支持，专业版...

MQTT客户端上下线事件数据流出

您可通过配置云消息队列 MQTT 版的客户端上下线通知规则，将获取的MQTT客户端上下线事件数据导出至其他阿里云产品。该方法为异步上下线通知。本文介绍客户端上下线通知的原理、应用场景、使用限制以及云消息队列 MQTT 版与其他阿里云...

使用云消息队列 Kafka 版时出现消息堆积

使用云消息队列 Kafka 版时，可能会发现Group中出现消息堆积。本文介绍如何判断消息堆积是否属于正常情况，以及处理方法。客户端消费流程了解客户端消费流程，有助于理解消息是否堆积。一般情况下，客户端消费流程大致如下：判断消息...

查看Rebalance详情

消费时间过慢，超过一定时间（max.poll.interval.ms 设置的值，默认5分钟）未进行Pull拉取消息，则会导致客户端主动离开队列，触发Rebalance。消费者数量过多，为避免当前Topic-Partition的任务浪费，需要关闭一定数量的消费者，触发...

订阅者最佳实践

本文主要介绍云消息队列 Kafka 版订阅者的最佳实践，帮助您减少消费消息出错的可能性。消费消息基本流程云消息队列 Kafka 版订阅者在订阅消息时的基本流程为：Poll数据→执行消费逻辑→再次Poll数据，详情参见下图。负载均衡每个 ...

步骤三：调用SDK收发消息

云消息队列 RocketMQ 版提供多种语言的SDK用于收发不同类型的消息，本文以Java SDK为例，说明如何调用SDK连接云消息队列 RocketMQ 版服务端，完成普通消息的收发流程。前提条件步骤二：创建资源安装IDEA 您可以使用IntelliJ IDEA或者...

YARN调度器

主要特性 CapacityScheduler具备如下的特性：多级队列（树形结构）：支持多级租户管理，父队列资源配额能够限制其下所有子队列的资源使用，单个子队列的资源配额也不能超过父队列的资源配额，因此对于多租户管理具备较高的可控性，能够满足...

新功能发布记录

本文介绍云消息队列 Kafka 版的产品功能动态及对应的文档。2024-04-15 功能名称功能描述功能类型相关文档 V3.0 Serverless系列实例在华东2（上海）地域开服云消息队列 Kafka 版 V3.0 Serverless系列实例支持在华东2（上海）地域选购...

设置全局YARN资源队列

在DataWorks中，您可按照工作空间粒度指定各模块使用的YARN队列，后续各模块将默认使用该队列执行EMR任务。同时，可定义全局YARN资源队列优先级是否高于指定模块内配置的YARN资源队列优先级。本文为您介绍如何设置全局YARN资源队列。背景...

查看实例风险

消费流量 Group与Topic的订阅关系服务端小版本升级消费位点提交频率存在Rebalance的Group 消费客户端主动离开队列使用Sarama Go客户端操作步骤登录云消息队列 Kafka 版控制台，在概览页面的资源分布区域，选择地域。...

计费FAQ

虽然删除了Vhost、Exchange、Queue，但Producer和Consumer依然与云消息队列 RabbitMQ 版保持连接，即代码逻辑层面还在主动发起连接到云消息队列 RabbitMQ 版的请求。连接的参数指向之前被删除的资源，根据AMQP 0-9-1协议这些资源将被...

计费FAQ

虽然删除了Vhost、Exchange、Queue，但Producer和Consumer依然与云消息队列 RabbitMQ 版保持连接，即代码逻辑层面还在主动发起连接到云消息队列 RabbitMQ 版的请求。连接的参数指向之前被删除的资源，根据AMQP 0-9-1协议这些资源将被...

新零售电子价签解决方案（MQTT）

新零售电子价签解决方案由阿里云云消息队列 MQTT 版推出，通过MQTT以实现商场超市、公共场所电子标签、多媒体屏幕的数据更新管理。本文将以电子价签为例详细描述该解决方案的系统架构、数据流设计以及注意事项，其他类似行业可参考该方案...

基本概念

本文说明云消息队列 Kafka 版涉及的专有名词和术语，帮助您更好地理解相关概念并使用该产品。Apache Kafka 一款开源的分布式数据流处理平台，可以实时发布、订阅、存储和处理数据流。更多信息，请参见 Apache Kafka。云消息队列 Kafka 版...

出账与欠费说明

云消息队列 RocketMQ 版的计费出账和欠费释放根据支付方式有所不同，本文介绍标准版实例（按量付费）与企业铂金版实例（包年包月）的出账与欠费说明。标准版实例（按量付费）的出账与欠费说明说明以下说明同样适用于资源包。云消息队列 ...

RAM主子账号授权

仅限有权限的RAM用户可以通过云消息队列 RocketMQ 版控制台或API管理指定资源。应用场景企业A购买了云消息队列 RocketMQ 版服务，企业A的员工需要操作这些服务所涉及的资源，例如实例、Topic或Group资源，有的员工负责创建资源，有的...

新功能发布记录

新增开服地域预付费实例计费说明 Serverless后付费实例计费说明 2023-11-15 功能名称功能描述功能类型相关文档数据加密云消息队列 RabbitMQ 版的铂金版实例支持存储加密功能，通过AES-256加密算法对您存储在服务端的数据以及元数据...

服务器证书管理

服务器证书用于客户端认证服务端，服务器证书需要由您自行购买或自行签发并托管至阿里云数字证书管理服务。本文为您介绍如何生成并使用服务器证书。服务器证书使用流程使用限制仅铂金版实例和专业版实例支持服务器证书管理功能。前提条件...

RAM主子账号授权

仅限有权限的RAM用户在云消息队列 RocketMQ 版的控制台上管理资源，以及通过SDK/API发布与订阅消息。应用场景企业A购买了云消息队列 RocketMQ 版服务，企业A的员工需要操作这些服务所涉及的资源，例如实例、Topic或Group资源，有的...

名词解释

电子价签管控服务电子价签系统中用于管理电子屏幕显示内容的后台服务，主要承担改价等人工操作的任务管理和查询工作。RDS 阿里云推出的一种稳定可靠、可弹性伸缩的在线数据库服务。在电子价签系统中用来持久化改价等任务的状态变更。SLS...

什么是云消息队列 Confluent 版？

本文介绍云消息队列 Confluent 版的定义。什么是Confluent Platform Confluent Platform是一个全面的数据流企业级平台，使您能够以连续、实时的流形式轻松访问、存储和管理数据。Confluent由Apache Kafka的原始创建者构建，通过企业级...

领域模型概述

本文为您介绍云消息队列 RocketMQ 版的领域模型。产品定位云消息队列 RocketMQ 版是一款典型的分布式架构下的中间件产品，使用异步通信方式和发布订阅的消息传输模型。通信方式和传输模型的具体说明，请参见下文通信方式介绍和消息...

生产者（Producer）

本文介绍云消息队列 RocketMQ 版中生产者（Producer）的定义、模型关系、内部属性、版本兼容性及使用建议。定义生产者是云消息队列 RocketMQ 版系统中用来构建并传输消息到服务端的运行实体。生产者通常被集成在业务系统中，将业务...

环境准备

本文介绍使用TCP协议的.NET SDK方式接入云消息队列 RocketMQ 版的环境准备工作，以便您后续使用TCP协议的.NET SDK收发消息。使用前，请注意以下几点：使用云消息队列 RocketMQ 版服务的应用程序需要部署在阿里云ECS上。代码里涉及到的...

环境准备

本文介绍使用.NET SDK接入云消息队列 RocketMQ 版的环境准备工作，以便您后续使用.NET SDK收发消息。重要推荐您使用最新的RocketMQ 5.x系列SDK，5.x系列SDK作为主力研发版本，和云消息队列 RocketMQ 版 5.x服务端完全兼容，提供了更...

开源MQTT迁移至云消息队列 MQTT 版

本文为您介绍如何将开源MQTT客户端从其他开源MQTT服务端迁移至阿里云的云消息队列 MQTT 版服务端上。背景信息云消息队列 MQTT 版拥有多协议、多语言平台的开发能力，并支持设备级权限控制以及SSL/TLS传输加密，您可以不变更开源客户端...

RAM主子账号授权

仅限有权限的RAM用户在云消息队列 MQTT 版的控制台上管理资源，以及通过SDK或API发布与订阅消息。说明云消息队列 MQTT 版目前还不支持跨云账号授权。应用场景企业A购买了云消息队列 MQTT 版服务，企业A的员工需要操作这些服务所涉及...

从自建MySQL同步至云消息队列 Kafka 版

通过数据传输服务DTS（Data Transmission Service），您可以将自建MySQL同步至云消息队列 Kafka 版，扩展消息处理能力。前提条件您已完成以下操作：自建MySQL数据库且数据库版本为5.1、5.5、5.6、5.7或8.0版本。购买并部署云消息队列 ...

退款说明

本文介绍云消息队列 RocketMQ 版的退款规则和退款流程。退款概述计费方式退款说明包年包月您在购买包年包月实例时需要根据购买时长和选择的计算能力规格、公网带宽流量预先支付费用，若您因为业务调整不需要继续使用该包年包月实例，...

RAM主子账号授权

仅限有权限的RAM用户在云消息队列 MQTT 版的控制台上管理资源，以及通过SDK或API发布与订阅消息。说明云消息队列 MQTT 版目前还不支持跨云账号授权。应用场景企业A购买了云消息队列 MQTT 版服务，企业A的员工需要操作这些服务所涉及...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能，将云消息队列 Kafka 版集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Filebeat。本文说明如何在VPC环境下通过Filebeat从云消息队列 Kafka 版消费消息。背景信息在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 VPC...

主动队列管理算法工作原理

新品推荐