阿里云消息集群-阿里云消息集群文档介绍内容-阿里云

OnsGroupConsumerUpdate-配置消费集群的消息读取权限

OnsGroupConsumerUpdate-配置消费<em>集群</em>的<em>消息</em>读取权限

配置指定Group ID对应的消费集群的消息读取权限。本接口一般用于禁止特定Group ID读取消息的场景。接口说明注意阿里云提供的 OpenAPI 属于管控类 API，用于管理和查询阿里云服务的相关资源。仅推荐在管控链路集成，消息收发的核心数据...

迁移概述

本文介绍将自建Kafka集群迁移到云消息队列 Kafka 版实例的优势、原理、方案架构、迁移工具和操作流程。迁移优势将自建Kafka集群迁移到云消息队列 Kafka 版实例的优势，请参见产品优势。迁移原理对于消息队列来说，如果要实现集群...

迁移数据上云

本文介绍如何使用MirrorMaker将自建Kafka集群的数据迁移到云消息队列 Kafka 版集群。前提条件您已完成以下操作：下载迁移工具MirrorMaker 迁移Topic上云背景信息 Kafka的镜像特性可实现Kafka集群的数据备份。实现这一特性的工具就是...

迁移上云概述

您可以将开源RocketMQ集群迁移到云消息队列 RocketMQ 版上以获得更好的业务体验，本文为您介绍开源RocketMQ集群迁移上云的方案及原理。产品差异对比和开源RocketMQ相比，阿里云云消息队列 RocketMQ 版在技术架构、弹性效率、运维复杂...

迁移上云操作

步骤四：更换接入点确认此次迁移范围内的所有生产者以及消费者，将源集群消息收发代码中的接入点修改为目标阿里云云消息队列 RocketMQ 版实例的接入点。步骤五：迁移消息业务按照Topic粒度，分阶段执行切流操作。步骤一：迁移评估执行...

网络访问与安全设置

本文介绍如何进行云消息队列 Confluent 版集群的网络访问与安全设置。网络访问类型云消息队列 Confluent 版集群提供阿里云VPC访问和公网访问方式。阿里云VPC访问 VPC访问是指您在云消息队列 Confluent 版集群所在网络VPC内或者其它...

集群消费和广播消费

集群消费和广播消费是云消息队列 RocketMQ 版的基本消费模式，您可以在消费者客户端将消费模式设置为集群消费或者广播消费，用于控制同一条消息只能被集群内一个消费者消费到，还是会被集群内每个消费者都消费到。背景信息云消息队列 ...

集群资源规格评估

对于云消息队列 Confluent 版集群来说，影响资源使用的因素众多，包括使用的业务场景、业务应用程序性能等，本文结合一般场景给出云消息队列 Confluent 版集群资源评估参考建议，帮助您在购买创建集群时评估集群规模。在集群创建完成后...

查看迁移进度

本文说明如何查看自建Kafka集群迁移到云消息队列 Kafka 版的进度。前提条件您已开始自建Kafka集群迁移上云。迁移类型包括：通过命令行迁移迁移Topic上云迁移Group上云迁移数据上云通过元数据文件迁移上云迁移自建Kafka集群至新实例...

元数据导入

您可以将自建Kafka集群元数据导出，然后导入云消息队列 Kafka 版实例，云消息队列 Kafka 版会解析成功导入的元数据，并支持在创建任务时可视化配置Topic和Group，配置完成后在目标实例中创建对应的Topic和Group，实现自建Kafka集群...

迁移消费者程序

背景信息云消息队列 Kafka 版控制台提供迁移实例功能，您可以使用该功能将自建Kafka集群或其他云Kafka集群的元数据（Topic和Group配置信息）和消息数据同步到目标集群，迁移完成后目标集群的元数据与源集群的元数据保持一致并且持续更新...

迁移Topic上云

本文介绍如何使用云消息队列 Kafka 版提供的迁移工具将自建Kafka集群的Topic迁移到云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署云消息队列 Kafka 版实例...

PolarDB MySQL版同步至阿里云消息队列Kafka版

本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版集群同步至阿里云消息队列Kafka版，扩展消息处理能力。前提条件已创建源 PolarDB MySQL版集群，详情请参见购买按量付费集群和购买包年包月集群。...

访问链接与端口

如果需要通过公网接入云消息队列 Confluent 版，您可以为集群开启公网。开启公网登录云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在顶部菜单栏，选择地域，在实例列表页面单击目标实例名称。在左侧导航栏，单击访问...

迁移Group上云

本文介绍如何使用云消息队列 Kafka 版提供的迁移工具将自建Kafka集群的 Group 迁移到云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署云消息队列 Kafka 版 ...

Cluster Linking

执行以下命令，在Source集群上创建一个具有单分区的待镜像的Topic，以便更容易观察复制消息的顺序。kafka-topics-create-topic demo-link-topic-partitions 1-bootstrap-server${SOURCE_ADDRESS}-command-config${CONFLUENT_CONFIG}/source...

开源RabbitMQ迁移上云

在使用开源RabbitMQ集群时，当您希望能够解决各种稳定性痛点（例如消息堆积、脑裂等问题）、实现高并发、分布式、灵活扩缩容时，您可以将开源RabbitMQ集群迁移至云消息队列 RabbitMQ 版，本文介绍迁移上云的前提条件、操作步骤、注意事项...

产品架构

云消息队列 RocketMQ 版在任何一个环境都是可扩展的，生产者必须是一个集群，消息服务器必须是一个集群，消费者也同样。集群级别的高可用，是云消息队列 RocketMQ 版跟其他的消息服务器的主要区别，消息生产者发送一条消息到消息服务器...

评估规格

本文说明迁移前如何使用云消息队列 Kafka 版的规格评估功能为迁移上云的自建Kafka集群选择合适的实例规格。前提条件注册阿里云账号并完成实名认证。详细信息，请参见注册阿里云账号。使用说明云消息队列 Kafka 版提供的规格评估功能...

产品架构

消息队列在任何一个环境都是可扩展的，生产者必须是一个集群，消息服务器必须是一个集群，消费者也同样。集群级别的高可用，是消息队列跟其他的消息服务器的主要区别，消息生产者发送一条消息到消息服务器，消息服务器会随机的选择一个消费...

跨集群复制数据

查看启动源任务和创建复制Topic相关的成功消息，这些消息表明Replicator已经启动并运行，并且正在复制Topic。验证跨集群的Topic复制 Replicator完成初始化后，会检查源集群是否有需要复制的主题。执行以下命令，检查test-topic.replica是否...

查看接入点

如需使用客户端连接云消息队列 Kafka 版收发消息，您需要根据客户端的网络环境类型及传输的安全需要来配置接入点。默认接入点适用于在保密性较高的VPC环境收发消息；SASL接入点适用于无需对传输链路加密但需对消息收发鉴权；同时需要链路...

集群消费和广播消费

本文介绍 SOFAStack 消息队列的集群消费和广播消费的基本概念、适用场景以及注意事项。消息队列是基于发布/订阅模型的消息系统。消费者，即消息的订阅方订阅关注的 Topic，以获取并消费消息。由于消费者应用一般是分布式系统，以集群方式...

什么是云消息队列 Confluent 版？

搭建Kafka集群复杂性的问题：使用阿里云商业版Confluent，您可以在几十分钟内完成机型选配、集群部署、消息事件处理。完全节省您自行部署集群大数据软件的成本。产品优势作为中国内地唯一合作云厂商，阿里云的云消息队列 Confluent 版使...

实践教程概览

使用IMB软件和MPI通信库测试E-HPC通信性能 IMB（Intel MPI Benchmarks）用于评估HPC集群在不同消息粒度下节点间点对点、全局通信的效率。MPI（Message Passing Interface）是支持多编程语言的并行计算通信库，具有高性能、大规模性、可移植...

产品架构

云消息队列 Kafka 版系统架构如云消息队列 Kafka 版的系统架构所示，一个云消息队列 Kafka 版集群包括Producer、Kafka Broker、Group、ZooKeeper。图 1.云消息队列 Kafka 版的系统架构 Producer 通过push模式向云消息队列 Kafka 版...

操作指南

您可以在云消息队列 Kafka 版控制台创建实例、...云消息队列 Kafka 版 V3系列Serverless实例管理 V2系列实例管理 Topic Group Connector生态集成迁移权限管理云消息队列 Confluent 版集群资源规格评估实例管理权限管理集群配置与使用

购买和部署实例

在使用Confluent集群前，您需要先购买和部署实例，本文介绍购买及部署实例的操作步骤。前提条件云消息队列 Confluent 版集群需要购买一定配额的SLB资源，购买之前需要确保账户处于非欠费状态。获取云消息队列 Kafka 版访问授权。步骤一：...

产品优势

高吞吐能力：在海量消息堆积的情况下，始终能保持云消息队列 Kafka 版集群的高吞吐能力。数万级Topic：支持数万级Topic高并发读写，始终保持云消息队列 Kafka 版集群的高吞吐能力。高SLA保障支持灰度升级、升级/拖冷数据等极端场景写...

订阅消息

集群订阅方式设置（不设置的情况下，默认为集群订阅方式）factoryInfo.setFactoryProperty(ONSFactoryProperty.MessageModel,ONSFactoryProperty.CLUSTERING);广播订阅同一个Group ID所标识的所有Consumer都会各自消费某条消息一次。例如...

Control Center基本使用

登录Control Center 创建云消息队列 Confluent 版集群，详情请参见购买和部署实例。在云消息队列 Kafka 版控制台的实例列表页面，单击目标实例名称。在实例详情页面，单击右上角的登录控制台，输入用户名和密码登录进入Control ...

功能特性

自动创建Topic 可靠性功能集功能功能描述参考文档同城容灾消息同步迁移用于在Kafka集群之间的数据同步或迁移，消息可以从一个集群（通常称为“源”）复制到另一个集群（通常称为“目标”或“备份”），可以在不同的数据中心之间进行...

基本概念

Topic引流云消息队列 Kafka 版集群横向扩容完成后，使Topic流量重新均匀分布到扩容后的集群上的行为。更多信息，请参见 Topic引流。分区云消息队列 Kafka 版中的分区数是指一个主题（Topic）被划分为的子数据集的数量。每个分区都是...

实例类型

底层硬件资源共享，多个实例共享同一个后端集群，由云消息队列 MQTT 版来保证多租户场景下的服务可用性。共享实例（逻辑隔离）。底层硬件资源共享，多个实例共享同一个后端集群，由云消息队列 MQTT 版来保证多租户场景下的服务可用性。...

概述

SOFAStack 消息队列（SOFAStack MQ，简称 SOFAMQ）是基于 Apache RocketMQ 构建的分布式消息中间件，并与金融分布式架构 SOFAStack 深度集成，为分布式应用系统提供异步解耦和削峰填谷的能力，支持事务消息、顺序消息、定时消息等多种消息...

队列（MessageQueue）

常见队列增加场景需要增加队列实现物理节点负载均衡云消息队列 RocketMQ 版每个主题的多个队列可以分布在不同的服务节点上，在集群水平扩容增加节点后，为了保证集群流量的负载均衡，建议在新的服务节点上新增队列，或将旧的队列迁移到...

功能使用相关问题

云消息队列 MQTT 版支持集群消费模式吗？终端SDK不支持集群消费模式，云端SDK支持集群消费模式。您可以使用终端SDK发送消息，云端SDK订阅消息。云端SDK适用于云端业务应用集成场景。更多信息，请参见云端开发概述。云消息队列 MQTT 版 ...

开源对比

云消息队列 RabbitMQ 版是一款基于高可用分布式存储架构实现的AMQP 0-9-1协议的消息产品，能够兼容开源RabbitMQ客户端，与开源RabbitMQ相比，能够解决各种稳定性痛点（例如消息堆积、脑裂等问题），同时具备高并发、分布式、灵活扩缩容等...

集群资源规格评估建议

集群规格集群吞吐量每小时处理消息数保证每个Partion吞吐量1MB/s，能够支持Partion数 4Broker 400MB/s 14.7亿条 400个 8Broker 800MB/s 29.5亿条 800个 12Broker 1200MB/s 44.2亿条 1200个 16Broker 1600MB/s 59亿条 1600个 20Broker ...

实例管理

实例是一个独立的云消息队列 RabbitMQ 版资源实体，可以被视为一个隔离的服务器或服务环境，执行消息的接收、存储和转发操作。实例包含Vhost、Exchange、Queue等基本的资源要素。本文介绍如何在云消息队列 RabbitMQ 版控制台创建实例、...

阿里云消息集群

新品推荐