存放大数据的循环队列-存放大数据的循环队列文档介绍内容-阿里云

消息发送重试和流控机制

触发条件云消息队列 RocketMQ 版的消息流控触发条件如下：存储压力大：参考消费进度管理的原理机制，消费者分组的初始消费位点为当前队列的最大消费位点。若某些场景例如业务上新等需要回溯到指定时刻前开始消费，此时队列的存储压力会...

部署异步推理服务

如果您的服务需要输入文本、输出图片，并期望在输出队列存放更多数据，则可以将queue.sink.memory_ratio相应提高；相反，如果您期望输入图片、输出文本，则可以将queue.sink.memory_ratio相应减小。配置水平自动扩缩容异步推理服务水平...

队列服务订阅推送

尾队列尾队列是辅助性质的队列，主要用于存放不推送给消费者的数据，比如死信或者您自定义的控制数据。尾队列也是队列服务内的一个队列实例，具有相同的API。输入队列和输出队列均各自配备了一个尾队列。重要注意：尾队列和普通队列实例...

排他队列

如果您想创建一个只有自己可见的队列，不允许其他用户访问，您可以使用云消息队列 RabbitMQ 版的排他性队列特性，将指定的队列声明为排他性。什么是排他队列排他性队列的特点如下：排他队列只对首次声明它的连接（Connection）可见，...

访问队列服务

当使用异步推理服务功能时，请求从输入队列返回，由EAS服务框架读取输出数据进行处理后将结果自动写入到输出队列中，服务框架会通过requestId这个tag将输入数据与输出数据进行关联，通过输入数据的requestId即可在输出队列中查询结果数据。...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能，将云消息队列 Kafka 版集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能，将云消息队列 Kafka 版集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...

Hudi概述

Apache Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。Hudi表类型 Hudi支持如下两种表类型：Copy On Write 使用Parquet格式存储数据。Copy On Write表的更新操作需要通过重写...

跨云产品的数据流出

您可通过配置云消息队列 MQTT 版的数据流出规则来自定义数据从云消息队列 MQTT 版流出至其他阿里云产品。本文介绍数据流出的原理、应用场景、使用限制以及云消息队列 MQTT 版与其他阿里云产品的资源映射关系。基本原理如需将云消息...

什么是云消息队列 Kafka 版？

云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。产品优势云消息队列 Kafka 版针对开源的Apache Kafka提供全托管服务，解决开源产品的痛点。有了云...

跨云产品数据流入

您可通过配置云消息队列 MQTT 版的数据流入规则来自定义数据从其他阿里云产品流入到云消息队列 MQTT 版。本文介绍跨产品数据流入的原理、应用场景、使用限制以及云消息队列 MQTT 版与其他阿里云产品的资源映射关系。基本原理如需将...

示例代码

云消息队列 RocketMQ 版 5.x版本实例可兼容Java ONS 1.x SDK客户端接入，您可以使用ONS 1.x SDK的接入5.x实例进行消息收发。本文为您介绍Java ONS 1.x SDK消息收发示例代码。重要推荐您使用最新的RocketMQ 5.x系列SDK，5.x系列SDK作为主力...

数据流出规则管理

如需将云消息队列 MQTT 版的数据导出至其他阿里云产品，您需创建数据流出规则。该规则用于将MQTT客户端发送的消息导出到您配置的其他阿里云产品中，从而实现直接调用云产品的API读取MQTT客户端发送的消息。流程说明规则限制限制项限制...

什么是云消息队列 Confluent 版？

云消息队列 Confluent 版阿里云和Apache Kafka的原厂创始公司Confluent合作，在ApacheKafka能力基础上支持消息流式处理以及大数据系统的集成的一站式解决方案—— 云消息队列 Confluent 版。您可以购买适合您生产集群规模的企业版Kafka ...

数据迁移

背景信息传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大时，可以将数据迁移至 MaxCompute。MaxCompute为您提供了完善的数据迁移方案以及多种经典的分布式计算模型，能够快速地解决海量数据存储和...

使用Canal将MySQL的数据同步至云消息队列 Kafka 版

本教程介绍如何使用Canal将MySQL的数据同步至云消息队列 Kafka 版。背景信息 Canal的主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。Canal伪装自己为MySQL Slave，向MySQL Master发送dump请求。MySQL Master收到dump...

上下线通知规则管理

云消息队列 RocketMQ 版实例版本仅4.0系列实例支持云消息队列 MQTT 版和云消息队列 RocketMQ 版通过消息流入或消息流出规则进行数据互通时，云消息队列 RocketMQ 版仅4.0系列实例支持消息流入或流出规则，5.0系列实例不支持。...

收发定时消息

tag",/Message Body可以是任何二进制形式的数据，消息队列RocketMQ版不做任何干预，需要Producer与Consumer协商好一致的序列化和反序列化方式。Hello MQ".getBytes());设置代表消息的业务关键属性，请尽可能全局唯一。以方便您在无法正常...

发送消息（多线程）

云消息队列 RocketMQ 版的消费者和生产者客户端对象是线程安全的，可以在多个线程之间共享使用。您可以在服务器上（或者多台服务器）部署多个生产者和消费者实例，也可以在同一个生产者或消费者实例里采用多线程发送或接收消息，从而提高...

V2.x.x到V3.x.x的升级公告

V3.x.x版本除了独立存储之外，还对V2.x.x版本实现的云消息队列 MQTT 版和云消息队列 RocketMQ 版互通的功能进行抽象，使得云消息队列 MQTT 版的数据可以根据您配置相应规则转发到其他阿里云产品，也可以配置规则从其他阿里云产品导入...

收发顺序消息

顺序消息FIFO（First In First Out）是云消息队列 RocketMQ 版提供的一种严格按照顺序来发布和消费的消息类型。本文提供使用TCP协议下的C/C++ SDK收发顺序消息的示例代码。背景信息顺序消息分为两类：全局顺序：对于指定的一个Topic，...

云消息队列 RocketMQ 版

本文介绍如何在云消息队列 RabbitMQ 版控制台创建消息流出任务，将云消息队列 RabbitMQ 版的数据导出至云消息队列 RocketMQ 版。前提条件您已购买云消息队列 RabbitMQ 版实例，且实例处于服务中状态。具体步骤，请参见创建资源...

计费常见问题

若您使用云消息队列 MQTT 版的数据流入、数据流出规则和云消息队列 RocketMQ 版进行通信，云消息队列 RocketMQ 版会根据调用的云消息队列 RocketMQ 版的消息收发API或Topic资源等进行计费。客户端上线下事件流出到消息队列RocketMQ...

发布者最佳实践

本文介绍云消息队列 Kafka 版发布者的最佳实践，帮助您降低发送消息的错误率。本文最佳实践基于Java客户端。对于其他语言的客户端，其基本概念与思想是相通的，但实现细节可能存在差异。发送消息发送消息的示例代码如下：Future...

新功能发布记录

本文介绍云消息队列 Kafka 版的产品功能动态及对应的文档。2024-04-15 功能名称功能描述功能类型相关文档 V3.0 Serverless系列实例在华东2（上海）地域开服云消息队列 Kafka 版 V3.0 Serverless系列实例支持在华东2（上海）地域选购...

消息堆积和延迟问题

本文主要介绍云消息队列 RocketMQ 版 TCP协议的Java客户端使用过程中，经常会出现的消息堆积和消息延迟的问题。通过了解云消息队列 RocketMQ 版客户端的消费原理和消息堆积的主要原因，帮助您可以在业务部署前更好的规划资源和配置，或...

元数据导入

本文介绍如何在云消息队列 Kafka 版控制台创建元数据导入任务，将元数据迁移至云消息队列 Kafka 版已有实例。前提条件下载JDK 8 购买并部署云消息队列 Kafka 版实例：购买并部署VPC实例购买并部署公网/VPC实例说明购买实例的规格可...

实例使用变更

云消息队列 MQTT 版从V2.x.x升级至V3.x.x后，不再需要与云消息队列 RocketMQ 版的实例进行绑定。本文介绍两个版本之间的控制台实例相关操作的具体差异，并提供控制台截图进行对比。变更说明由于V3.x.x版本的云消息队列 MQTT 版实现了...

队列（MessageQueue）

队列的主要作用如下：存储顺序性队列天然具备顺序性，即消息按照进入队列的顺序写入存储，同一队列间的消息天然存在顺序关系，队列头部为最早写入的消息，队列尾部为最新写入的消息。消息在队列中的位置和消息之间的顺序通过位点（Offset...

MQTT和RocketMQ进行数据互通（跨产品数据流出）

如果您的云端应用需要使用云消息队列 RocketMQ 版产品的某些功能，例如顺序消息特性、事务消息特性等，您可以通过消息流入或流出规则将云消息队列 MQTT 版和云消息队列 RocketMQ 版数据进行流转。本文介绍如何将云消息队列 MQTT 版 ...

示例代码

云消息队列 RocketMQ 版 5.x版本实例可兼容C++ 1.x/2.x SDK客户端接入，您可以使用1.x/2.x版本的SDK接入5.x实例进行消息收发。本文为您介绍1.x/2.x版本下的C++ SDK消息收发示例代码。重要推荐您使用最新的RocketMQ 5.x系列SDK，5.x系列SDK...

死信消息

云消息队列 RocketMQ 版支持将这些死信消息保存至指定Topic，方便后续进行业务恢复或回溯。本文介绍死信消息的应用场景、死信策略、使用限制、配置方法和使用建议。应用场景典型死信消息处理场景消息重试失败后，您可以选择将死信消息...

MQTT和RocketMQ进行数据互通（客户端上下线通知）

MQTT客户端的上下线事件将会触发MQTT服务端生成一条通知消息，云消息队列 MQTT 版支持将该条消息数据导出至其他阿里云产品，并使用MQTT的Java SDK实现MQTT客户端与后端应用收发消息。本文以当前仅支持的云消息队列 RocketMQ 版数据互通...

数据流入规则管理

如需将其他阿里云产品的数据导入云消息队列 MQTT 版，您需创建数据流入规则。该规则用于从您配置的阿里云产品中读取数据并将数据通过MQTT协议推送到MQTT客户端，从而实现直接调用阿里云产品的API发送数据到MQTT客户端。流程说明规则限制 ...

典型使用场景

HBase具有高吞吐，低延迟，schemaFree，水平扩展等能力，被很多大数据类应用选择。而接合LindormStreams+Blink/Spark，可以构建出一套完整的实时数据系统：应用解耦-实时同步到消息队列通常业务发生之后，应用系统产生的数据需要被其他...

仪表盘

借助于阿里云ARMS Prometheus监控服务和Grafana的指标存储和展示能力，云消息队列 RocketMQ 版提供可实时进行数据统计的仪表盘功能。该功能可帮助您一站式、全方位、多维度地统计和观测指标，进而快速了解业务的运行状态。本文介绍仪表盘...

将云消息队列 Kafka 版接入阿里云Elasticsearch

云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。更多信息，请参见什么是云消息队列 Kafka 版。阿里云Elasticsearch Elasticsearch简称ES，是一个...

迁移概述

本文介绍将自建Kafka集群迁移到云消息队列 Kafka 版实例的优势、原理、方案架构、迁移工具和操作流程。迁移优势将自建Kafka集群迁移到云消息队列 Kafka 版实例的优势，请参见产品优势。迁移原理对于消息队列来说，如果要实现集群...

消息（Message）

本文介绍云消息队列 RocketMQ 版中消息（Message）的定义、模型关系、内部属性、行为约束及使用建议。定义消息是云消息队列 RocketMQ 版中的最小数据传输单元。生产者将业务数据的负载和拓展属性包装成消息发送到云消息队列 RocketMQ...

基于Flink的资讯场景实时数仓

部署架构图选用的产品云消息队列 Kafka 版云消息队列 Kafka 版是阿里云基于Apache Kafka构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的...

存放大数据的循环队列

新品推荐