基本概念
消费位点（ConsumerOffset）一条消息被某个消费者消费完成后不会立即从队列中删除，云消息队列 RocketMQ 版 会基于每个消费者分组记录消费过的最新一条消息的位点，即消费位点。更多信息，请参见 消费进度管理。消息索引（MessageKey）消息...
RFM分析
RFM用户类型 RS FS MS 说明 高价值用户 大于等于RS对比值 大于等于FS对比值 大于等于MS对比值 将最近消费日期较近、消费频次较高、消费金额较高的用户定义为高价值用户。重点保持用户 小于RS对比值 大于等于FS对比值 大于等于MS对比值 将...
RFM分析
RFM用户类型 RS FS MS 说明 高价值客户 大于等于RS对比值 大于等于FS对比值 大于等于MS对比值 将最近消费日期较近、消费频次较高、消费金额较高的人群定义为高价值人群。重点保持客户 小于RS对比值 大于等于FS对比值 大于等于MS对比值 将...
Kafka消费概述
使用Java实现Kafka消费 使用Confluent-Kafka-Go实现Kafka消费 使用Franz-Kafka-Go实现Kafka的消费 使用Sarama-Kafka-Go实现Kafka消费 使用Confluent-Kafka-Python实现Kafka消费 使用Confluent-Kafka-C#实现Kafka消费 消费字段格式说明 场景...
简介
协同消费库 协同消费库（Consumer Library）是日志服务中对日志进行消费的高级模式，提供了消费组的概念对消费端进行抽象和管理，和直接使用SDK进行数据读取的区别在于，用户无需关心日志服务的实现细节，只需要专注于业务逻辑，另外，消费...
消息堆积和延迟问题
想要避免和解决消息堆积问题，必须合理的控制消费耗时和消息并发度，其中消费耗时的优先级高于消费并发度，必须先保证消费耗时的合理性，再考虑消费并发度问题。消费耗时 影响消费耗时的消费逻辑主要分为CPU内存计算和外部I/O操作，通常...
SOFAMQ 常见问题
每次重试的间隔时间如下：第几次重试 每次重试间隔时间 1 10 秒 2 30 秒 3 1 分钟 4 2 分钟 5 3 分钟 6 4 分钟 7 5 分钟 8 6 分钟 9 7 分钟 10 8 分钟 11 9 分钟 12 10 分钟 13 20 分钟 14 30 分钟 15 1 小时 16 2 小时 广播消费方式 广播...
Logstash消费
日志服务 支持通过Logstash消费数据，您可以通过配置 日志服务 的Input插件对接Logstash获取 日志服务 中的数据并写入到其他系统中，例如Kafka、HDFS等。功能特性 分布式协同消费：可配置多台服务器同时消费某一个Logstore。高性能：基于...
通道服务概述
消费延迟监控 通道服务通过DescribeTunnel API提供了客户端消费数据延迟（即当前消费到的数据的时间点）信息，并在控制台提供了通道数据消费监控。数据消费能力水平扩展 通道服务提供了逻辑分区的自动负载均衡功能，负载均衡增加了消费端...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
使用SDK示例代码消费订阅数据
在完成数据订阅通道的配置（创建好订阅任务和消费组）后，您可以自行编写SDK示例代码或使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍示例代码的使用方法。操作步骤 重要 如果数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的...
消息重试
云消息队列 RocketMQ 版 支持消息重试功能，即Consumer消费某条消息失败或消费超时，云消息队列 RocketMQ 版 会根据消息重试机制重新投递消息。本文介绍 云消息队列 RocketMQ 版 分别在HTTP协议和TCP协议下的消息重试策略。注意事项 一条...
快速入门
在表格存储管理控制台快速体验通道服务...} 查看数据消费日志 数据消费后，可以查看增量数据消费日志，例如消费统计、增量通道分区最新同步时间等。在控制台或者使用describeTunnel接口也可以查看消费延迟、通道分区下的消费数据行数更新。
管理消费组
背景信息 关于消费组的介绍请参见 消费组。操作步骤 进入订阅任务的列表页面。登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据传输（DTS）>数据订阅。说明 实际操作可能会因DMS的模式和布局不同，...
订阅关系（Subscription）
通过配置订阅关系，可控制如下传输行为：消息过滤规则：用于控制消费者在消费消息时，选择主题内的哪些消息进行消费，设置消费过滤规则可以高效地过滤消费者需要的消息集合，灵活根据不同的业务场景设置不同的消息接收范围。具体信息，请...
基本概念
消息堆积 Producer已经将消息发送到 云消息队列 RocketMQ 版 的服务端，但由于Consumer消费能力有限，未能在短时间内将所有消息正确消费掉，此时在 云消息队列 RocketMQ 版 的服务端保存着未被消费的消息，该状态即消息堆积。消息堆积量=...
普通消息
消费提交 消费者完成消费处理，并向服务端提交消费结果，服务端标记当前消息已经被处理（包括消费成功和失败）。云消息队列 RocketMQ 版 默认支持保留所有消息，此时消息数据并不会立即被删除，只是逻辑标记已消费。消息在保存时间到期或...
批量消费
如需提高消息的处理效率，或降低下游资源的API调用频率，您可使用批量消费功能。本文介绍批量消费的定义、优势与场景、使用限制和示例代码等信息。什么是批量消费 定义 批量消费是 云消息队列 RocketMQ 版 通过Push消费者提供的、将消息分...
使用云消息队列 Kafka 版时出现消息堆积
客户端消费流程 了解客户端消费流程，有助于理解消息是否堆积。一般情况下，客户端消费流程大致如下：判断消息堆积是否属于正常情况 如果发现Group中出现消息堆积，请参见下列步骤，判断消息堆积是否属于正常情况：登录 云消息队列 Kafka ...
消费幂等
什么是消息幂等 当出现消费者对某条消息重复消费的情况时，重复消费的结果与消费一次的结果是相同的，并且多次消费并未对业务系统产生任何负面影响，那么这个消费者的处理过程就是幂等的。例如，在支付场景下，消费者消费扣款消息，对一笔...
计费常见问题
设置消费限制后，若您的消费未达到每日消费上限，ARMS将持续监控您的应用；若您的消费达到每日消费上限，ARMS将停止监控您的应用并且停止计费，次日00:00自动开启监控并且开始计费。在 ARMS控制台 左侧导航栏中选择 前端监控>前端列表。在 ...
为什么消费位点过期了却仍未被删除？
问题现象 2.2.0及以上 云消息队列 Kafka 版 服务端版本，某Group下的消费位点已经超过了我设置的消费位点保留时间，但却未被删除，还可以在 云消息队列 Kafka 版 控制台 的订阅关系里看到对应的消费位点。说明 消费位点保留时长 是消费位点...
基础术语
消息堆积 Message accumulation Producer 已经将消息发送到消息队列的服务端，但由于 Consumer 消费能力有限，未能在短时间内将所有消息正确消费掉，此时在消息队列的服务端保存着未被消费的消息，该状态即消息堆积。消息过滤 Message ...
ResetConsumeOffset-重置消费位点
当消费者出现故障或者消费错误数据时，您可通过重置消费位点将消费位置回滚到之前的某个位点重新开始消费，您也可以将消费位置移动至最新位点，暂时不处理堆积的消息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...
仪表盘
消费者本地等待耗时 统计Group消费消息时，消息到达消费者客户端到开始被消费的耗时。单位：毫秒。消费成功率 统计消息消费的成功率。消费者客户端访问协议占比 统计所有被消费的消息各协议类型消息量的占比。实例Top 20概览 指标项 说明 ...
UpdateConsumerOffset-重置消费者组的消费位点
通过 UpdateConsumerOffset 重置消费者组的消费位点。接口说明 此接口用于重置指定消费组的消费位点，支持以 timestamp 和 offset 的方式重置消费者组的消费位点。通过传入不同参数的组合可以实现如下功能：支持从最新位点开始消费，将消费...
RFM模型
RFM模型是一种通过用户的R消费间隔（Recency）、F消费频率（Frequency）、M消费金额（Monetary）三项指标来衡量用户价值的手段。RFM模型对用户的三项指标的值分别进行量化评分，评分标准例如：R：依据最近一次消费距今天数，0~30：3分，31~...
消息负载均衡策略
云消息队列 RocketMQ 版 的消息负载均衡策略针对生产者和消费者有所差异。对消费者而言，消息负载均衡策略在一定程度上影响消息堆积。背景信息 随着SDK版本的升级，云消息队列 RocketMQ 版 的负载均衡策略也有所优化，根据SDK版本，负载...
ConsumerGroup
名称 类型 描述 示例值 object 消费组数据结构。name string 消费组名称。test-consumer-group timeout integer 超时时间。在超时时间段内没有收到心跳，消费者将被删除。单位：秒。300 order boolean 是否按顺序消费。true：在 Shard 中按...
概述
应用场景 异步解耦消息队列的生产消费模型可以解耦上下游业务系统，并支持下游多个消费者对同一消息进行消费和处理。以金融场景为例，支付中心作为支付宝主站最核心的系统，每笔支付数据的产生会引起几百个下游业务系统的关注，包括账户...
TCP协议客户端大版本发布
消费者本地等待耗时：统计Group消费消息时，消息到达消费者客户端到开始被消费的耗时。消费客户端访问协议占比：统计所有被消费的消息各协议类型消息量的占比。实例 Top 20概览 已就绪消息排队时间 top20 GroupIDs：统计已就绪消息排队时间...
查询消息轨迹
云消息队列 RocketMQ 版 将消息发送、消息存储、消息消费这几个关键节点的数据定义为轨迹参数，例如消息发送结果、发送耗时、消息到达服务端的时间、消息的消费结果、消费耗时、客户端信息等，并支持可视化查询。当消息收发结果不符合预期...
CreateConsumerGroup-创建消费组
调用CreateConsumerGroup接口在指定的Logstore上创建一个消费组。接口说明 请求语法中 Host 由 Project 名称和日志服务 Endpoint 构成，您需要在 Host 中指定 Project。每个 Logstore 中最多创建 30 个消费组。日志服务提供基于 Java SDK ...
数据订阅操作指导
4.消费订阅数据 新版 根据消费客户端和数据库的类型，选择订阅数据的消费方式：使用SDK示例代码消费订阅数据 使用SDK示例代码消费PolarDB-X 1.0订阅数据 使用flink-dts-connector消费订阅数据 使用Kafka客户端消费订阅数据 5.结束数据订阅 ...
通过JDBC消费Hologres Binlog
本文为您介绍如何通过JDBC和Holo-Client这两种方式消费Hologres Binlog。前提条件 需提前开启和配置Hologres Binlog，详情请参见 订阅Hologres Binlog。需创建hg_binlog extension。Hologres V2.0版本前，需要实例的Superuser执行以下语句...
【月度消费报告】服务上线
用户中心于5月17号推出【月度消费报告】服务，分批次开放。月度消费报告包含费用账单的消费分析（金额，趋势，异常，根因，建议等），同时会提供企业客户云上财务管理全链路解决方案相关的升级、优化、最佳实践，业界风向等资讯。主要内容...
领域模型概述
订阅关系以消费组粒度进行管理，消费组通过定义订阅关系控制指定消费组下的消费者如何实现消息过滤、消费重试及消费进度恢复等。云消息队列 RocketMQ 版 的订阅关系除过滤表达式之外都是持久化的，即服务端重启或请求断开，订阅关系依然...
消息幂等
为了防止消息重复消费导致业务处理异常，SOFAStack 消息队列的消费者在接收到消息后，有必要根据业务上的唯一 Key 对消息做幂等处理。本文介绍消息幂等的概念、适用场景以及处理方法。什么是消息幂等 当出现消费者对某条消息重复消费的情况...
变更消息配置
您可以按照业务需求调整消息保留时长、最大消息大小、消费位点保留时间和SSL证书算法位数。前提条件 您已购买 云消息队列 Kafka 版 实例，且实例处于服务中状态。操作步骤 登录 云消息队列 Kafka 版 控制台，在 概览 页面的 资源分布 区域...
OnsConsumerStatus-查询Group ID消费状态
查询指定Group ID详细状态数据：订阅关系检查、消费TPS统计、负载均衡状态、消费端连接。接口说明 注意 阿里云提供的 OpenAPI 属于管控类 API，用于管理和查询阿里云服务的相关资源。仅推荐在管控链路集成，消息收发的核心数据链路中严禁...
- 产品推荐
- 这些文档可能帮助您