词权重
例：查询词：“OpenSearch好不好”：未使用词权重改写前的query为：query=default:'opensearch' AND default:'好不好' 经过词权重处理后改写query为：query=default:'opensearch' RANK default:'好不好' 因此，只要包含“opensearch”的...
类目预测
东西好不好收到摸一摸手感才知道，大公司出品，品质一流，只有一年一次内部特供款才享受此价格，活动仅限七天！现回馈活动力度超前给力！面料：一级优等品贡棉 130g磨毛 尺寸：被套200*230 床单230*250 枕套48*74*2只 每套重4.5斤！body ...
消费进度管理
每条消息被某个消费者消费完成后不会立即在队列中删除，云消息队列 RocketMQ 版 会基于每个消费者分组维护一份消费记录，该记录指定消费者分组消费某一个队列时，消费过的最新一条消息的位点，即消费位点。当消费者客户端离线，又再次重新...
集群消费和广播消费
集群消费和广播消费是 云消息队列 RocketMQ 版 的基本消费模式，您可以在消费者客户端将消费模式设置为集群消费或者广播消费，用于控制同一条消息只能被集群内一个消费者消费到，还是会被集群内每个消费者都消费到。背景信息 云消息队列 ...
消费者负载均衡
消费者从 云消息队列 RocketMQ 版 获取消息消费时，通过消费者负载均衡策略，可将主题内的消息分配给指定消费者分组中的多个消费者共同分担，提高消费并发能力和消费者的水平扩展能力。本文介绍 云消息队列 RocketMQ 版 消费者的负载均衡...
重置消费位点
每条消息被某个消费者消费完成后不会立即在队列中删除，云消息队列 RocketMQ 版 会基于每个Group维护一份消费记录，该记录指定了Group下的消费者消费指定Topic时，消费过的最新一条消息的位点，即消费位点。当消费者客户端离线又再次重新...
管理AMQP消费组
消费组是消息消费端的身份标识，多个消费者组成消息消费组接入物联网平台。设置AMQP服务端订阅后，物联网平台会将收到的设备消息转发到相应消费组，每条被流转到消费组的消息会被其中一个消费者接收。本文介绍如何在物联网平台创建、查看和...
消费者分组（ConsumerGroup）
使用建议 按照业务合理拆分分组 云消息队列 RocketMQ 版 的消费者和主题是多对多的关系，对于消费者分组的拆分设计，建议遵循以下原则：消费者的投递顺序一致：同一消费者分组下所有消费者的消费投递顺序是相同的，统一都是顺序投递或并发...
消费者（Consumer）
内部属性 消费者分组名称 定义：当前消费者关联的消费者分组名称，消费者必须关联到指定的消费者分组，通过消费者分组获取消费行为。更多信息，请参见 消费者分组（ConsumerGroup）。取值：消费者分组为 云消息队列 RocketMQ 版 的逻辑资源...
消费者分类
云消息队列 RocketMQ 版 支持PushConsumer和SimpleConsumer这两种类型的消费者，本文分别从使用方式、实现原理、可靠性重试和适用场景...如果业务经常会出现一些预期外的长时间耗时的消息，建议使用SimpleConsumer，并设置好消费不可见时间。
管理AMQP消费组
消费组是消息消费端的身份标识。消息消费端以消费组身份接入物联网平台，并接收物联网平台转发到消费组的消息。IoT孪生引擎中支持配置AMQP消费组，实现企业服务器订阅IoT孪生引擎中孪生节点的属性数据。本文介绍如何在IoT孪生引擎中添加、...
实时消费概述
日志服务提供数据实时消费功能，支持通过SDK实时消费数据。本文介绍实时消费功能的概念、功能优势、应用场景、计费规则、消费目标等信息。实时消费 实时消费是指第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的...
消费组监控与告警
您可以通过日志服务控制台查看日志消费的状态并设置告警...消费组监控 仪表盘用于展示消费组相关信息，包括消费组个数、消费Logstore个数、消费Shard个数、消费组延迟数、消费组数据占比、消费组列表、消费组延时Top 10、消费落后时长等图表。
集群消费和广播消费
本文介绍 SOFAStack 消息队列的集群消费和广播消费的基本概念、适用场景以及注意事项。消息队列是基于发布/订阅模型的消息系统。消费者，即消息的订阅方订阅关注的 Topic，以获取并消费消息。由于消费者应用一般是分布式系统，以集群方式...
消费重试
消费者出现异常，云消息队列 RocketMQ 版 会根据消费重试策略重新投递该消息进行故障恢复。本文介绍消费重试的应用场景、原理机制、版本兼容性和使用建议。应用场景 云消息队列 RocketMQ 版 的消费重试主要解决的是业务处理逻辑失败导致的...
重置消费位点
当消费者出现故障或者消费错误数据时，您可通过重置消费位点将消费位置回滚到之前的某个位点或者指定分区位点，重新开始消费。您也可以将消费位置移动至最新位点，暂时不处理堆积的消息。前提条件 已停止所有Consumer客户端（云消息队列 ...
查看消费状态
当Kafka出现消费堆积、倾斜、流量被限流等异常时，您可以查看Group和Topic之间的订阅关系，获取Topic各个分区的消费进度，了解消息的堆积总量，及时调整业务、预防风险。注意事项 建议一个消费组不要订阅超过三个Topic，避免消息堆积。当您...
新增消费组
数据订阅功能支持创建消费组。通过创建多个消费组，您可以对...后续步骤 新增消费组后，根据消费客户端类型，选择订阅数据的消费方式：使用SDK示例代码消费订阅数据（推荐）使用flink-dts-connector消费订阅数据 使用Kafka客户端消费订阅数据
新增消费组
数据订阅功能支持创建消费组。通过创建多个消费组，您可以对...后续步骤 新增消费组后，根据消费客户端类型，选择订阅数据的消费方式：使用SDK示例代码消费订阅数据（推荐）使用flink-dts-connector消费订阅数据 使用Kafka客户端消费订阅数据
查看消费者状态
如果消息消费出现异常，您可以在 云消息队列 RocketMQ 版 控制台查看指定Group ID的消费状态，包括消费者在线状态、订阅关系一致性结果、消费堆积相关指标、消费者客户端信息等，帮助您快速定位异常原因。应用场景 消费者状态信息包括在线...
消费监控告警
本文为您介绍如何对按量计费的计算任务设置消费监控告警，并在超过阈值时通过电话、短信、邮件或钉钉等方式为您发送告警。功能介绍 MaxCompute按量计费资源为弹性伸缩资源，按需求为计算任务提供资源，对资源使用无限制。因此，您需要监控...
订阅者最佳实践
消费阻塞以及堆积 消费端最常见的问题就是消费堆积，最常造成堆积的原因是：消费速度跟不上生产速度，此时应该提高消费速度，详情请参见 提高消费速度。消费端产生了阻塞。消费端拿到消息后，执行消费逻辑，通常会执行一些远程调用，如果这...
队列服务订阅推送
在不同的消费者组间，数据会并列地推送给每一个存在的消费者，举例来看：如果您的多个消费者在同一个组内，您可以观察到数据会在这些消费者之间进行均衡地分发，消费者会收到不同的数据。如果您的多个消费者在多个不同的组内，您可以观察到...
查看消费者状态
如果消息消费异常，您可以在 SOFAStack 消息队列控制台查看消费者状态，进行问题排查。本文介绍如何查看消费者状态。查看 Group ID 消费者状态 登录 SOFAStack 控制台。在左侧导航栏，选择 中间件>消息队列>Group 管理。单击目标 Group ID ...
顺序消息
} 获取顺序消息消费重试日志 PushConsumer顺序消费的重试是在消费者客户端进行，服务端无法获取消费重试的详细日志，若消息轨迹中顺序消息的投递结果为失败时，您需要在消费者客户端日志中查看消息重试的最大次数、消费者客户端等信息。...
通过消费组消费数据
通过消费组（ConsumerGroup）消费数据有显著优点，您无需关注日志服务的实现细节及消费者之间的负载均衡、故障转移（Failover）等，只需要专注于业务逻辑。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已...
通过消费组消费数据
通过消费组（ConsumerGroup）消费数据有显著优点，您无需关注日志服务的实现细节及消费者之间的负载均衡、故障转移（Failover）等，只需要专注于业务逻辑。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已...
API概览
当消费者出现故障或者消费错误数据时，您可通过重置消费位点将消费位置回滚到之前的某个位点重新开始消费，您也可以将消费位置移动至最新位点，暂时不处理堆积的消息。ListConsumerGroupSubscriptions 查询消费者组订阅关系列表 查询指定...
重置消费位点
您可通过重置消费位点，按需清除堆积的或不想消费的这部分消息再从最新位点开始消费，或直接跳转到某个时间点消费该时间点之后的消息。重要 广播消费模式不支持重置消费位点。目前不支持指定 Message ID、Message Key 和 Tag 来重置消息的...
迁移消费者程序
若您创建消费者程序时使用Assign方式消费消息，请先在源集群停止旧消费者程序，旧消费者程序停止后，迁移组件也会停止同步旧消费者程序所用的消费组的消费位点，然后再在目标实例启动新消费者程序。若您无法确定消费者程序使用哪种消费方式...
管理消费组
背景信息 关于消费组的介绍请参见 消费组。操作步骤 登录 数据传输控制台。在左侧导航栏，单击 数据订阅。在 数据订阅列表 页面上方，选择订阅通道所属地域。定位至已购买的数据订阅通道，单击订阅ID。单击左侧导航栏的 数据消费。根据需求...
如何处理消息堆积
一般情况下，客户端从Broker节点拉取消息的过程不会导致消息堆积，主要是客户端本地消费过程中，由于消费耗时过长或消费并发度较小等原因，导致客户端消费能力不足，出现消息堆积的问题。具体的消费原理和消息堆积原因请参见 消息堆积和...
转发路由器节省计划概述
每个承诺消费周期可抵扣的最大流量处理费金额=承诺消费金额÷节省计划折扣 节省计划总金额=承诺消费金额×购买时长下包含的承诺消费周期个数 其中购买时长包含的承诺消费周期个数可通过计算得出，假设购买节省计划时您指定的承诺消费周期为...
基本概念
本文介绍 云消息队列 RocketMQ 版 的基本概念，以便您更好地理解和使用 云消息队列 RocketMQ 版。主题（Topic）云消息队列 RocketMQ 版 中消息传输和存储的顶层容器，用于标识同一类业务逻辑的消息。主题通过TopicName来做唯一标识和区分。...
RFM分析
RFM用户类型 RS FS MS 说明 高价值用户 大于等于RS对比值 大于等于FS对比值 大于等于MS对比值 将最近消费日期较近、消费频次较高、消费金额较高的用户定义为高价值用户。重点保持用户 小于RS对比值 大于等于FS对比值 大于等于MS对比值 将...
RFM分析
RFM用户类型 RS FS MS 说明 高价值客户 大于等于RS对比值 大于等于FS对比值 大于等于MS对比值 将最近消费日期较近、消费频次较高、消费金额较高的人群定义为高价值人群。重点保持客户 小于RS对比值 大于等于FS对比值 大于等于MS对比值 将...
Kafka消费概述
使用Java实现Kafka消费 使用Confluent-Kafka-Go实现Kafka消费 使用Franz-Kafka-Go实现Kafka的消费 使用Sarama-Kafka-Go实现Kafka消费 使用Confluent-Kafka-Python实现Kafka消费 使用Confluent-Kafka-C#实现Kafka消费 消费字段格式说明 场景...
简介
协同消费库 协同消费库（Consumer Library）是日志服务中对日志进行消费的高级模式，提供了消费组的概念对消费端进行抽象和管理，和直接使用SDK进行数据读取的区别在于，用户无需关心日志服务的实现细节，只需要专注于业务逻辑，另外，消费...
消息堆积和延迟问题
通过了解 云消息队列 RocketMQ 版 客户端的消费原理和消息堆积的主要原因，帮助您可以在业务部署前更好的规划资源和配置，或在运维过程中及时调整业务逻辑，避免因消息堆积和延迟影响业务运行。背景信息 消息处理流程中，如果客户端的消费...
SOFAMQ 常见问题
每次重试的间隔时间如下：第几次重试 每次重试间隔时间 1 10 秒 2 30 秒 3 1 分钟 4 2 分钟 5 3 分钟 6 4 分钟 7 5 分钟 8 6 分钟 9 7 分钟 10 8 分钟 11 9 分钟 12 10 分钟 13 20 分钟 14 30 分钟 15 1 小时 16 2 小时 广播消费方式 广播...
- 产品推荐
- 这些文档可能帮助您