消费者（Consumer）
内部属性 消费者分组名称 定义：当前消费者关联的消费者分组名称，消费者必须关联到指定的消费者分组，通过消费者分组获取消费行为。更多信息，请参见 消费者分组（ConsumerGroup）。取值：消费者分组为 云消息队列 RocketMQ 版 的逻辑资源...
通过HTTPS投递日志到SIEM
吞吐量 基于测试，在没有带宽、接收端速率限制（如Splunk端）的情况下，用python3运行上述样例，单个消费者大约占用20%的单核CPU资源，此时消费可以达到10 MB/s原始日志的速率。因此10个消费者理论上可以达到100 MB/s原始日志，即每个CPU核...
通过Syslog投递日志到SIEM
吞吐量 基于测试，在没有带宽、接收端速率限制（如Splunk端）的情况下，用python3运行上述样例，单个消费者大约占用20%的单核CPU资源，此时消费可以达到10 MB/s原始日志的速率。因此10个消费者理论上可以达到100 MB/s原始日志，即每个CPU核...
营销引擎云码FAQ
还有的线下派样，你可以配置链接进去线上购买低价样品，看什么适合你们的品牌能够吸引到顾客入会。你可以根据你的转化数据不断调整和优化营销页面来提升效果。关注与入会有什么区别 关注 入会 形式不同 成为店铺的粉丝 成为店铺的会员 开户...
sample-txc-mq 样例
本样例介绍如何把 MQ 事务消息的发送纳入 GTS 管理的全局事务。前提条件 在使用 sample-txc-mq 样例前，请先完成以下工作：开通 GTS（创建事务分组）。开通 MQ。具体操作，请参见 快速入门概述。准备两个 RDS 实例，用户创建数据库。准备...
数据转发到消息队列RocketMQ
如果当前产品下设备与物联网平台之间的...操作样例 通过RocketMQ客户端消费设备消息 常见问题 云消息队列 RocketMQ 版5.0系列相比4.0系列实例有什么优势？使用云消息队列RocketMQ 5.x系列的常见问题 使用云消息队列RocketMQ 4.x系列的常见问题
消息队列 RocketMQ 客户端流控设计
20，延时（ConsumInterval）为 100 ms，代入上述公式可得：200=1/0.1*20 由上可知，理论上可以将并发消费控制在 200 以下。与并发线程数流控相比，消费延时流控的优点在于其实现相对简单，对消息队列 RocketMQ 类客户端包依赖较少，而且不...
Quick Audience数据集样例
用户标签数据集样例 ADS大宽表样例：user_id user_id_2 user_id_3 性别 最近90天巧克力偏好 注册时间 年龄 最近30天消费金额.a0001 b0001 c0001 男 0.8 2018/10/21 23 30.a0002 b0002 c0002 女 0.5 2018/10/21 52 50.说明 以上所有字段均为...
方案背景
样例场景 某大型连锁超市会实时产生大量的消费数据，通过分析这些数据统计每分钟不同商品类别的GMV（商品交易总额），得到商品售卖热度、门店经营状态等信息，便于辅助经营者的商业决策。架构设计 样例场景的实现过程说明如下，架构图如下...
旧版订阅迁移至新版订阅
创建消费组进行消费，详情请参见 新增消费组。消费时间点的管理 整个订阅实例使用一份位点数据。可以在DTS控制台修改消费的时间。每个消费组单独使用一份位点数据。新版订阅的位点管理比较灵活和多样，SDK客户端重启时，SUBSCRIBE模式使用...
消费-通过消费组实现高可靠消费
什么样的数据可以抽象成日志？半世纪前说起日志，想到的是船长、操作员手里厚厚的笔记。如今计算机诞生使得日志产生与消费无处不在：服务器、路由器、传感器、GPS、订单、及各种设备通过不同角度描述着我们生活的世界。从船长日志中我们...
消费进度管理
每条消息被某个消费者消费完成后不会立即在队列中删除，云消息队列 RocketMQ 版 会基于每个消费者分组维护一份消费记录，该记录指定消费者分组消费某一个队列时，消费过的最新一条消息的位点，即消费位点。当消费者客户端离线，又再次重新...
集群消费和广播消费
集群消费和广播消费是 云消息队列 RocketMQ 版 的基本消费模式，您可以在消费者客户端将消费模式设置为集群消费或者广播消费，用于控制同一条消息只能被集群内一个消费者消费到，还是会被集群内每个消费者都消费到。背景信息 云消息队列 ...
消费者负载均衡
消费者从 云消息队列 RocketMQ 版 获取消息消费时，通过消费者负载均衡策略，可将主题内的消息分配给指定消费者分组中的多个消费者共同分担，提高消费并发能力和消费者的水平扩展能力。本文介绍 云消息队列 RocketMQ 版 消费者的负载均衡...
重置消费位点
每条消息被某个消费者消费完成后不会立即在队列中删除，云消息队列 RocketMQ 版 会基于每个Group维护一份消费记录，该记录指定了Group下的消费者消费指定Topic时，消费过的最新一条消息的位点，即消费位点。当消费者客户端离线又再次重新...
管理AMQP消费组
消费组是消息消费端的身份标识，多个消费者组成消息消费组接入物联网平台。设置AMQP服务端订阅后，物联网平台会将收到的设备消息转发到相应消费组，每条被流转到消费组的消息会被其中一个消费者接收。本文介绍如何在物联网平台创建、查看和...
消费者分组（ConsumerGroup）
使用建议 按照业务合理拆分分组 云消息队列 RocketMQ 版 的消费者和主题是多对多的关系，对于消费者分组的拆分设计，建议遵循以下原则：消费者的投递顺序一致：同一消费者分组下所有消费者的消费投递顺序是相同的，统一都是顺序投递或并发...
消费者分类
云消息队列 RocketMQ 版 支持PushConsumer和SimpleConsumer这两种类型的消费者，本文分别从使用方式、实现原理、可靠性重试和适用场景等方面为您介绍这两种类型的消费者。背景信息 云消息队列 RocketMQ 版 面向不同的业务场景提供了不同...
管理AMQP消费组
消费组是消息消费端的身份标识。消息消费端以消费组身份接入物联网平台，并接收物联网平台转发到消费组的消息。IoT孪生引擎中支持配置AMQP消费组，实现企业服务器订阅IoT孪生引擎中孪生节点的属性数据。本文介绍如何在IoT孪生引擎中添加、...
实时消费概述
日志服务提供数据实时消费功能，支持通过SDK实时消费数据。本文介绍实时消费功能的概念、功能优势、应用场景、计费规则、消费目标等信息。实时消费 实时消费是指第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的...
消费组监控与告警
您可以通过日志服务控制台查看日志消费的状态并设置告警...消费组监控 仪表盘用于展示消费组相关信息，包括消费组个数、消费Logstore个数、消费Shard个数、消费组延迟数、消费组数据占比、消费组列表、消费组延时Top 10、消费落后时长等图表。
集群消费和广播消费
本文介绍 SOFAStack 消息队列的集群消费和广播消费的基本概念、适用场景以及注意事项。消息队列是基于发布/订阅模型的消息系统。消费者，即消息的订阅方订阅关注的 Topic，以获取并消费消息。由于消费者应用一般是分布式系统，以集群方式...
消费重试
消费者出现异常，云消息队列 RocketMQ 版 会根据消费重试策略重新投递该消息进行故障恢复。本文介绍消费重试的应用场景、原理机制、版本兼容性和使用建议。应用场景 云消息队列 RocketMQ 版 的消费重试主要解决的是业务处理逻辑失败导致的...
重置消费位点
当消费者出现故障或者消费错误数据时，您可通过重置消费位点将消费位置回滚到之前的某个位点或者指定分区位点，重新开始消费。您也可以将消费位置移动至最新位点，暂时不处理堆积的消息。前提条件 已停止所有Consumer客户端（云消息队列 ...
查看消费状态
当Kafka出现消费堆积、倾斜、流量被限流等异常时，您可以查看Group和Topic之间的订阅关系，获取Topic各个分区的消费进度，了解消息的堆积总量，及时调整业务、预防风险。注意事项 建议一个消费组不要订阅超过三个Topic，避免消息堆积。当您...
新增消费组
数据订阅功能支持创建消费组。通过创建多个消费组，您可以对...后续步骤 新增消费组后，根据消费客户端类型，选择订阅数据的消费方式：使用SDK示例代码消费订阅数据（推荐）使用flink-dts-connector消费订阅数据 使用Kafka客户端消费订阅数据
查看消费者状态
如果消息消费出现异常，您可以在 云消息队列 RocketMQ 版 控制台查看指定Group ID的消费状态，包括消费者在线状态、订阅关系一致性结果、消费堆积相关指标、消费者客户端信息等，帮助您快速定位异常原因。应用场景 消费者状态信息包括在线...
消费监控告警
本文为您介绍如何对按量计费的计算任务设置消费监控告警，并在超过阈值时通过电话、短信、邮件或钉钉等方式为您发送告警。功能介绍 MaxCompute按量计费资源为弹性伸缩资源，按需求为计算任务提供资源，对资源使用无限制。因此，您需要监控...
订阅者最佳实践
消费阻塞以及堆积 消费端最常见的问题就是消费堆积，最常造成堆积的原因是：消费速度跟不上生产速度，此时应该提高消费速度，详情请参见 提高消费速度。消费端产生了阻塞。消费端拿到消息后，执行消费逻辑，通常会执行一些远程调用，如果这...
队列服务订阅推送
在不同的消费者组间，数据会并列地推送给每一个存在的消费者，举例来看：如果您的多个消费者在同一个组内，您可以观察到数据会在这些消费者之间进行均衡地分发，消费者会收到不同的数据。如果您的多个消费者在多个不同的组内，您可以观察到...
新增消费组
数据订阅功能支持创建消费组。通过创建多个消费组，您可以对...后续步骤 新增消费组后，根据消费客户端类型，选择订阅数据的消费方式：使用SDK示例代码消费订阅数据（推荐）使用flink-dts-connector消费订阅数据 使用Kafka客户端消费订阅数据
查看消费者状态
如果消息消费异常，您可以在 SOFAStack 消息队列控制台查看消费者状态，进行问题排查。本文介绍如何查看消费者状态。查看 Group ID 消费者状态 登录 SOFAStack 控制台。在左侧导航栏，选择 中间件>消息队列>Group 管理。单击目标 Group ID ...
顺序消息
} 获取顺序消息消费重试日志 PushConsumer顺序消费的重试是在消费者客户端进行，服务端无法获取消费重试的详细日志，若消息轨迹中顺序消息的投递结果为失败时，您需要在消费者客户端日志中查看消息重试的最大次数、消费者客户端等信息。...
通过消费组消费数据
通过消费组（ConsumerGroup）消费数据有显著优点，您无需关注日志服务的实现细节及消费者之间的负载均衡、故障转移（Failover）等，只需要专注于业务逻辑。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已...
API概览
当消费者出现故障或者消费错误数据时，您可通过重置消费位点将消费位置回滚到之前的某个位点重新开始消费，您也可以将消费位置移动至最新位点，暂时不处理堆积的消息。ListConsumerGroupSubscriptions 查询消费者组订阅关系列表 查询指定...
重置消费位点
您可通过重置消费位点，按需清除堆积的或不想消费的这部分消息再从最新位点开始消费，或直接跳转到某个时间点消费该时间点之后的消息。重要 广播消费模式不支持重置消费位点。目前不支持指定 Message ID、Message Key 和 Tag 来重置消息的...
迁移消费者程序
若您创建消费者程序时使用Assign方式消费消息，请先在源集群停止旧消费者程序，旧消费者程序停止后，迁移组件也会停止同步旧消费者程序所用的消费组的消费位点，然后再在目标实例启动新消费者程序。若您无法确定消费者程序使用哪种消费方式...
管理消费组
背景信息 关于消费组的介绍请参见 消费组。操作步骤 登录 数据传输控制台。在左侧导航栏，单击 数据订阅。在 数据订阅列表 页面上方，选择订阅通道所属地域。定位至已购买的数据订阅通道，单击订阅ID。单击左侧导航栏的 数据消费。根据需求...
如何处理消息堆积
一般情况下，客户端从Broker节点拉取消息的过程不会导致消息堆积，主要是客户端本地消费过程中，由于消费耗时过长或消费并发度较小等原因，导致客户端消费能力不足，出现消息堆积的问题。具体的消费原理和消息堆积原因请参见 消息堆积和...
通过消费组消费数据
通过消费组（ConsumerGroup）消费数据有显著优点，您无需关注日志服务的实现细节及消费者之间的负载均衡、故障转移（Failover）等，只需要专注于业务逻辑。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户及授权。已...
- 产品推荐
- 这些文档可能帮助您