UpdateConsumerOffset-重置消费者组的消费位点
通过 UpdateConsumerOffset 重置消费者组的消费位点。接口说明 此接口用于重置指定消费组的消费位点，支持以 timestamp 和 offset 的方式重置消费者组的消费位点。通过传入不同参数的组合可以实现如下功能：支持从最新位点开始消费，将消费...
使用Java实现Kafka消费
在这个时间间隔内加入组的消费者为消费组的成员，进行分区分配，各个消费者按分配的分区开发消费数据，如果在这个时间内还有消费者没有加入消费组，则会触发消费组再平衡操作，再平衡期间不会消费数据，会导致消费延迟。建议设置max.poll....
混合部署应用（ECS和K8s环境）
当您需要分离不同形态的应用或者做应用架构迁移时，可以将服务的提供者与消费者分别部署到同一VPC的ECS环境和K8s环境，他们提供的服务也是可以相互发现和调用的。前提条件 请确保您混合部署应用的ECS集群和K8s集群属于同一个VPC，且在EDAS...
产品架构
集群级别的高可用，是消息队列跟其他的消息服务器的主要区别，消息生产者发送一条消息到消息服务器，消息服务器会随机的选择一个消费者，只要这个消费者消费成功就认为是成功了。说明 文中所提及的消息队列的服务端或者服务器包含 Name ...
定时/延时消息
应用场景 说明 定时消息和延时消息本质相同，都是服务端根据消息设置的定时时间在某一固定时刻将消息投递给消费者消费。因此，下文统一用定时消息描述。在分布式定时调度触发、任务超时处理等场景，需要实现精准、可靠的定时事件触发。使用...
ResetConsumeOffset-重置消费位点
重置指定消费者分组的消费位点。重置消费位点是指改变订阅者当前的消费位置。当消费者出现故障或者消费错误数据时，您可通过重置消费位点将消费位置回滚到之前的某个位点重新开始消费，您也可以将消费位置移动至最新位点，暂时不处理堆积的...
营销引擎云码FAQ
什么是 营销引擎云码 简单讲，营销引擎云码 属于营销拉新平台型产品，主要可以把线下消费者引导到线上店铺，成为你品牌的粉丝或会员。为什么用 营销引擎云码 覆盖广 百万级线下智能终端设备覆盖亿万级线下流量。高精准 可根据人群、地域、...
Logstash消费
自动负载均衡：根据消费者数量自动分配Shard，消费者增加或减少后会自动负载均衡。操作步骤 安装Logstash。下载安装包。解压安装包到指定目录。安装input插件。下载input插件。下载地址为 logstash-input-sls。安装input插件。logstash-...
概念建模概述
同时有利于数据消费者更好理解数据和数据对应的业务。本文为您介绍Dataphin数仓规划中概念模型的基本概念，包含主题域、实体关系图等，以便于您更好地理解和使用Dataphin进行数仓规划。背景信息 在建设数据中台的流程中，一般的首要任务是...
使用Sarama-Kafka-Go实现Kafka消费
isPaused }/Consumer表示Sarama消费者组消费者 type Consumer struct { ready chan bool }/Setup在新会话开始时运行，在ConsumeClaim之前 func(consumer*Consumer)Setup(sarama.ConsumerGroupSession)error {/将消费者标记为已准备好 close...
API概览
UpdateGatewayAuthConsumerResourceStatus 更新网关鉴权消费者的授权状态 更新网关鉴权消费者的授权状态。DeleteGatewayAuthConsumer 删除网关鉴权消费者 删除网关鉴权消费者。GetGatewayAuthConsumerDetail 获取网关鉴权消费者细节 获取...
消息轨迹
消息轨迹是指一条消息从生产者发送到 云消息队列 RabbitMQ 版 服务端，再到消费者消费，整个过程中的各个相关节点的时间、状态等数据汇聚而成的完整链路信息。如果消息收发不符合预期，您可以通过查询消息轨迹，快速分析和定位问题，及时...
容灾大屏
服务层 消费者调用总QPM 消费者用户请求的次数/分钟，即QPM=（并发数/平均响应时间）×60。同城多活容灾 说明 仅限同城多活SpringCloud服务、同城多活Dubbo服务和同城多活EDAS服务。异地双活容灾 说明 仅限异地应用多活SpringCloud服务和...
ListGatewayAuthConsumer-获取网关鉴权消费者列表
获取网关鉴权消费者列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
延时消息
如果您希望消息被投递后延迟一段时间被消费者消费，您可以使用 云消息队列 RabbitMQ 版 的延时消息。云消息队列 RabbitMQ 版 原生支持延时消息，使用方式比开源RabbitMQ更简单。什么是延时消息 延时消息是指在指定时间段之后才被消费者消费...
通过消费组消费数据
通过消费组（ConsumerGroup）消费数据有显著优点，您无需关注日志服务的实现细节及消费者之间的负载均衡、故障转移（Failover）等，只需要专注于业务逻辑。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已...
死信队列
当消费失败的原因排查并解决后，您可以重发这些死信消息，让消费者重新消费；若您暂时无法处理这些死信消息，为避免到期后死信消息被删除，您也可以先将死信消息导出进行保存。背景信息 当一条消息初次消费失败，云消息队列 RocketMQ 版 会...
什么是新零售智能助理
产品原理 新零售智能助理基于自然语言处理（NLP）技术，根据消费者输入的问题（文本、表情或图片），结合上下文信息、业务数据（知识图谱、商家、商品、订单、消费者行为等），通过机器学习算法精准识别消费者意图，返回知识库精准答案或...
限流降级
此时服务消费者去调用服务提供者时，所有的访问请求都会通过限流模块进行计算，若服务消费者调用量在一定时间内超过了预设阈值，则会触发限流策略，进行限流处理。降级 在EDAS中，降级通常用于对下游出现超时的非核心服务提供者进行低优先...
仪表盘
消费者本地等待耗时 统计Group消费消息时，消息到达消费者客户端到开始被消费的耗时。单位：毫秒。消费成功率 统计消息消费的成功率。消费者客户端访问协议占比 统计所有被消费的消息各协议类型消息量的占比。实例Top 20概览 指标项 说明 ...
服务
订阅服务 服务消费者使用消费凭证订阅服务API，经服务发布者审批通过后订阅生效，之后服务消费者也可以选择退订以及重新订阅该API，重新订阅时仍需要服务发布者审批。调用服务 订阅生效后，服务消费方应用以订阅所用的消费凭证来访问服务...
定时和延时消息
这条消息将会在30分钟以后投递给消费者，消费者收到此消息后需要判断对应的订单是否已完成支付。如支付未完成，则关闭订单。如已完成支付则忽略。通过消息触发一些定时任务，例如在某一固定时间点向用户发送提醒消息。使用方式 定时消息和...
Group管理
使用 云消息队列 RocketMQ 版 进行消息收发，您需要创建Group ID用于标识同一类生产者实例或者同一类消费者实例。本文介绍如何在 云消息队列 RocketMQ 版 控制台上创建、删除和查询Group。使用限制 单实例下最多创建1000个Group，建议您...
资源报表
消费者：查看某Topic在一个时间段内投递给消费者的消息的总量或TPS。输入查询的筛选的条件，包括 父级Topic、子级Topic、QoS类型、消息类型 和 时间范围。单击 查询。在 消息生产总量、消息消费总量、消息生产TPS 和 消息消费TPS 的图表...
Control Center设置告警
要监控此指标，您必须为消费者组中的客户端配置Confluent监控拦截器。单位：毫秒。Consumer lag 消费者应用程序在从生产者应用程序消费时落后多久。消费者滞后是结束偏移量和当前偏移量之间的差值。Consumer lead 消费者应用程序在从生产者...
应用节点
服务层 微服务Consumer用户调用次数/每分钟 消费者用户请求的次数/分钟，即（并发数/平均响应时间）×60。微服务Consumer用户调用平均RT（ms）/每分钟 消费者用户请求的平均响应时间/分钟。微服务Provider用户调用次数/每分钟 提供者用户...
update_consumer_group
若服务端在超时时间段内没有收到消费者发送的心跳消息，则服务端删除该消费者占用相关资源。in_order Boolean 否 true 在单个Shard中是否按顺序消费。true：表示在单个Shard中按顺序消费。Shard分裂后，先消费原Shard数据，然后并列消费两...
消息过滤
本文描述 SOFAStack 消息队列的消费者如何根据 Tag 在消息队列服务端完成消息过滤，以确保消费者最终只消费到其关注的消息类型。Tag，即消息标签，用于对某个 Topic 下的消息进行分类。消息队列的生产者在发送消息时，已经指定消息的 Tag，...
通过消费组消费数据
通过消费组（ConsumerGroup）消费数据有显著优点，您无需关注日志服务的实现细节及消费者之间的负载均衡、故障转移（Failover）等，只需要专注于业务逻辑。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户及授权。已...
create_consumer_group
若服务端在超时时间段内没有收到消费者发送的心跳消息，则服务端删除该消费者占用相关资源。in_order Boolean 否 true 在单个Shard中是否按顺序消费。true：表示在单个Shard中按顺序消费。Shard分裂后，先消费原Shard数据，然后并列消费两...
消息收发常见问题
如果Topic被消费者订阅过，消费者离线后，若设置了离线消息，这些离线消息会在消费者再次上线后被消费到。为什么客户端消费时部分Topic的消息接收不到？云消息队列 MQTT 版 对单个客户端订阅的Topic数量和订阅关系的数量均有限制，若超过...
数据转发到消息队列RocketMQ
云消息队列RocketMQ版：RocketMQ SDK注册的消费者获取消息时会触发服务端的动态过滤计算，RocketMQ根据该消费者上报的过滤条件的表达式进行匹配，并将符合条件的消息投递给该消费者，实现消费者所属业务服务器接收设备上报至物联网平台的...
ConsumerGroupUpdateCheckPoint-更新消费进度
更新消费进度 接口说明 当不指定消费者时，必须指定 forceSuccess 为 true 才能更新 checkpoint。Host 由 Project 名称和日志服务 Endpoint 构成，您需要在 Host 中指定 Project。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您...
查询消息轨迹
消息轨迹数据 云消息队列 RocketMQ 版 系统中，一条消息的完整链路包含生产者、服务端、消费者三个角色，每个角色处理消息的过程中都会在轨迹链路中增加相关的信息，将这些信息汇聚即可获取任意消息当前的状态。使用说明 所有类型的消息...
仪表盘
uid instance_id topic message_type Counter rocketmq_throughput_out_total byte 服务端投递给消费者的消息吞吐量，其中消息数量包含消费者处理中、处理成功和处理失败的消息。uid instance_id topic consumer_group fifo_enable Counter...
名词解释
本文主要对 云消息队列 RabbitMQ 版 涉及的专有名词及术语进行定义和解析，方便您更好地理解相关概念并使用 云消息队列 RabbitMQ 版。A Alternate Exchange 备份Exchange，简称AE，用于接收配置了备份Exchange的Exchange路由失败的消息。...
通过HTTPS投递日志到SIEM
可以在不同机器上启动消费者，这样在一台机器停止或者损坏的情况下，其他机器上的消费者可以自动接管并从断点进行消费。为了备用，也可以通过不同机器启动大于Shard数量的消费者。HTTPS 如果服务入口（Endpoint）配置为 https:// 前缀，...
通过Syslog投递日志到SIEM
高可用 消费组将检测点（check-point）保存在服务器端，当一个消费者停止，另外一个消费者将自动接管并从断点继续消费。可以在不同机器上启动消费者，这样在一台机器停止或者损坏的情况下，其他机器上的消费者可以自动接管并从断点进行消费...
使用Confluent-Kafka-C#实现Kafka消费
通过配置消费组ID，将消费组内的消费者分组，可以实现消费者组内的负载均衡，实现数据的处理和分发。kafka-test AutoOffsetReset 消费起始点位，常用的值为AutoOffsetReset.Latest和AutoOffsetReset.Earliest。AutoOffsetReset.Earliest：...
OnsConsumerAccumulate-查询消息消费堆积情况
10000 LastTimestamp long 该 Group ID 下消费者实例群组中最近消费的某条消息的生产时间。单位：毫秒级的 Unix 时间戳。1566231000000 TotalDiff long 该 Group ID 订阅的所有 Topic 的消费堆积数量。100 Online boolean 该 Group ID 下...
- 产品推荐
- 这些文档可能帮助您