函数计算
利用函数实现业务消息的处理，通过函数计算平台开发、运行业务消息处理逻辑，订单处理，任务执行。利用函数对消息进行快速加工处理，ETL清洗。利用函数计算灵活扩展将消息转储到指定VPC中的其它下游系统。利用函数链接消息系统和其他阿里云...
函数计算
利用函数实现业务消息的处理，通过函数计算平台开发、运行业务消息处理逻辑，订单处理，任务执行。利用函数对消息进行快速加工处理，ETL清洗。利用函数计算灵活扩展将消息转储到指定VPC中的其它下游系统。利用函数链接消息系统和其他阿里云...
创建FC Sink Connector
利用函数实现业务消息的处理，通过函数计算平台开发、运行业务消息处理逻辑，订单处理，任务执行。利用函数对消息进行快速加工处理，ETL清洗。利用函数计算灵活扩展将消息转储到指定VPC中的其他下游系统。利用函数连接消息系统和其他阿里云...
产品优势
核心消息处理系统采用无状态架构，无单点依赖，消息发送失败可自动重试。架构上难以支持万级的消息规模，消息上下行并发会给系统带来巨大的冲击。无法做到削峰填谷，影响高峰时正常业务运行。安全性 等保2.0版（三级等保），提供多重防护，...
ECS主机状态变化事件的自动化运维
操作步骤 云监控将ECS主机所有的状态变化事件投递到消息服务MNS，消息服务MNS获取消息并进行消息处理。实践一：对所有ECS主机的创建和释放事件进行记录。目前ECS控制台无法查询已经释放的实例。如果您有查询需求，可以通过ECS主机状态变化...
ECS主机状态变化事件的自动化运维
操作步骤 云监控将ECS主机所有的状态变化事件投递到消息服务MNS，消息服务MNS获取消息并进行消息处理。实践一：对所有ECS主机的创建和释放事件进行记录。目前ECS控制台无法查询已经释放的实例。如果您有查询需求，可以通过ECS主机状态变化...
ECS系统事件概述
说明 本地盘实例事件 仅为展示发生计划内运维事件或非预期运维事件的大数据型或本地SSD型（不包含i4p、d3c）实例，方便您处理本地盘实例事件，并非具体的事件类型。关于本地盘事件说明，请参见 本地盘实例运维场景和系统事件。是 突发性能...
消费者分类
如何实现同步、异步消息处理：对于不同的集成场景，消费者获取消息后可能会将消息异步分发到业务逻辑中处理，此时，消息异步化处理如何实现？如何实现消息可靠处理：消费者处理消息时如何返回响应结果？如何在消息异常情况进行重试，保证...
云监控
实时数仓Hologres（从实例）、实时数仓Hologres（湖仓加速）、实时数仓Hologres（通用型）、实时数仓Hologres（计算组））展示对应实例的监控指标，不同的实例类型对应专属监控指标，以便更好的监控业务异常并处理，建议将 实时数仓...
Tair开发运维规范
云原生内存数据库Tair 拥有极强的性能，阿里云结合多年的运维经验，从业务部署、Key的设计、SDK、命令、运维管理等维度展示 Tair 开发运维规范，为您设计高效的业务系统提供参考，帮助您充分发挥Tair的能力。了解 Tair 性能边界 图 1.Tair ...
使用前必读
旧版公共实例已不支持资源规格扩容，如果资源规格不足，物联网平台提供实例迁移功能，可帮助您将旧版公共实例下产品、设备和消息转发数据迁移到 同账号同地域 下的 标准型 企业版实例中使用，降低迁移影响和系统改造成本。本文介绍实例迁移...
云数据库Redis开发运维规范
云数据库Redis拥有极强的性能，阿里云结合多年的运维经验，从业务部署、Key的设计、SDK、命令、运维管理等维度展示云数据库Redis开发运维规范，为您设计高效的业务系统提供参考，帮助您充分发挥Redis的能力。了解Redis性能边界 图 1.Redis...
消息处理时长自适应
本文介绍如何使消息处理时长自适应。背景信息 消息服务MNS 的规范中，每条消息都有个默认的VisibilityTimeout，Worker在接收到消息后，Timeout就开始计时了。如果Worker在Timeout时间内没能处理完消息，那么消息就有可能被其他Worker接收到...
消息幂等
负载均衡时消息重复（包括但不限于网络抖动、服务端重启以及Consumer应用重启）当 云消息队列 RabbitMQ 版 的服务端或客户端重启、扩容或缩容时，会触发Rebalance，此时Consumer可能会收到重复消息。处理方法 以Message ID为幂等键对消息...
消息堆积和延迟问题
背景信息 消息处理流程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息。消息出现堆积进而会造成消息消费延迟。以下场景需要重点关注消息堆积和延迟的问题：业务系统上下游能力不...
消息幂等
为了防止消息重复消费导致业务处理异常，SOFAStack 消息队列的消费者在接收到消息后，有必要根据业务上的唯一 Key 对消息做幂等处理。本文介绍消息幂等的概念、适用场景以及处理方法。什么是消息幂等 当出现消费者对某条消息重复消费的情况...
消费幂等
负载均衡时消息重复（包括但不限于网络抖动、Broker重启以及消费者应用重启）当 消息队列RocketMQ版 的Broker或客户端重启、扩容或缩容时，会触发Rebalance，此时消费者可能会收到少量重复消息。处理方法 因为不同的Message ID对应的消息...
共享订阅
使用场景 服务端负载均衡 当大量设备接入物联网平台并向物联网平台发送消息时，需要有多个业务服务端来处理这些消息，物联网平台的共享订阅特性可以帮助客户将消息分发到多个业务服务端，实现负载均衡。在下图中，业务服务端A、B使用相同的...
集群消费和广播消费
适用场景 消息负载均衡：当业务消息量很大时，可以使用集群消费模式将消息分配给多个消费者进行处理，实现负载均衡。每个消费者只处理其中一部分消息，从而提高消息的处理效率和吞吐量。分布式数据处理：在大规模数据处理的场景中，使用...
仪表盘
业务背景 云消息队列 RocketMQ 版 的消息收发流程中，队列的堆积情况、缓冲情况以及消息处理各关节的耗时等，会直接反映当前业务处理的性能和服务端运行的状态。因此，云消息队列 RocketMQ 版 的重点指标主要涉及以下业务场景。消息堆积...
死信消息
应用场景 典型死信消息处理场景 消息重试失败后，您可以选择将死信消息存储到指定的死信Topic中，通过另外创建一个ConsumerGroup消费这些死信消息来处理异常链路或分析死信消息。典型错误使用死信消息场景 处理死信消息时，如果将死信消息...
配置消息灰度
背景信息 虽然绝大多数业务场景下对于消息的灰度的要求并不像RPC的要求得这么严格，但是在以下两个场景中，还是会对消息的全链路有一定的诉求。当消息的消费逻辑进行了修改时，这时候希望通过小流量的方式来验证新的消息消费逻辑的正确性，...
名词解释
消息变成死信消息的可能原因如下：requeue 参数被设置为 false，消费者使用 basic.reject 或 basic.nack 否定应答（NACK）消息。消息重试次数超过16次，消息重试失败。具体信息，请参见 消息重试。消息过期，即消息在Queue中存在的时间超过...
故障发现
7*24监控值班 对于有条件的企业，可以设立全球...抑制周期性误报，当跌落型异常在同一时刻持续多天时抑制该报警，对应每天大促或消息型任务每天定时跌落的业务场景。建议重点覆盖成功（总）量、成功（失败）率、失败量三类场景的业务指标。
使用异常
public class MessageListenerImpl implements MessageListener {@Override public Action consume(Message message,ConsumeContext context){/消息处理逻辑抛出异常，消息将重试 doConsumeMessage(message);如果在 doConsumeMessage()方法...
迁移上云概述
消息收发无大量重复 保证迁移过程中不会出现大量的消息重复，业务方无需为迁移方案单独处理系统性重复消息。消息收发无明显延迟 保证迁移过程中消息收发端到端延迟不会有明显变化，不会因迁移导致大量消息接收不到。方案设计原理 为满足...
事务消息
事务消息处理流程 事务消息交互流程如下图所示。生产者将消息发送至 云消息队列 RocketMQ 版 服务端。云消息队列 RocketMQ 版 服务端将消息持久化成功之后，向生产者返回Ack确认消息已经发送成功，此时消息被标记为“暂不能投递”，这种...
Exactly-Once投递语义
例如，当您的消费端完成一条消息的消费处理后出现异常宕机，而消费端重启后由于消费的位点没有同步到消息系统的服务端，该消息有可能被重复消费。业界对于Exactly-Once投递语义存在很大的争议，很多人会拿出“FLP不可能理论”或者其他一致...
负载均衡SLB产品家族介绍
NLB 面向海量终端连接、高并发消息服务、音视频传输等业务场景针对性地推出了TCPSSL卸载、新建连接限速、全端口监听等高级特性，在物联网MQTTS加密卸载等场景为用户提供多种辅助手段，是适合IoT业务的新一代负载均衡。更多信息，请参见 ...
订阅者最佳实践
消费失败 云消息队列 Kafka 版 是按分区逐条消息顺序向前推进消费的，如果消费端拿到某条消息后执行消费逻辑失败，例如应用服务器出现了脏数据，导致某条消息处理失败，等待人工干预，那么有以下两种处理方式：失败后一直尝试再次执行消费...
事务消息
消息回查：由于网络闪断、生产者应用重启等原因，导致某条事务消息的二次确认丢失，云消息队列 RocketMQ 版 服务端通过扫描发现某条消息长期处于“半事务消息”时，需要主动向消息生产者询问该消息的最终状态（Commit或是Rollback），该...
配额与限制
消费不可见时间指的是消息处理+失败后重试间隔的总时长，建议设置时取值比实际需要耗费的时间稍微长一些。消费者长轮询超时时间 取值范围：最小值5秒，最大值20秒。支持用户在取值范围内自定义调整。设置长轮询超时时间后，如果当前服务端...
Tair助力厦门真有趣游戏业务从容应对流量洪峰
内核优势助力业务高速访问：云数据库 Redis 版 实例采用与原生Redis相同的单线程模型，而 Tair 内存型采用多线程模型，由IO线程、Worker线程和辅助线程共同完成数据处理，单节点性能为 云数据库 Redis 版 实例的3倍左右。无感扩缩容实现...
ALB Ingress Controller
组件介绍 ALB Ingress Controller基于阿里云应用型负载均衡ALB（Application Load Balancer），提供更为强大的Ingress流量管理方式，兼容Nginx Ingress，具备处理复杂业务路由和证书自动发现的能力，支持HTTP、HTTPS和QUIC协议，完全满足在...
消息过滤
场景示例 以下图电商交易场景为例，从客户下单到收到商品这一过程会生产一系列消息，按照类型将消息分为订单消息和物流消息，其中给物流消息定义地域属性，按照地域分为杭州和上海：订单消息 物流消息 物流消息且地域为杭州 物流消息且地域...
数据迁移
背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大时，可以将数据迁移至 MaxCompute。MaxCompute为您提供了完善的数据迁移方案以及多种经典的分布式计算模型，能够快速地解决海量数据存储和...
配置消息监控告警实现风险预警
未配置风险：消息堆积是消息队列RocketMQ的典型场景和能力，但是对于部分需要实时处理消息的场景，需要及时关注并控制未处理的消息量，避免因为消费堆积造成业务受损。配置时机：建议业务上线且流量平稳后配置告警。建议阈值：业务侧上线后...
消息发送重试和流控机制
消息重复问题：因远程调用的不确定性，当 云消息队列 RocketMQ 版 客户端因请求超时触发消息发送重试流程，此时客户端无法感知服务端的处理结果，客户端进行的消息发送重试可能会产生消息重复问题，业务逻辑需要自行处理消息重复问题。消息...
实时同步常见问题
停止实时同步任务并再次修改DDL消息处理策略，由 忽略 还原为 出错，并再次重启实时同步任务。写入目标数据源时，对源端DDL及DML操作的注意事项 当源端新增列，并在目标端正常执行后，会有以下限制：当新增DEFAULT VALUE列后，目标表该新列...
设备数据存储和计算实践
事务型在线业务场景 应⽤系统需要使⽤⼀定周期（例如7天）的数据，用于事务型应⽤场景，并且需要分钟级处理要求。经营统计分析场景 数据统计分析需要保持1年至2年的数据周期，并且需要按⼩时或按天得出计算结果。基于⼈⼯智能的分析场景 ...
- 产品推荐
- 这些文档可能帮助您