新建数据模版
当消息中间件作为数据源时，需要通过创建数据模版来解释消息中间件中消息的结构。本文介绍如何新建数据模版。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产...
新建数据模版
当消息中间件作为数据源时，需要通过创建数据模版来解释消息中间件中消息的结构。本文介绍如何新建数据模版。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产...
中间件产品总览
Spring Boot 自研的开发框架 集成 SOFA 中间件，且中间件可插拔 服务网格 将传统微服务和 Service Mesh 进行融合 对接经典应用服务和容器应用服务 提供丰富的服务治理功能 消息队列 基于 Apache RocketMQ 构建的分布式消息中间件 ...
NLB助力EMQ构建高性能企业级MQTT物联网接入平台
客户简介 EMQ是一家全球领先的物联网（IoT）消息中间件提供商和技术解决方案提供商。公司总部位于中国上海，专注于为企业和开发者提供高性能、可靠和安全的物联网消息传递平台。业务挑战 作为一家创新驱动的公司，EMQ致力于解决物联网领域...
在线教育视频直播
部署架构图 选用的产品 云消息队列 RocketMQ 版 云消息队列 RocketMQ 版 是由阿里巴巴自研并捐赠给Apache基金会，并与开源社区共建的消息中间件，该产品服务于阿里巴巴集团已超过13年，经过交易核心链路反复打磨与历年双十一高并发场景的...
产品概述
平台组件：是指产品对平台提供的服务目录的依赖项，例如：一个办公软件，依赖MQ消息中间件，如果用户希望由ADP平台提供该中间件，则他应该在产品依赖中，声明对该MQ组件的依赖。用户组件：是指用户自身代码构建的业务应用，打包上传至ADP...
版本说明
0.6（2020-01-10）发布 SOFAStack 消息队列，是基于 Apache RocketMQ 构建的分布式消息中间件，并与金融分布式架构 SOFAStack 深度集成。支持多种消息类型：普通消息、定时消息、分区顺序消息、事务消息。详见 消息类型。提供专业、可靠、...
在线教育的视频直播
利用MQTT消息中间件实现手机端接收和发送消息，同时在服务端实现消息转发时对消息进行内容审核和消息存储。方案架构 通过视频直播+消息服务+表格存储+内容安全，快速实现在线教育的视频直播。解决问题 解决视频直播中手机端的推拉流问题。...
什么是云消息队列 MQTT 版
云消息队列 MQTT 版 是阿里云推出的一款面向移动互联网以及物联网领域的轻量级消息中间件。如果说传统的消息队列中间件一般应用于微服务之间，那么适用于物联网的 云消息队列 MQTT 版 则实现了端与云之间的消息传递和真正意义上的万物互联...
Notification
名称 类型 描述 示例值 object 消息通知对象，支持多种消息中间件，消息格式详情请见 异步通知消息格式，请选择其中一种方式接收消息，使用方式如下所示：在与智能媒体管理相同的地域下开通并接入 事件总线 EventBridge 服务，及时获取任务...
领域模型概述
消息传输模型介绍 主流的消息中间件的传输模型主要为点对点模型和发布订阅模型。点对点模型 点对点模型也叫队列模型，具有如下特点：消费匿名：消息上下游沟通的唯一的身份就是队列，下游消费者从队列获取消息无法声明独立身份。一对一通信...
消息 Mesh
消息 Mesh 经过蚂蚁消息中间件团队大半年的打磨和沉淀，已经迈出了坚实的一大步：在开源社区迟迟未在消息 Mesh 上取得实质性进展时，蚂蚁团队已经为蚂蚁内部主流消息中间件打通了数据平面。同时，依赖消息的精细化流量调度，预期可以发掘出...
工程架构
推荐服务把获取到的N个冷启动物品与常规推荐结果列表混合后，返回给APP展现 APP实时把展现、点击等行为日志上传到日志服务器 Flink任务从消息中间件（kafka、datahub等）读取日志服务器上收集到的实时行为日志 Flink任务解析日志，并根据...
什么是自定义连接器
消息中间件产品Kafka被广泛应用于数据的ETL过程，用于对离线或在线数据进行分发、消费等。但数据的源端与目标端缺乏一个无缝的通道对数据进行快速传输。自定义连接器当前支持Apache Kafka集群，使用Kafka Connect的开源框架，可以在Kafka...
应用场景
通用分布式事务管理 提供通用的分布式事务管理能力，支持微服务框架（Spring Cloud、Dubbo 和 HSF）、数据库（DRDS、RDS、MySQL、Oracle等）、消息中间件（MQ）的组合使用，灵活方便。多业务场景：通过混合事务，GTS可以应用到金融、电信、...
什么是消息演练
消息演练概述 目前市面上有RocketMQ、Kafka、RabbitMQ等流行的消息中间件服务，消息演练功能将这些常见的中间件进行了统一抽离，为消息服务安排分配了精选后的演练最佳实践。您无需分析每种消息服务需要什么演练场景，仅需选择演练方案即可...
2022年
2022年01月 RocketMQ压测和Redis压测功能发布，支持对消息中间件、缓存快速发起压测。JDBC压测功能升级，支持对云产品PolarDB快速发起压测。PTS支持单个API调试，帮助您验证API配置正确性。JMeter压测支持RPS模式，准确衡量服务端吞吐量。...
什么是云消息队列 RocketMQ 版？
削峰填谷提高稳定性 传统消息中间件仅满足业务的异步化需求，而 云消息队列 RocketMQ 版 诞生于在线互联网和交易业务场景，除了满足异步能力，还将削峰填谷作为消息的基础能力。通过削峰填谷不仅能够提高系统稳定性，还能大幅降低业务成本...
典型使用场景
Kafka/Flink等消息中间件/流数据系统将数据实时Sink到 AnalyticDB PostgreSQL版。AnalyticDB PostgreSQL版 通过攒批覆盖写特性和近线性的水平扩展能力，集群整体实时写入性能可达百万级TPS。批量加载 批量加载的具体操作包括“copy from ...
组件中心
消息队列 在蚂蚁集团关键链路中历经十年实战打磨，是一款具备高可靠、高吞吐量、高可用、事务强一致性、可稳定支撑亿级数据洪峰的金融级消息中间件。数据库访问代理 解决海量请求下数据访问的瓶颈及数据库的容灾问题，提供水平拆分、平滑扩...
CreateBatch-创建批处理任务
Notification object 否 消息通知对象，支持多种消息中间件，消息格式详情请见异步通知消息格式，请选择其中一种方式接收消息，使用方式如下所示：在与智能媒体管理相同的地域下开通并接入事件总线 EventBridge 服务，及时获取任务信息通知...
功能与优势
上下游数据连接（Connector）涵盖阿里云产品和开源社区30+主流引擎，涉及数据库、消息中间件、数据仓库、湖格式、文件系统等多种上下游存储。支持特有数据模拟Connector贴近业务含义的测试数据。相对开源版本，Connector也有诸多易用性和...
CreateTrigger-创建触发器
Notification object 否 消息通知对象，支持多种消息中间件，消息格式详情请见异步通知消息格式，请选择其中一种方式接收消息，使用方式如下所示：在与智能媒体管理相同的地域下开通并接入事件总线 EventBridge 服务，及时获取任务信息通知...
概述
目前已打通日志、数据库、消息中间件等多种场景的数据接入。数据清洗/数据流出 消息集成提供了强大的、界面化的数据ETL（Extract-Transform-Load）配置能力，方便快捷地对完成上报、进入到消息队列的数据进行清洗、格式化、数据格式转换等...
概述
目前已打通日志、数据库、消息中间件等多种场景的数据接入。数据清洗/数据流出 消息集成提供了强大的、界面化的数据ETL（Extract-Transform-Load）配置能力，方便快捷地对完成上报、进入到消息队列的数据进行清洗、格式化、数据格式转换等...
概述
目前已打通日志、数据库、消息中间件等多种场景的数据接入。数据清洗/数据流出 消息集成提供了强大的、界面化的数据ETL（Extract-Transform-Load）配置能力，方便快捷地对完成上报、进入到消息队列的数据进行清洗、格式化、数据格式转换等...
消息队列
如果您希望区块链上的各种事件能自动发布到消息中间件，您可以将区块链事件和MQ做映射配置。当区块链服务监听到链上事件时，会自动生成MQ消息并发布到MQ的主题上，您可以订阅MQ中的这些事件消息做进一步处理。集成消息队列 RocketMQ 说明 ...
概述
消息队列 SOFAStack 消息队列是基于 Apache RocketMQ 构建的分布式消息中间件，并与金融分布式架构 SOFAStack 深度集成，为分布式应用系统提供异步解耦和削峰填谷的能力，支持事务消息、顺序消息、定时消息等多种消息类型，并具备高可靠、...
SOFAMQ 常见问题
作为一款分布式消息中间件，在网络抖动、应用处理超时等异常情况下，可以保证消息不丢失，但是无法保证消息不重复。控制台显示的消息堆积量是否包含了 Topic 下所有 Tag 的消息？是。消息生产者将所有类型的 Tag 都发送至同一个 Topic 中，...
概述
SOFAStack 消息队列（SOFAStack MQ，简称 SOFAMQ）是基于 Apache RocketMQ 构建的分布式消息中间件，并与金融分布式架构 SOFAStack 深度集成，为分布式应用系统提供异步解耦和削峰填谷的能力，支持事务消息、顺序消息、定时消息等多种消息...
产品优势
消息队列 基于 Apache RocketMQ 构建的金融级分布式消息中间件，为分布式应用系统提供异步解耦和削峰填谷的能力，支持多种消息类型与消费模式，并具备高可靠、高吞吐、低延时等金融级特性。任务调度 提供分布式任务调度框架，实现任务的...
消费重试
云消息队列 RocketMQ 版 作为金融级的可靠业务消息中间件，在消息投递处理机制的设计上天然支持可靠传输策略，通过完整的确认和重试机制保证每条消息都按照业务的预期被处理。了解 云消息队列 RocketMQ 版 的消息确认机制以及消费重试策略...
消息（Message）
系统默认的消息最大限制如下：普通和顺序消息：4 MB 事务和定时或延时消息：64 KB 使用建议 单条消息不建议传输超大负载 作为一款消息中间件产品，云消息队列 RocketMQ 版 一般传输的是都是业务事件数据。单个原子消息事件的数据大小需要...
实时消费概述
实时消费是对全量数据的顺序读写，类似于消息中间件Kafka的功能。实时消费支持传入日志服务数据处理SPL语句，服务端返回处理结果，详情请参见 SPL概述。说明 目前，实时消费中使用 数据处理SPL 功能处于公测阶段，公测期间免费。说明 实时...
提供服务
Server：通用服务端请求类型 消息中间件请求类型：kafka：Kafka消息队列的消费方 Consumer：通用消息消费方类型 定时任务请求类型：SchedulerX：通过SchedulerX执行定时任务 Spring_Scheduled：通过Spring_Scheduled执行定时任务 JDK_Timer...
依赖服务
Thrift RPC协议请求的客户端 sofa_client：Sofa RPC协议请求的客户端 client：通用客户端端请求类型 消息中间件请求类型：kafka_client：Kafka消息队列的生产方 producer：通用消息生产方类型 数据库请求类型：MySQL Oracle PostgreSQL ...
提供服务
Server：通用服务端请求类型 消息中间件请求类型：kafka：Kafka消息队列的消费方 Consumer：通用消息消费方类型 定时任务请求类型：SchedulerX：通过SchedulerX执行定时任务 Spring_Scheduled：通过Spring_Scheduled执行定时任务 JDK_Timer...
依赖服务
Thrift RPC协议请求的客户端 sofa_client：Sofa RPC协议请求的客户端 client：通用客户端端请求类型 消息中间件请求类型：kafka_client：Kafka消息队列的生产方 producer：通用消息生产方类型 数据库请求类型：MySQL Oracle PostgreSQL ...
采集公网数据
方案1：前端服务器+Kafka 由于Kafka不提供RESTful协议，更多是在集群内使用，因此一般需要Nginx服务器做公网代理，再使用Logstash或API通过Nginx将公网数据写入到Kafka等消息中间件。需要的设施如下：设施 数目 配置 作用 价格 ECS服务器 2...
- 产品推荐
- 这些文档可能帮助您