跨云产品的数据流出
您可通过配置 云消息队列 MQTT 版 的数据流出规则来自定义数据从 云消息队列 MQTT 版 流出至其他阿里云产品。本文介绍数据流出的原理、应用场景、使用限制以及 云消息队列 MQTT 版 与其他阿里云产品的资源映射关系。基本原理 如需将 云消息...
跨云产品数据流入
您可通过配置 云消息队列 MQTT 版 的数据流入规则来自定义数据从其他阿里云产品流入到 云消息队列 MQTT 版。本文介绍跨产品数据流入的原理、应用场景、使用限制以及 云消息队列 MQTT 版 与其他阿里云产品的资源映射关系。基本原理 如需将...
数据流入规则管理
如需将其他阿里云产品的数据导入 云消息队列 MQTT 版，您需创建数据流入规则。该规则用于从您配置的阿里云产品中读取数据并将数据通过MQTT协议推送到MQTT客户端，从而实现直接调用阿里云产品的API发送数据到MQTT客户端。流程说明 规则限制 ...
MQTT与RocketMQ的消息结构映射
消息结构映射 云消息队列 MQTT 版 和 云消息队列 RocketMQ 版 都是基于发布/订阅（Pub/Sub）模型的消息系统，两者概念上存在很多相似之处，下图列举了关键概念的区别和映射关系。如上图所示，在 云消息队列 MQTT 版 中Topic是多级结构，而 ...
数据流出规则管理
如需将 云消息队列 MQTT 版 的数据导出至其他阿里云产品，您需创建数据流出规则。该规则用于将MQTT客户端发送的消息导出到您配置的其他阿里云产品中，从而实现直接调用云产品的API读取MQTT客户端发送的消息。流程说明 规则限制 限制项 限制...
使用云数据库Redis版助力在线课堂应用
在线教育已经成为当下的热点行业之一，云数据库Redis版丰富的数据结构可以帮助您快速实现在线课堂应用的相关功能。背景信息 随着互联网直播的流行，直播已经走向了各行各业，老师使用直播应用进行线上教学也屡见不鲜，尤其是在2020年的新冠...
支持的数据库
数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步支持的数据库、版本和同步类型以及配置文档，请参见...
同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...
V2.x.x到V3.x.x的升级公告
V3.x.x版本除了独立存储之外，还对V2.x.x版本实现的 云消息队列 MQTT 版 和 云消息队列 RocketMQ 版 互通的功能进行抽象，使得 云消息队列 MQTT 版 的数据可以根据您配置相应规则转发到其他阿里云产品，也可以配置规则从其他阿里云产品导入...
访问队列服务
查询异步推理结果 当队列服务有与之搭配的推理服务时，推理服务会自动从输入队列中读取请求数据，进行推理计算后将推理结果写出到输出队列（sink）中。使用以下代码根据Request ID（0337f7a1-a6f6-49a6-8ad7-ff2fd12b*）从输出队列中查询...
迁移方案概览
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。说明 数据迁移在某些场景...
上下线通知规则管理
说明 云消息队列 MQTT 版 和 云消息队列 RocketMQ 版 的消息结构映射信息，请参见 MQTT和RocketMQ的消息结构映射。编辑上下线通知规则 在规则列表，找到您想编辑的规则，并在其 操作 列选择 更多>编辑。在 编辑规则 页面，您可以更新除规则...
资源报表
云消息队列 MQTT 版 最多支持查询3天之内的消息生产和消费数据。操作步骤 登录 云消息队列 MQTT 版 控制台，并在左侧导航栏单击 实例列表。在顶部菜单栏选择目标地域，然后在实例列表中单击实例名称进入 实例详情 页面。在控制台左侧导航栏...
MQTT客户端上下线事件数据流出
映射关系 MQTT资源 其他阿里云产品 其他阿里云产品资源 数据包定义 MQTT Group ID 云消息队列 RocketMQ 版 云消息队列 RocketMQ 版 的Topic MQTT和RocketMQ的消息结构映射 操作流程 如上文所述，如果使用异步上下线通知的方式，您需创建...
排他队列
如果您想创建一个只有自己可见的队列，不允许其他用户访问，您可以使用 云消息队列 RabbitMQ 版 的排他性队列特性，将指定的队列声明为排他性。什么是排他队列 排他性队列的特点如下：排他队列只对首次声明它的连接（Connection）可见，...
数据传输服务DTS
本文介绍如何在 云消息队列 RabbitMQ 版 控制台创建消息流入任务，将数据传输服务DTS中的数据快速导入至 云消息队列 RabbitMQ 版。前提条件 您已购买 云消息队列 RabbitMQ 版 实例，且实例处于 服务中 状态。具体步骤，请参见 创建资源。在...
OnsTopicStatus-查询Topic状态
427EE49D-D762-41FB-8F3D-9BAC96C3*Data object 查询到的 Topic 的信息存储数据结构。Perm integer 所有关系编号。取值说明如下：2：可以发布 4：可以订阅 6：可以发布和订阅 6 LastTimeStamp long 当前 Topic 内最新一条消息的就绪时间，...
从自建MySQL同步至云消息队列 Kafka 版
通过数据传输服务DTS（Data Transmission Service），您可以将自建MySQL同步至 云消息队列 Kafka 版，扩展消息处理能力。前提条件 您已完成以下操作：自建MySQL数据库且数据库版本为5.1、5.5、5.6、5.7或8.0版本。购买并部署 云消息队列 ...
基于Flink的资讯场景实时数仓
选用的产品 云消息队列 Kafka 版 云消息队列 Kafka 版 是阿里云基于Apache Kafka构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一，...
领域模型概述
本文为您介绍 云消息队列 RocketMQ 版 的领域模型。产品定位 云消息队列 RocketMQ 版 是一款典型的分布式架构下的中间件产品，使用异步通信方式和发布订阅的消息传输模型。通信方式和传输模型的具体说明，请参见下文 通信方式介绍 和 消息...
自建Oracle迁移至阿里云消息队列Kafka版
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Oracle迁移至阿里云消息队列Kafka。前提条件 已创建源数据库自建Oracle和目标实例 阿里云消息队列Kafka版。说明 源数据库和目标实例支持的版本，请参见 迁移方案概览...
MQTT和RocketMQ进行数据互通（跨产品数据流入）
如果您的云端应用需要使用 云消息队列 RocketMQ 版 产品的某些功能，例如顺序消息特性、事务消息特性等，您可以通过消息流入或流出规则将 云消息队列 MQTT 版 和 云消息队列 RocketMQ 版 数据进行流转。本文介绍如何将 云消息队列 RocketMQ...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
数据传输服务DTS
本文介绍如何在 云消息队列 RocketMQ 版 控制台创建消息流入任务，以实现将数据传输服务DTS的数据流入至 云消息队列 RocketMQ 版。前提条件 您已购买 云消息队列 RocketMQ 版 实例，且实例处于 服务中 状态。具体步骤，请参见 创建资源。在...
集成概述
数据清洗/数据流出 Connector生态集成提供了强大的、界面化的数据ETL（Extract-Transform-Load）配置能力，方便快捷地对完成上报、进入到消息队列的数据进行清洗、格式化、数据格式转换等操作。并支持将完成ETL处理的数据转储到下游。...
数据传输服务DTS
本文介绍如何在 云消息队列 RocketMQ 版 控制台创建消息流入任务，以实现将数据传输服务DTS的数据快速导入至 云消息队列 RocketMQ 版。前提条件 您已购买 云消息队列 RocketMQ 版 实例，且实例处于 服务中 状态。具体步骤，请参见 创建资源...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
MQTT和RocketMQ进行数据互通（跨产品数据流出）
如果您的云端应用需要使用 云消息队列 RocketMQ 版 产品的某些功能，例如顺序消息特性、事务消息特性等，您可以通过消息流入或流出规则将 云消息队列 MQTT 版 和 云消息队列 RocketMQ 版 数据进行流转。本文介绍如何将 云消息队列 MQTT 版 ...
设置全局YARN资源队列
在DataWorks中，您可按照工作空间粒度指定各模块使用的YARN队列，后续各模块将默认使用该队列执行EMR任务。同时，可定义全局YARN资源队列优先级是否高于指定模块内配置的YARN资源队列优先级。本文为您介绍如何设置全局YARN资源队列。背景...
OnsTopicCreate-创建Topic
MQ_INST_188077086902*_BXSuW61e 返回参数 名称 类型 描述 示例值 object 返回的数据结构。RequestId string 公共参数，每个请求的 ID 都是唯一的，可用于排查和定位问题。B6949B58-223E-4B75-B4FE-7797C15E*示例 正常返回示例 JSON 格式 {...
MQTT和RocketMQ进行数据互通（客户端上下线通知）
MQTT客户端的上下线事件将会触发MQTT服务端生成一条通知消息，云消息队列 MQTT 版 支持将该条消息数据导出至其他阿里云产品，并使用MQTT的Java SDK实现MQTT客户端与后端应用收发消息。本文以当前仅支持的 云消息队列 RocketMQ 版 数据互通...
创建DTS Source Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流入源为数据传输服务DTS的消息流入任务。前提条件 您已购买 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。具体步骤，请参见 步骤二：购买和部署实例。在 数据传输服务DTS控制台 ...
消费进度管理
云消息队列 RocketMQ 版 通过消费位点管理消费进度，本文为您介绍 云消息队列 RocketMQ 版 的消费进度管理机制。背景信息 云消息队列 RocketMQ 版 的生产者和消费者在进行消息收发时，必然会涉及以下场景，消息先生产后订阅或先订阅后生产...
基本概念
本文介绍 云消息队列 RocketMQ 版 的基本概念，以便您更好地理解和使用 云消息队列 RocketMQ 版。主题（Topic）云消息队列 RocketMQ 版 中消息传输和存储的顶层容器，用于标识同一类业务逻辑的消息。主题通过TopicName来做唯一标识和区分。...
什么是云消息队列 Confluent 版？
本文介绍 云消息队列 Confluent 版 的定义。什么是Confluent Platform Confluent Platform是一个全面的数据流企业级平台，使您能够以连续、实时的流形式轻松访问、存储和管理数据。Confluent由Apache Kafka的原始创建者构建，通过企业级...
在线教育视频直播
表格存储 表格存储（Tablestore）是阿里云自研的面向海量结构化数据存储的Serverless NoSQL多模型数据库，被广泛用于社交、物联网、人工智能、元数据和大数据等业务场景。提供兼容HBase的WideColumn模型、消息模型Timeline以及时空模型...
接入Logstash
Logstash Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。Logstash的数据处理流程如下：输入：采集各种格式、大小和来源的数据。在实际业务中，数据往往以各种各样...
订阅者最佳实践
消费消息基本流程 云消息队列 Kafka 版 订阅者在订阅消息时的基本流程为：Poll数据→执行消费逻辑→再次Poll数据，详情参见下图。负载均衡 每个 Group 可以包含多个消费实例，即可以启动多个 云消息队列 Kafka 版 Consumer，并把参数 group...
使用MongoDB Connector连接MongoDB数据库
本文介绍如何创建MongoDB Connector，将MongoDB数据库和 云消息队列 Kafka 版 的数据进行双向同步。前提条件 开通事件总线EventBridge并授权。已开通对象存储OSS服务并创建存储空间（Bucket）。更多信息，请参见 控制台创建存储空间。已...
使用Debezium将MySQL数据同步至云消息队列 Kafka 版
本文介绍如何创建Debezium MySQL Source Connector，将MySQL的数据同步至 云消息队列 Kafka 版。前提条件 已开通事件总线EventBridge并授权。已开通对象存储OSS服务并创建存储空间（Bucket）。更多信息，请参见 控制台创建存储空间。已开通...
- 产品推荐
- 这些文档可能帮助您