当您需要查看并分析庞杂的日志数据时,可通过阿里云Logstash将 云消息队列 Kafka 版 中的日志数据导入阿里云Elasticsearch,然后通过Kibana进行可视化展示与分析。本文介绍将 云消息队列 Kafka 版 接入阿里云Elasticsearch的操作方法。前提...
背景信息 消息队列Kafka版 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务,针对开源的Apache Kafka提供全托管服务,彻底解决开源产品长期以来的痛点,您只需专注于业务开发,无需部署运维。消息队列Kafka版广泛用于日志收集、监控...
数据传输服务DTS(Data Transmission Service)支持 RDS MySQL 实例同步至 阿里云消息队列Kafka版。前提条件 已创建源实例 RDS MySQL 和目标实例 阿里云消息队列Kafka版。说明 源实例 RDS MySQL 的创建方式,请参见 快速创建RDS MySQL实例...
本文介绍如何使用数据传输服务DTS(Data Transmission Service),将 RDS MySQL 迁移至 阿里云消息队列Kafka版。前提条件 已创建源实例 RDS MySQL 和目标实例 阿里云消息队列Kafka版。说明 源实例 RDS MySQL 的创建方式,请参见 快速创建...
数据传输服务DTS(Data Transmission Service)支持 RDS MySQL 实例同步至 阿里云消息队列Kafka版。前提条件 已创建源实例 RDS MySQL 和目标实例 阿里云消息队列Kafka版。说明 源实例 RDS MySQL 的创建方式,请参见 快速创建RDS MySQL实例...
数据传输服务DTS(Data Transmission Service)支持将 Db2 for LUW 数据库迁移至 阿里云消息队列Kafka版。前提条件 已创建存储空间大于源 Db2 for LUW 数据库占用存储空间的目标 阿里云消息队列Kafka版 实例。更多信息,请参见 概述。说明 ...
本文介绍如何使用数据传输服务DTS(Data Transmission Service),将 PolarDB MySQL版 集群同步至 阿里云消息队列Kafka版,扩展消息处理能力。前提条件 已创建源 PolarDB MySQL版 集群,详情请参见 购买按量付费集群 和 购买包年包月集群。...
本文介绍如何使用数据传输服务DTS(Data Transmission Service),将自建Oracle迁移至阿里云消息队列Kafka。前提条件 已创建源数据库自建Oracle和目标实例 阿里云消息队列Kafka版。说明 源数据库和目标实例支持的版本,请参见 迁移方案概览...
本文介绍如何使用数据传输服务DTS(Data Transmission Service),将自建Oracle同步至阿里云消息队列Kafka。前提条件 已创建源数据库自建Oracle和目标实例 阿里云消息队列Kafka版。说明 源数据库和目标实例支持的版本,请参见 同步方案概览...
本文介绍如何使用数据传输服务DTS(Data Transmission Service)将PolarDB-X 1.0同步至阿里云消息队列Kafka。前提条件 已创建源PolarDB-X 1.0实例。具体操作,请参见 创建实例。已创建Kafka实例,并已创建用于接收同步数据的Topic,请参见 ...
本文介绍如何使用数据传输服务DTS(Data Transmission Service)将PolarDB-X 1.0迁移至阿里云消息队列Kafka。前提条件 已创建源PolarDB-X 1.0实例。具体操作,请参见 创建实例。说明 PolarDB-X 1.0的存储类型支持为RDS MySQL(包括私有定制...
本文介绍如何使用数据传输服务DTS(Data Transmission Service),您可以将 PolarDB-X 2.0 迁移至阿里云消息队列Kafka,从而扩展消息处理能力。前提条件 已创建源 PolarDB-X 2.0 实例,且需兼容MySQL 5.7版本。目标Kafka实例中已创建用于...
本文介绍如何使用数据传输服务DTS(Data Transmission Service),将 PolarDB-X 2.0 同步至阿里云消息队列Kafka,实现增量数据的实时同步。前提条件 已创建源 PolarDB-X 2.0 实例,且兼容MySQL 5.7版本。目标Kafka实例的版本请参见 数据库...
通过数据传输服务DTS(Data Transmission Service),您可以将自建Oracle迁移至阿里云消息队列Kafka版或自建Kafka,从而扩展消息处理能力。本文以自建Oracle数据库迁移至阿里云消息队列Kafka实例为例,介绍数据迁移任务的配置流程。前提...
本文介绍 云消息队列 Kafka 版 的产品动态、产品简介及产品计费。云消息队列 Kafka 版 动态与公告 产品简介 产品计费 云消息队列 Confluent 版 什么是云消息队列 Confluent 版?产品计费
您可获取社区版TCP协议的SDK,来访问阿里云 云消息队列 RocketMQ 版。重要 所有社区版的SDK均由Apache RocketMQ社区提供,您可获取源码自行编译,但不在阿里云RocketMQ的SLA范围。和社区版SDK相比,商业版的SDK提供了更加丰富的功能特性并...
云消息队列 Kafka 版 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。云消息队列 Kafka 版 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,已成为大数据生态中不可或缺的部分。产品优势 云消息队列 ...
云消息队列 MQTT 版 是阿里云推出的一款面向移动互联网以及物联网领域的轻量级消息中间件。如果说传统的消息队列中间件一般应用于微服务之间,那么适用于物联网的 云消息队列 MQTT 版 则实现了端与云之间的消息传递和真正意义上的万物互联...
迁移前须知 云消息队列 RabbitMQ 版 是阿里云基于专有的分布式消息存储技术开发的高级消息队列服务。它严格遵循AMQP 0-9-1协议,但并不是开源RabbitMQ的简单托管版本。云消息队列 RabbitMQ 版 采用了独创的架构设计,有效避免了因消息积压...
背景信息 云消息队列 Kafka 版 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务,针对开源的Apache Kafka提供全托管服务,彻底解决开源产品长期以来的痛点,您只需专注于业务开发,无需部署运维。云消息队列 Kafka 版 广泛用于日志...
云消息队列 RocketMQ 版 是阿里云基于Apache RocketMQ构建的低延迟、高并发、高可用、高可靠的分布式“消息、事件、流”统一处理平台。随着Apache RocketMQ 5.0版本的发布,阿里云 云消息队列 RocketMQ 版 将为您提供更加稳定可靠的服务端5...
云消息队列 RocketMQ 版 是阿里云基于Apache RocketMQ构建的低延迟、高并发、高可用、高可靠的分布式“消息、事件、流”统一处理平台。随着Apache RocketMQ 5.0版本的发布,阿里云 云消息队列 RocketMQ 版 将为您提供更加稳定可靠的服务端5...
当 云消息队列 Kafka 版 控制台提供的按位点查询和按时间查询消息的功能无法满足您搜索消息的需求时,您可以使用 云消息队列 Kafka 版 消息检索功能。消息检索支持按Topic分区、位点范围、时间范围以及消息Key和Value关键字检索。本文介绍...
顺序消息(FIFO消息)是阿里云 云消息队列 RocketMQ 版 提供的一种严格按照顺序来发布和消费的消息类型。本文提供使用TCP协议下的社区版C++ SDK收发顺序消息的示例代码供您参考。顺序消息分为两类:全局顺序:对于指定的一个Topic,所有...
音视频通信解决方案是由阿里云 云消息队列 MQTT 版 和音视频通信RTC联合推出的有助于快速搭建各种实时通信场景产品,譬如在线音视频会议、1对1语音通话应用的解决方案。本文将详细描述该解决方案的系统架构、数据流设计以及相关注意事项。...
本文为您介绍目标数据库实例为 专线/VPN网关/智能网关 方式接入的 阿里云消息队列Kafka版 时,部分特殊参数的配置方法和获取方式。注意事项 使用此方案将 阿里云消息队列Kafka版 接入DTS,会将数据写入到您指定的节点中。若您的源库为MySQL...
部署架构图 选用的产品 云消息队列 RocketMQ 版 云消息队列 RocketMQ 版 是由阿里巴巴自研并捐赠给Apache基金会,并与开源社区共建的消息中间件,该产品服务于阿里巴巴集团已超过13年,经过交易核心链路反复打磨与历年双十一高并发场景的...
什么是订阅关系 云消息队列 RocketMQ 版 里的一个Group ID代表一个Consumer实例群组。对于大多数分布式应用来说,一个Group ID下通常会挂载多个Consumer实例。云消息队列 RocketMQ 版 的订阅关系主要由Topic+Tag共同组成,即一个Group ID下...
普通消息是指阿里云 云消息队列 RocketMQ 版 中无特性的消息,区别于有特性的定时消息、顺序消息和事务消息。本文提供使用TCP协议下的社区版C++ SDK收发普通消息的示例代码供您参考。前提条件 安装CPP动态库 获取阿里云访问密钥AccessKey ...
微消息队列MQTT版权限管理是通过阿里云的访问控制RAM(Resource Access Management)产品实现的。使用RAM可以让您避免与其他用户共享云账号密钥,即AccessKey(包含AccessKeyId和AccessKeySecret),按需为用户分配最小权限。在使用RAM账号...
什么是全球消息路由 云消息队列 RocketMQ 版 的全球消息路由功能依托阿里云优质基础设施实现的高速通道专线(高速通道无需另行开通),高效地实现不同地域之间的消息同步复制。具体实现如下图所示。计费影响 全球消息路由为 云消息队列 ...
消息队列(MessageQueue)队列是 云消息队列 RocketMQ 版 中消息存储和传输的实际容器,也是消息的最小存储单元。云消息队列 RocketMQ 版 的所有主题都是由多个队列组成,以此实现队列数量的水平拆分和队列内部的流式存储。队列通过QueueId...
什么是消息存活时间 在 云消息队列 RabbitMQ 版 中,消息存活时间用于限制消息在Queue中可以存在的时间,如果消息在Queue中存在的时间超过了设置的消息存活时间,消息将会被进行如下处理:若您未给Queue设置死信Exchange,消息将被Queue...
定义 队列是 云消息队列 RocketMQ 版 中消息存储和传输的实际容器,也是 云消息队列 RocketMQ 版 消息的最小存储单元。云消息队列 RocketMQ 版 的所有主题都是由多个队列组成,以此实现队列数量的水平拆分和队列内部的流式存储。队列的主要...
什么是Exchange Exchange是 云消息队列 RabbitMQ 版 的消息路由代理。生产者向 云消息队列 RabbitMQ 版 发送消息时,不会直接将消息发送到Queue,而是先将消息发送到Exchange,由Exchange将消息路由到一个或多个Queue。Exchange根据Binding...
在阿里云官方网站开通消息队列服务后方可开始使用 云消息队列 MQTT 版。如果您的账号为RAM用户,必须先为RAM用户进行授权,才能通过控制台或API访问相应的 云消息队列 MQTT 版 资源,并使用SDK收发消息。前提条件 您已注册阿里云账号并完成...
本文为您介绍 云消息队列 RocketMQ 版 的应用场景,以便您更好地判断如何在业务中使用 云消息队列 RocketMQ 版。例如,针对一家互联网电商企业,其业务涉及广泛,如注册、订单、库存、物流等;同时,也会涉及许多业务峰值时刻,如秒杀活动...
云消息队列 MQTT 版 的详细介绍,请参见 什么是微消息队列MQTT版 和 名词解释。消息结构映射 云消息队列 MQTT 版 和 云消息队列 RocketMQ 版 都是基于发布/订阅(Pub/Sub)模型的消息系统,两者概念上存在很多相似之处,下图列举了关键概念...
本文介绍 云消息队列 RocketMQ 版 中消费者分组(ConsumerGroup)的定义、模型关系、内部属性、行为约束、版本兼容性及使用建议。定义 消费者分组是 云消息队列 RocketMQ 版 系统中承载多个消费行为一致的消费者的负载均衡分组。和消费者...
本文介绍 云消息队列 RocketMQ 版 中消费者(Consumer)的定义、模型关系、内部属性、行为约束、版本兼容性及使用建议。定义 消费者是 云消息队列 RocketMQ 版 中用来接收并处理消息的运行实体。消费者通常被集成在业务系统中,从 云消息...