使用Canal和RocketMQ实现数据库变更订阅处理
本文以MySQL数据库为例介绍如何使用Canal接入 云消息队列 RocketMQ 版，实现MySQL数据库Binlog数据的变更处理。背景信息 CDC（Change Data Capture）是一种监测并捕获数据库变更的典型技术方案，常应用于异构数据源之间的数据同步。Canal...
顺序消息
如上图所示，消息组1和消息组4的消息混合存储在队列1中，云消息队列 RocketMQ 版 保证消息组1中的消息G1-M1、G1-M2、G1-M3是按发送顺序存储，且消息组4的消息G4-M1、G4-M2也是按顺序存储，但消息组1和消息组4中的消息不涉及顺序关系。...
直播互动解决方案
背景信息 在直播互动的场景下，您需创建相应的数据互通规则实现 云消息队列 MQTT 版 与 云消息队列 RocketMQ 版 的数据互通，包含 数据流入规则、数据流出规则 以及 客户端上下线通知规则。使用 云消息队列 MQTT 版 的客户端收发消息时，...
接入Logstash
数据从源传输到目标存储的过程中，Logstash过滤器能够解析各个事件，识别已命名的字段来构建结构，并将它们转换成通用格式，通过更轻松、快速的方式分析数据来实现商业价值。输出：导出数据。Logstash提供多种数据输出方向，灵活解锁众多...
创建RabbitMQ Source Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建流入任务，将 云消息队列 RabbitMQ 版 中的数据快速导入至 云消息队列 Kafka 版。前提条件 您已购买 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。具体步骤，请参见 步骤二：购买和...
云消息队列 RabbitMQ 版
本文介绍如何在 云消息队列 RocketMQ 版 控制台创建消息流出任务，以实现将 云消息队列 RocketMQ 版 的数据流出至 云消息队列 RabbitMQ 版。前提条件 您已购买 云消息队列 RocketMQ 版 实例，且实例处于 服务中 状态。具体步骤，请参见 ...
创建RabbitMQ Sink Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流出任务，将 云消息队列 Kafka 版 的数据导出至 云消息队列 RabbitMQ 版。前提条件 您已购买并部署 云消息队列 Kafka 版 实例，且实例处于服务中状态。具体步骤，请参见 步骤二：购买和...
迁移上云
云消息队列 Kafka 版 提供全托管、免运维的迁移上云服务，用于自建实例或跨云云实例与 云消息队列 Kafka 版 实例之间的数据同步。本文介绍迁移上云的源实例类型、使用限制、跨VPC数据同步以及使用流程。前提条件 您已购买并部署 云消息队列...
RocketMQ全链路追踪解决方案
在分布式应用系统中，多个服务间的交互涉及复杂的网络通信和数据传输，往往一次请求需要多个内部服务间的相互调用才能完成，任何一个环节出现问题都可能导致外部服务任务执行失败或延时，且很难快速定位问题根源。链路追踪功能可在多个服务...
消息队列Kafka版
本文介绍如何在 云消息队列 RocketMQ 版 控制台创建消息流出任务，以实现将 云消息队列 RocketMQ 版 的数据流出至 云消息队列 Kafka 版。前提条件 您已购买 云消息队列 RocketMQ 版 实例，且实例处于 服务中 状态。具体步骤，请参见 创建...
使用Canal和RocketMQ实现数据库变更订阅处理
本文以MySQL数据库为例介绍如何使用Canal接入 云消息队列 RocketMQ 版，实现MySQL数据库Binlog数据的变更处理。背景信息 CDC（Change Data Capture）是一种监测并捕获数据库变更的典型技术方案，常应用于异构数据源之间的数据同步。Canal...
云消息队列 Kafka 版
本文介绍如何在 云消息队列 RocketMQ 版 控制台创建消息流入任务，实现将 云消息队列 Kafka 版 中的数据快速导入至 云消息队列 RocketMQ 版。前提条件 您已购买 云消息队列 RocketMQ 版 实例，且实例处于 服务中 状态。具体步骤，请参见 ...
云消息队列 RocketMQ 版
本文介绍如何在 云消息队列 RocketMQ 版 控制台创建消息流入任务，实现将其他数据源中的数据快速导入 云消息队列 RocketMQ 版。前提条件 您已购买 云消息队列 RocketMQ 版 实例，且实例处于 服务中 状态。具体步骤，请参见 创建资源。创建...
消息队列RocketMQ版
本文介绍如何在 云消息队列 RocketMQ 版 控制台创建消息流入任务，实现将其他数据源中的数据快速导入 云消息队列 RocketMQ 版。前提条件 您已购买 云消息队列 RocketMQ 版 实例，且实例处于 服务中 状态。具体步骤，请参见 创建资源。创建...
从自建MySQL同步至云消息队列 Kafka 版
通过数据传输服务DTS（Data Transmission Service），您可以将自建MySQL同步至 云消息队列 Kafka 版，扩展消息处理能力。前提条件 您已完成以下操作：自建MySQL数据库且数据库版本为5.1、5.5、5.6、5.7或8.0版本。购买并部署 云消息队列 ...
云消息队列 RocketMQ 版
本文介绍如何在 云消息队列 RocketMQ 版 控制台创建消息流出任务，以实现将 云消息队列 RocketMQ 版 指定实例的数据流出至另外的 云消息队列 RocketMQ 版 实例中。前提条件 您已购买 云消息队列 RocketMQ 版 实例，且实例处于 服务中 状态...
消费者负载均衡
如上图所示，主题中的三个队列Queue1、Queue2、Queue3被分配给消费者分组中的两个消费者，每个队列只能分配给一个消费者消费，该示例中由于队列数大于消费者数，因此，消费者A2被分配了两个队列。若队列数小于消费者数量，可能会出现部分...
内存型
数据结构模块集成 云Redis社区版与开源Redis相同，支持String、List、Hash、Set、Sorted Set、Stream等数据类型，能够满足大部分场景下的开发需求，但在一些复杂场景中，原生数据类型无法直接满足某些业务需求，只能使用通过调整应用数据、...
创建Kafka Sink Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流出任务，将指定 云消息队列 Kafka 版 实例中的数据导出至其他的 云消息队列 Kafka 版。前提条件 您已购买并部署 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。具体步骤，请参见...
创建RocketMQ Source Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流入任务，将 云消息队列 RocketMQ 版 的数据快速导入至 云消息队列 Kafka 版。前提条件 您已购买Kafka实例，且实例处于 服务中 状态。具体步骤，请参见 步骤二：购买和部署实例。您已...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
迁移消费者程序
PLAINTEXT 任务数 选择同步数据的线程并发数。12 同步sasl用户 迁移数据时是否同步SASL用户。单击 配置运行环境 显示该参数。是 同步topic acls 迁移数据时是否同步Topic ACLS。单击 配置运行环境 显示该参数。是 同步消费组 迁移数据时...
创建MNS Source Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流入任务，将 消息服务MNS 中的数据快速导入 云消息队列 Kafka 版。前提条件 您已购买 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。具体步骤，请参见 步骤二：购买和部署实例。...
创建RocketMQ Sink Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流出任务，将 云消息队列 Kafka 版 的数据导出至 云消息队列 RocketMQ 版。前提条件 您已购买 云消息队列 RocketMQ 版 实例，且实例处于 服务中 状态。具体步骤，请参见 创建资源。您已...
USER_QUEUES
USER_QUEUES 视图提供当前用户拥有使用特权的任何队列的信息。名称 类型 说明 name TEXT 队列的名称。queue_table TEXT 队列所在队列表的名称。qid OID 队列的系统分配对象 ID。queue_type CHARACTER VARYING 队列类型；可以是 EXCEPTION_...
创建MQTT Source Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建流入任务，将 云消息队列 MQTT 版 中的数据快速导入至 云消息队列 Kafka 版 实例中。前提条件 您已购买 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。具体步骤，请参见 步骤二：购买...
创建AnalyticDB Sink Connector
本文介绍如何创建使用AnalyticDB Sink Connector，您可通过AnalyticDB Sink Connector将数据从 云消息队列 Kafka 版 实例的数据源Topic导出至AnalyticDB的表中。前提条件 详细步骤，请参见 创建前提。步骤一：创建目标服务资源 创建 云原生...
创建Kafka Source Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建流入任务，将指定 云消息队列 Kafka 版 实例中的数据快速导入至另外的 云消息队列 Kafka 版 实例中。前提条件 您已购买 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。具体步骤，请...
资源组管理
AnalyticDB PostgreSQL 6.0版 提供的资源组管理功能，支持绑定数据库账号到资源组，并为资源组内的查询设置最大并发事务数、CPU使用率和内存占比等，可以使资源变得弹性，获得更高的查询速度。版本限制 仅内核版本为v6.6.1.0及以上的 ...
集成概述
数据清洗/数据流出 Connector生态集成提供了强大的、界面化的数据ETL（Extract-Transform-Load）配置能力，方便快捷地对完成上报、进入到消息队列的数据进行清洗、格式化、数据格式转换等操作。并支持将完成ETL处理的数据转储到下游。...
创建Elasticsearch Sink Connector
本文介绍如何创建Elasticsearch Sink Connector，您可以通过Elasticsearch Sink Connector将数据从 云消息队列 Kafka 版 实例的数据源Topic导出至阿里云Elasticsearch中。前提条件 详细步骤，请参见 创建前提。步骤一：创建目标服务资源 在...
实例使用变更
云消息队列 MQTT 版 从V2.x.x升级至V3.x.x后，不再需要与 云消息队列 RocketMQ 版 的实例进行绑定。本文介绍两个版本之间的控制台实例相关操作的具体差异，并提供控制台截图进行对比。变更说明 由于V3.x.x版本的 云消息队列 MQTT 版 实现了...
ALL_QUEUES
ALL_QUEUES 视图提供任何当前已定义队列的相关信息。名称 类型 说明 owner TEXT 队列所有者的用户名。名称 TEXT 队列的名称。queue_table TEXT 队列所在队列表的名称。qid OID 队列的系统分配对象 ID。queue_type CHARACTER VARYING 队列...
DBA_QUEUES
DBA_QUEUES 视图提供任何当前已定义队列的相关信息。名称 类型 说明 owner TEXT 队列所有者的用户名。名称 TEXT 队列的名称。queue_table TEXT 队列所在队列表的名称。qid OID 队列的系统分配对象 ID。queue_type CHARACTER VARYING 队列...
云消息队列 RocketMQ 版
本文介绍如何在 云消息队列 RabbitMQ 版 控制台创建消息流入任务，将 云消息队列 RocketMQ 版 中的数据快速导入至 云消息队列 RabbitMQ 版。前提条件 您已购买 云消息队列 RocketMQ 版 实例，且实例处于 服务中 状态。具体步骤，请参见 ...
MQTT客户端上下线事件数据流出
此场景中，MQTT客户端产生上下线等状态变更，云消息队列 MQTT 版 会根据您配置的客户端状态通知规则，将状态变更封装后转发到 云消息队列 RocketMQ 版 消息的方式来实现客户端状态数据的聚合和统计。说明 针对其他场景，推荐您使用同步查询...
一机一密概述
云消息队列 MQTT 版 建立连接时，需要将设备访问凭证中的信息按照约定的形式设置到Username和Password中，向 云消息队列 MQTT 版 发起认证请求，云消息队列 MQTT 版 认证通过后激活设备，设备与 云消息队列 MQTT 版 间才可传输数据。...
仪表盘
消息堆积场景 如下图所示，表示指定主题的某一队列中各消息的状态：上图表示指定主题的某一队列中各消息的状态，云消息队列 RocketMQ 版 将处于不同处理阶段的消息数量和耗时进行统计，这些指标可直接反映队列中消息的处理速率和堆积情况，...
访问队列服务
说明 当使用异步推理服务功能时，请求从输入队列返回，由EAS服务框架读取输出数据进行处理后将结果自动写入到输出队列中，服务框架会通过requestId这个tag将输入数据与输出数据进行关联，通过输入数据的requestId即可在输出队列中查询结果...
创建RocketMQ数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint RocketMQ实例的...
- 产品推荐
- 这些文档可能帮助您