使用云消息队列 Kafka 版时出现消息堆积
使用 云消息队列 Kafka 版 时，可能会发现Group中出现消息堆积。本文介绍如何判断消息堆积是否属于正常情况，以及处理方法。客户端消费流程 了解客户端消费流程，有助于理解消息是否堆积。一般情况下，客户端消费流程大致如下：判断消息...
使用云消息队列 Kafka 版时客户端的报错及解决方案
在使用云消息队列 Kafka 版时，客户端可能报错，您可以根据报错消息匹配对应的解决方案。详细信息 报错信息对应的详细信息如下。报错信息 客户端语言类型 报错原因 解决方案 TimeoutException Java 网络问题 客户端鉴权（sasl.mechanisms）...
使用云消息队列 Kafka 版时出现“Not authorized to ...
问题描述 使用云消息队列 Kafka 版时出现“Not authorized to access group”的错误信息。问题原因 没有创建Consumer Group时会遇到此报错信息。解决方案 您可以选择如下任意一种方式创建Consumer Group。在云消息队列 Kafka 版的控制台...
使用Canal将MySQL的数据同步至云消息队列 Kafka 版
本教程介绍如何使用Canal将MySQL的数据同步至 云消息队列 Kafka 版。背景信息 Canal的主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。Canal伪装自己为MySQL Slave，向MySQL Master发送dump请求。MySQL Master收到dump...
使用Kafka Connect将MySQL数据同步至云消息队列 Kafka...
本教程介绍如何使用Kafka Connect的Source Connector将MySQL的数据同步至 云消息队列 Kafka 版。背景信息 Kafka Connect主要用于将数据流输入和输出 云消息队列 Kafka 版。Kafka Connect主要通过各种Source Connector的实现，将数据从第三...
使用Kafka Connect将SQL Server数据同步至云消息队列 ...
本教程介绍如何使用Kafka Connect的Source Connector将SQL Server的数据同步至 云消息队列 Kafka 版。前提条件 在开始本教程前，请确保您已完成以下操作：已下载SQL Server Source Connector。具体信息，请参见 SQL Server Source ...
使用Debezium将PostgreSQL数据同步至消息队列Kafka版
本文介绍如何创建Debezium PostgreSQL Source Connector，将PostgreSQL的数据同步至 云消息队列 Kafka 版。使用限制 Debezium PostgreSQL Source Connector只能配置一个Task用于消费源端的CDC数据，不支持并发消费配置。前提条件 开通事件...
使用Debezium将PostgreSQL数据同步至消息队列Kafka版
本文介绍如何创建Debezium PostgreSQL Source Connector，将PostgreSQL的数据同步至 云消息队列 Kafka 版。使用限制 Debezium PostgreSQL Source Connector只能配置一个Task用于消费源端的CDC数据，不支持并发消费配置。前提条件 开通事件...
使用Debezium将MySQL数据同步至云消息队列 Kafka 版
本文介绍如何创建Debezium MySQL Source Connector，将MySQL的数据同步至 云消息队列 Kafka 版。前提条件 已开通事件总线EventBridge并授权。已开通对象存储OSS服务并创建存储空间（Bucket）。更多信息，请参见 控制台创建存储空间。已开通...
使用Debezium将MySQL数据同步至云消息队列 Kafka 版
本文介绍如何创建Debezium MySQL Source Connector，将MySQL的数据同步至 云消息队列 Kafka 版。前提条件 已开通事件总线EventBridge并授权。已开通对象存储OSS服务并创建存储空间（Bucket）。更多信息，请参见 控制台创建存储空间。已开通...
使用ACL功能进行访问控制
当需要对不同的用户或用户组授予不同级别的访问权限时，您可以使用 云消息队列 Kafka 版 专业版实例的访问控制列表（ACL）功能，为SASL用户赋予对Topic、Group等资源的操作权限，实现细粒度的权限管理。背景信息 企业A购买了 云消息队列 ...
使用限制
云消息队列 Kafka 版 对某些具体指标进行了约束和规范，您在使用 云消息队列 Kafka 版 时注意不要超过相应的限制值，以免程序出现异常。重要 若由于您的实例配置超出使用限制导致的任何不稳定情况，不在SLA承诺和赔偿范围内。云消息队列 ...
迁移Topic上云
本文介绍如何使用 云消息队列 Kafka 版 提供的迁移工具将自建Kafka集群的Topic迁移到 云消息队列 Kafka 版 实例。前提条件 您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 版 实例...
SDK概述
本文介绍 云消息队列 Kafka 版 SDK、支持的多语言SDK。SDK简介 SDK（Software Development Kit）即软件开发工具包，包含示例Demo、库文件、编译工具链以及编译脚本等，不需要开发者进行任何其他的配置，直接可以在SDK对应目录环境下，进行...
迁移Group上云
本文介绍如何使用 云消息队列 Kafka 版 提供的迁移工具将自建Kafka集群的 Group 迁移到 云消息队列 Kafka 版 实例。前提条件 您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 版 ...
接入点对比
云消息队列 Kafka 版 提供默认接入点、SSL接入点和SASL接入点以适用不同的连接及安全需求。默认接入点适用于在保密性较高的VPC环境收发消息；SASL接入点适用于无需对传输链路加密但需对消息收发鉴权；需要链路加密和消息鉴权，建议使用SSL...
云消息队列 Kafka 版自定义权限策略参考
本文介绍 云消息队列 Kafka 版 使用自定义权限策略的场景和策略示例。什么是自定义权限策略 在基于RAM的访问控制体系中，自定义权限策略是指在系统权限策略之外，您可以自主创建、更新和删除的权限策略。自定义权限策略的版本更新需由您来...
云监控
前提条件 创建服务关联角色 角色名称：AliyunServiceRoleForAlikafka 角色策略名称：AliyunServiceRolePolicyForAlikafka 权限说明：允许 云消息队列 Kafka 版 使用该角色访问您的服务（云监控和ARMS服务）以完成云监控相关功能。...
为什么不推荐使用Sarama Go客户端收发消息？
问题现象 所有Sarama Go版本客户端存在...如果发生了位点重置，产生大量堆积，您可以使用 云消息队列 Kafka 版 控制台提供的重置消费位点功能，手动重置消费位点到某一时间点，无需改代码或换Consumer Group。具体操作，请参见 重置消费位点。
使用实例接入点收发消息
云消息队列 Kafka 版消息的序列化方式。props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,"org.apache.kafka....
使用Terraform管理SASL用户
云消息队列 Kafka 版 实例的默认SASL用户仅提供身份校验，支持所有Topic和Group的读写权限。如果需要更细致的权限控制，您需开启ACL，创建SASL用户，按需赋予SASL用户向 云消息队列 Kafka 版 收发消息的权限。使用Terraform的 alicloud_...
使用RabbitMQ Connector同步RabbitMQ数据
本文介绍如何创建RabbitMQ Connector，将 云消息队列 RabbitMQ 版 的数据同步至 云消息队列 Kafka 版。前提条件 开通事件总线EventBridge并授权。创建RabbitMQ资源。开通对象存储OSS服务并创建存储空间（Bucket）。更多信息，请参见 控制台...
RAM跨云账号授权
背景信息 企业A开通了 云消息队列 Kafka 版，该企业需要企业B代为操作 云消息队列 Kafka 版 的资源，例如实例、Topic、Group。企业A的需求如下：企业A希望能专注于业务系统，仅作为 云消息队列 Kafka 版 所有者。企业A希望可以授权企业B来...
使用Spring Cloud框架收发消息
本文介绍如何使用Spring Cloud框架接入 云消息队列 Kafka 版 并收发消息。前提条件 安装1.8或以上版本JDK。安装2.5或以上版本Maven。下载 kafka-spring-stream-demo，并将其上传在准备好的Linux操作系统。确保您的 云消息队列 Kafka 版 ...
C# SDK收发消息
本文介绍如何使用C#SDK通过接入点接入 云消息队列 Kafka 版 并收发消息。环境配置 您已安装.NET。更多信息，请参见 安装.NET 。安装C#依赖库 执行以下命令安装C#依赖库。dotnet add package-v 1.5.2 Confluent.Kafka 准备配置 可选：下载...
Ruby SDK收发消息
本文介绍如何使用Ruby SDK通过接入点接入 云消息队列 Kafka 版 并收发消息。环境准备 您已安装Ruby。更多信息，请参见 安装Ruby。安装Ruby依赖库 执行以下命令安装Ruby依赖库。gem install ruby-kafka-v 0.6.8 准备配置 可选：下载SSL根...
评估规格
使用说明 云消息队列 Kafka 版 提供的规格评估功能将根据您输入的自建Kafka集群的信息，如集群流量情况、磁盘容量和类型、分区数量等，来为您评估并推荐需要的 云消息队列 Kafka 版 实例规格，帮助您提前根据推荐部署 云消息队列 Kafka 版 ...
退款说明
根据计费方式的特点，云消息队列 Kafka 版 资源支持的退款情况如下：包年包月的 云消息队列 Kafka 版 资源如需退款，可在控制台上退订实例。详细信息，请参见 实例生命周期管理。按量计费的 云消息队列 Kafka 版 资源在使用后才支付费用，...
迁移数据上云
云消息队列 Kafka 版 集群的SSL接入点（可在 云消息队列 Kafka 版 控制台获取）bootstrap.servers=XXX.XXX.XXX.XXX:9093#数据压缩方式 compression.type=none#truststore（使用步骤1下载的文件）ssl.truststore.location=kafka.client....
概述
本文旨在以简单明了的方式引导您快速上手 云消息队列 Kafka 版。操作流程 根据网络类型不同，快速入门的操作流程有所不同，详情请参见 云消息队列 Kafka 版快速入门操作流程。图 1.云消息队列 Kafka 版 快速入门操作流程 操作步骤 具体操作...
快速入门
如果您首次使用 云消息队列 Kafka 版，您可以参考快速入门文档。快速入门文档 云消息队列 Kafka 版快速入门 云消息队列 Confluent 版快速入门
Python SDK收发消息
本文介绍如何使用Python SDK通过接入点接入 云消息队列 Kafka 版 并收发消息。环境准备 安装Python 说明 Python版本为2.7或3.X。安装pip 添加Python依赖库 执行以下命令安装依赖库。pip install confluent-kafka=1.9.2 重要 建议您安装...
常见问题
使用云消息队列 Kafka 版时客户端的报错及解决方案 无法ping通云消息队列 Kafka 版的接入点 客户端消费问题 订阅者最佳实践 客户端首次接入云消息队列 Kafka 版时出现异常的排查方法 使用云消息队列 Kafka 版时出现消息堆积 为什么消费客户...
欠费说明
欠费影响 如果您购买的为包年包月实例，实例到期后，您账户下的 云消息队列 Kafka 版 服务会切换为 已过期 状态，即您将不能再继续使用 云消息队列 Kafka 版 服务。如果您购买的为按量计费实例 或弹性按量计费实例，当您的账户余额不足以...
云上迁移Group
本文介绍如何使用 云消息队列 Kafka 版 提供的迁移工具将某个 云消息队列 Kafka 版 实例的 Group 迁移到另一个 云消息队列 Kafka 版 实例。前提条件 您已完成以下操作：下载JDK 8 下载迁移工具JAR文件 重要 迁移不会删除源 云消息队列 ...
PHP SDK收发消息
如果实例已开启ACL，请确保要使用的SASL用户已被授予向 云消息队列 Kafka 版 实例收发消息的权限。具体操作，请参见 SASL用户授权。sasl_plain_password SASL用户名密码。如果是默认接入点，则无此配置项。bootstrap_servers SSL接入点。您...
为什么购买了按量付费实例后不使用也要收费？
按量付费模式与购买后是否实际使用无关。您在购买 云消息队列 Kafka 版 按量付费实例后，系统会为您分配相应的实例资源。因此，按量付费模式是以实例单价×服务时间计费的，与您购买后是否使用该实例无关。
云上迁移Topic
本文介绍如何使用 云消息队列 Kafka 版 提供的迁移工具将某个 云消息队列 Kafka 版 实例的Topic迁移到另一个 云消息队列 Kafka 版 实例。前提条件 您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云...
消息检索
当 云消息队列 Kafka 版 控制台提供的按位点查询和按时间查询消息的功能无法满足您搜索消息的需求时，您可以使用 云消息队列 Kafka 版 消息检索功能。消息检索支持按Topic分区、位点范围、时间范围以及消息Key和Value关键字检索。本文介绍...
- 产品推荐
- 这些文档可能帮助您