将云消息队列 Kafka 版接入阿里云Elasticsearch
云消息队列 Kafka 版 云消息队列 Kafka 版 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。云消息队列 Kafka 版 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。更...
RDS MySQL同步至阿里云消息队列Kafka版
数据传输服务DTS（Data Transmission Service）支持 RDS MySQL 实例同步至 阿里云消息队列Kafka版。前提条件 已创建源实例 RDS MySQL 和目标实例 阿里云消息队列Kafka版。说明 源实例 RDS MySQL 的创建方式，请参见 快速创建RDS MySQL实例...
Db2 for LUW迁移至阿里云消息队列Kafka版
数据传输服务DTS（Data Transmission Service）支持将 Db2 for LUW 数据库迁移至 阿里云消息队列Kafka版。前提条件 已创建存储空间大于源 Db2 for LUW 数据库占用存储空间的目标 阿里云消息队列Kafka版 实例。更多信息，请参见 概述。说明 ...
PolarDB MySQL版同步至阿里云消息队列Kafka版
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 集群同步至 阿里云消息队列Kafka版，扩展消息处理能力。前提条件 已创建源 PolarDB MySQL版 集群，详情请参见 购买按量付费集群 和 购买包年包月集群。...
自建Oracle同步至阿里云消息队列Kafka版
前提条件 已创建源数据库自建Oracle和目标实例 阿里云消息队列Kafka版。说明 源数据库和目标实例支持的版本，请参见 同步方案概览。自建Oracle数据库已开启ARCHIVELOG（归档模式），设置合理的归档日志保持周期且归档日志能够被访问，详情...
从自建MySQL同步至阿里云消息队列Kafka版
背景信息 消息队列Kafka版 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务，针对开源的Apache Kafka提供全托管服务，彻底解决开源产品长期以来的痛点，您只需专注于业务开发，无需部署运维。消息队列Kafka版广泛用于日志收集、监控...
从自建Oracle迁移至阿里云消息队列Kafka
通过数据传输服务DTS（Data Transmission Service），您可以将自建Oracle迁移至阿里云消息队列Kafka版或自建Kafka，从而扩展消息处理能力。本文以自建Oracle数据库迁移至阿里云消息队列Kafka实例为例，介绍数据迁移任务的配置流程。前提...
PolarDB-X 1.0同步至阿里云消息队列Kafka
说明 仅开启ACL的阿里云消息队列Kafka版实例才需要填写数据库账号与数据库密码，关于开启ACL的信息，请参见 SASL用户授权。数据库密码 Kafka版本 根据Kafka实例版本，选择对应的版本信息。连接方式 根据业务及安全需求，选择 非加密连接 或...
自建Oracle迁移至阿里云消息队列Kafka版
前提条件 已创建源数据库自建Oracle和目标实例 阿里云消息队列Kafka版。说明 源数据库和目标实例支持的版本，请参见 迁移方案概览。自建Oracle数据库已开启ARCHIVELOG（归档模式），设置合理的归档日志保持周期且归档日志能够被访问，详情...
RDS MySQL同步至阿里云消息队列Kafka版
数据传输服务DTS（Data Transmission Service）支持 RDS MySQL 实例同步至 阿里云消息队列Kafka版。前提条件 已创建源实例 RDS MySQL 和目标实例 阿里云消息队列Kafka版。说明 源实例 RDS MySQL 的创建方式，请参见 快速创建RDS MySQL实例...
RDS MySQL迁移至阿里云消息队列Kafka版
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 RDS MySQL 迁移至 阿里云消息队列Kafka版。前提条件 已创建源实例 RDS MySQL 和目标实例 阿里云消息队列Kafka版。说明 源实例 RDS MySQL 的创建方式，请参见 快速创建...
PolarDB-X 2.0同步至阿里云消息队列Kafka
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 2.0 同步至阿里云消息队列Kafka，实现增量数据的实时同步。前提条件 已创建源 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。目标Kafka实例的版本请参见 数据库...
PolarDB-X 1.0迁移至阿里云消息队列Kafka
说明 仅开启ACL的阿里云消息队列Kafka版实例才需要填写数据库账号与数据库密码，关于开启ACL的信息，请参见 SASL用户授权。数据库密码 Kafka版本 根据Kafka实例版本，选择对应的版本信息。连接方式 根据业务及安全需求，选择 非加密连接 或...
PolarDB-X 2.0迁移至阿里云消息队列Kafka
本文介绍如何使用数据传输服务DTS（Data Transmission Service），您可以将 PolarDB-X 2.0 迁移至阿里云消息队列Kafka，从而扩展消息处理能力。前提条件 已创建源 PolarDB-X 2.0 实例，且需兼容MySQL 5.7版本。目标Kafka实例中已创建用于...
配置消息队列Kafka版实例的参数
本文为您介绍目标数据库实例为 专线/VPN网关/智能网关 方式接入的 阿里云消息队列Kafka版 时，部分特殊参数的配置方法和获取方式。注意事项 使用此方案将 阿里云消息队列Kafka版 接入DTS，会将数据写入到您指定的节点中。若您的源库为MySQL...
云消息队列 Kafka 版服务等级协议
云消息队列 Kafka 版 规定了阿里云向客户提供的阿里云 云消息队列 Kafka 版 的服务可用性等级指标及赔偿方案。如需查看 云消息队列 Kafka 版 的服务可用性等级指标及赔偿方案，请参见 云消息队列 Kafka 版服务等级协议。
开源对比
项目 云消息队列 Kafka 版 Apache Kafka 差异原因 Topic 创建方式 云消息队列 Kafka 版 控制台 云消息队列 Kafka 版 OpenAPI 服务端自动创建（默认不开启）Kafka CLI Kafka Manager 服务端自动创建 云消息队列 Kafka 版 默认通过阿里云控制...
什么是云消息队列 Kafka 版？
云消息队列 Kafka 版 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。云消息队列 Kafka 版 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。产品优势 云消息队列 ...
产品架构
云消息队列 Kafka 版 系统架构 如 云消息队列 Kafka 版的系统架构 所示，一个 云消息队列 Kafka 版 集群包括Producer、Kafka Broker、Group、ZooKeeper。图 1.云消息队列 Kafka 版 的系统架构 Producer 通过push模式向 云消息队列 Kafka 版...
退款说明
根据计费方式的特点，云消息队列 Kafka 版 资源支持的退款情况如下：包年包月的 云消息队列 Kafka 版 资源如需退款，可在控制台上退订实例。详细信息，请参见 实例生命周期管理。按量计费的 云消息队列 Kafka 版 资源在使用后才支付费用，...
什么是云消息队列 Kafka 版？
三分钟了解阿里云 云消息队列 Kafka 版。
迁移概述
迁移路由 云消息队列 Kafka 版 提供全托管、免运维的实例迁移服务，用于自建实例与 云消息队列 Kafka 版 实例之间或者 云消息队列 Kafka 版 实例之间的数据同步，无需借助工具即可在控制台上实现实例迁移，迁移完成后目标集群的元数据与源...
产品概述
本文介绍 云消息队列 Kafka 版 的产品动态、产品简介及产品计费。云消息队列 Kafka 版 动态与公告 产品简介 产品计费 云消息队列 Confluent 版 什么是云消息队列 Confluent 版？产品计费
概述
本文旨在以简单明了的方式引导您快速上手 云消息队列 Kafka 版。操作流程 根据网络类型不同，快速入门的操作流程有所不同，详情请参见 云消息队列 Kafka 版快速入门操作流程。图 1.云消息队列 Kafka 版 快速入门操作流程 操作步骤 具体操作...
为什么不能登录部署云消息队列 Kafka 版的机器？
云消息队列 Kafka 版 提供全托管免运维服务，您无需登录机器。云消息队列 Kafka 版 是全托管的，由 云消息队列 Kafka 版 专业团队进行运维保障，您无需登录机器。集群的一些基础信息会通过监控告警进行透传。
快速入门
如果您首次使用 云消息队列 Kafka 版，您可以参考快速入门文档。快速入门文档 云消息队列 Kafka 版快速入门 云消息队列 Confluent 版快速入门
查看迁移进度
本文说明如何查看自建Kafka集群迁移到 云消息队列 Kafka 版 的进度。前提条件 您已开始自建Kafka集群迁移上云。迁移类型包括：通过命令行迁移 迁移Topic上云 迁移Group上云 迁移数据上云 通过元数据文件迁移上云 迁移自建Kafka集群至新实例...
查看接入点
如需使用SDK接入 云消息队列 Kafka 版 收发消息，您需要根据实例的网络环境类型来配置接入点。本文介绍如何在 云消息队列 Kafka 版 控制台查看接入点。背景信息 云消息队列 Kafka 版 提供以下类型的接入点：默认接入点：适用于在VPC环境...
客户端首次接入云消息队列 Kafka 版时出现异常的排查...
详细信息 客户端首次接入云消息队列 Kafka 版时如果出现异常，您可以通过以下三个方面进行排查：网络连通问题：通常有如下几种情况可能会导致网络不通，客户端无法连接云消息队列 Kafka 版的服务端。ECS实例（客户端）与云消息队列 Kafka ...
为什么额外增加分区要收费？
云消息队列 Kafka 版 优化了集群增加大量分区后带来的性能下降问题。自建开源Apache Kafka...阿里云 云消息队列 Kafka 版 对此进行了优化，单个集群的分区数理论上没有上限。但分区数的增加会消耗一些服务端资源，因此增加分区数需要收费。
操作指南
您可以在 云消息队列 Kafka 版 控制台创建实例、进行消息收发。云消息队列 Kafka 版 V3系列Serverless实例管理 V2系列实例管理 Topic Group Connector生态集成 迁移 权限管理 云消息队列 Confluent 版 集群资源规格评估 实例管理 权限管理 ...
使用ACL功能进行访问控制
背景信息 企业A购买了 云消息队列 Kafka 版，企业A希望用户A只能从 云消息队列 Kafka 版 的所有Topic中消费消息，而不能向 云消息队列 Kafka 版 的任何Topic生产消息。注意事项 Kafka为公网/VPC类型实例提供默认SASL用户，默认SASL用户仅...
为什么需要升级实例来支持监控告警功能？
在控制台上可以查看和设置监控告警功能，但是在2018年11月以前部署的 云消息队列 Kafka 版 集群不支持上报监控告警数据，因此需要升级旧版本的 云消息队列 Kafka 版 实例集群，让它可以上报监控告警数据。若您要升级您的 云消息队列 Kafka ...
欠费说明
欠费影响 如果您购买的为包年包月实例，实例到期后，您账户下的 云消息队列 Kafka 版 服务会切换为 已过期 状态，即您将不能再继续使用 云消息队列 Kafka 版 服务。如果您购买的为按量计费实例 或弹性按量计费实例，当您的账户余额不足以...
默认配置映射关系
源端类型 模式 值 云消息队列 Kafka 版 部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版 部分事件$.data.body 云消息队列 MQTT 版 部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...
通过元数据文件迁移上云
本文介绍如何在 云消息队列 Kafka 版 控制台创建迁移任务，将元数据迁移至 云消息队列 Kafka 版 已有实例。前提条件 下载JDK 8 购买并部署 云消息队列 Kafka 版 实例：购买并部署VPC实例 购买并部署公网/VPC实例 背景信息 Kafka集群元数据...
不在同一可用区内的ECS实例如何访问云消息队列 Kafka ...
详细信息 以非公网的方式访问云消息队列 Kafka 版实例时，必须满足以下两个条件：ECS实例与云消息队列 Kafka 版实例在同一VPC网络实例内。如果ECS实例和云消息队列 Kafka 版实例不在同一个VPC网络实例内，请根据实际情况，重新创建或部署...
基于Flink的资讯场景实时数仓
部署架构图 选用的产品 云消息队列 Kafka 版 云消息队列 Kafka 版 是阿里云基于Apache Kafka构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的...
从自建MySQL同步至云消息队列 Kafka 版
背景信息 云消息队列 Kafka 版 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务，针对开源的Apache Kafka提供全托管服务，彻底解决开源产品长期以来的痛点，您只需专注于业务开发，无需部署运维。云消息队列 Kafka 版 广泛用于日志...
SDK概述
本文介绍 云消息队列 Kafka 版 SDK、支持的多语言SDK。SDK简介 SDK（Software Development Kit）即软件开发工具包，包含示例Demo、库文件、编译工具链以及编译脚本等，不需要开发者进行任何其他的配置，直接可以在SDK对应目录环境下，进行...
- 产品推荐
- 这些文档可能帮助您