使用Kafka Connect将MySQL数据同步至云消息队列 Kafka...
本教程介绍如何使用Kafka Connect的Source Connector将MySQL的数据同步至 云消息队列 Kafka 版。背景信息 Kafka Connect主要用于将数据流输入和输出 云消息队列 Kafka 版。Kafka Connect主要通过各种Source Connector的实现，将数据从第三...
从自建MySQL同步至云消息队列 Kafka 版
通过数据传输服务DTS（Data Transmission Service），您可以将自建MySQL同步至 云消息队列 Kafka 版，扩展消息处理能力。前提条件 您已完成以下操作：自建MySQL数据库且数据库版本为5.1、5.5、5.6、5.7或8.0版本。购买并部署 云消息队列 ...
使用Canal将MySQL的数据同步至云消息队列 Kafka 版
本教程介绍如何使用Canal将MySQL的数据同步至 云消息队列 Kafka 版。背景信息 Canal的主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。Canal伪装自己为MySQL Slave，向MySQL Master发送dump请求。MySQL Master收到dump...
使用Debezium将MySQL数据同步至云消息队列 Kafka 版
本文介绍如何创建Debezium MySQL Source Connector，将MySQL的数据同步至 云消息队列 Kafka 版。前提条件 已开通事件总线EventBridge并授权。已开通对象存储OSS服务并创建存储空间（Bucket）。更多信息，请参见 控制台创建存储空间。已开通...
使用Debezium将MySQL数据同步至云消息队列 Kafka 版
本文介绍如何创建Debezium MySQL Source Connector，将MySQL的数据同步至 云消息队列 Kafka 版。前提条件 已开通事件总线EventBridge并授权。已开通对象存储OSS服务并创建存储空间（Bucket）。更多信息，请参见 控制台创建存储空间。已开通...
MySQL整库同步Kafka
支持使用自建Kafka集群，EMR的Kafka集群和 云消息队列 Kafka 版。使用 云消息队列 Kafka 版 时，只能通过 默认接入点 使用。upsert-kafka表暂未支持作为CTAS和CDAS语法的源表，upsert-kafka表只能作为CTAS和CDAS同步的结果表。Kafka集群的...
RDS MySQL迁移至阿里云消息队列Kafka版
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 RDS MySQL 迁移至 阿里云消息队列Kafka版。前提条件 已创建源实例 RDS MySQL 和目标实例 阿里云消息队列Kafka版。说明 源实例 RDS MySQL 的创建方式，请参见 快速创建...
RDS MySQL同步至阿里云消息队列Kafka版
数据传输服务DTS（Data Transmission Service）支持 RDS MySQL 实例同步至 阿里云消息队列Kafka版。前提条件 已创建源实例 RDS MySQL 和目标实例 阿里云消息队列Kafka版。说明 源实例 RDS MySQL 的创建方式，请参见 快速创建RDS MySQL实例...
RDS MySQL同步至阿里云消息队列Kafka版
数据传输服务DTS（Data Transmission Service）支持 RDS MySQL 实例同步至 阿里云消息队列Kafka版。前提条件 已创建源实例 RDS MySQL 和目标实例 阿里云消息队列Kafka版。说明 源实例 RDS MySQL 的创建方式，请参见 快速创建RDS MySQL实例...
从自建MySQL同步至阿里云消息队列Kafka版
通过数据传输服务DTS（Data Transmission Service），您可以将自建MySQL同步至消息队列Kafka版，扩展消息处理能力。前提条件 自建MySQL的数据库版本为5.1、5.5、5.6、5.7或8.0版本。目标Kafka实例的版本为0.10.1.0-2.x版本。目标Kafka实例...
从RDS MySQL迁移至自建Kafka
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到...
从ECS上的自建MySQL同步至自建Kafka集群
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
从ECS上的自建MySQL同步至自建Kafka集群
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
从通过专线、VPN网关或智能接入网关接入的自建MySQL...
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
从通过专线、VPN网关或智能接入网关接入的自建MySQL...
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
访问Kafka数据源
本文介绍如何使用 AnalyticDB MySQL 湖仓版（3.0）Spark通过ENI网络访问消息队列Kafka版。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群。具体操作，请参见 创建湖仓版（3.0）集群。已创建Job型资源组。具体操作，请参见 新建资源组...
通过数据同步功能同步Kafka至湖仓版（推荐）
已创建 云消息队列 Kafka 版（简称 Kafka）实例，且与 湖仓版（3.0）集群部署在相同地域。已创建 Kafka Topic，并发送消息。详情请参见 消息队列Kafka版快速入门操作流程。注意事项 Kafka中创建的Topic数据超过一定的时间会被自动清理，...
使用JDBC Connector同步MySQL数据
本文介绍如何创建JDBC Connector，将MySQL和 云消息队列 Kafka 版 的数据进行互相同步。前提条件 已开通事件总线EventBridge并授权。已开通对象存储OSS服务并创建存储空间（Bucket）。更多信息，请参见 控制台创建存储空间。已开通...
产品架构
云消息队列 Kafka 版 系统架构 如 云消息队列 Kafka 版的系统架构 所示，一个 云消息队列 Kafka 版 集群包括Producer、Kafka Broker、Group、ZooKeeper。图 1.云消息队列 Kafka 版 的系统架构 Producer 通过push模式向 云消息队列 Kafka 版...
云消息队列 Kafka 版服务等级协议
云消息队列 Kafka 版 规定了阿里云向客户提供的阿里云 云消息队列 Kafka 版 的服务可用性等级指标及赔偿方案。如需查看 云消息队列 Kafka 版 的服务可用性等级指标及赔偿方案，请参见 云消息队列 Kafka 版服务等级协议。
什么是云消息队列 Kafka 版？
云消息队列 Kafka 版 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。产品优势 云消息队列 Kafka 版 针对开源的Apache Kafka提供全托管服务，解决开源产品的痛点。有了 云...
开源对比
Topic 创建方式 云消息队列 Kafka 版 控制台 云消息队列 Kafka 版 OpenAPI 服务端自动创建（默认不开启）Kafka CLI Kafka Manager 服务端自动创建 云消息队列 Kafka 版 默认通过阿里云控制台和OpenAPI管理Topic数据，以实现细粒度的权限...
使用JDBC Connector同步MySQL数据
本文介绍如何创建JDBC Connector，将MySQL和 云消息队列 Kafka 版 的数据进行互相同步。前提条件 已开通事件总线EventBridge并授权。已开通对象存储OSS服务并创建存储空间（Bucket）。更多信息，请参见 控制台创建存储空间。已开通...
评估规格
使用说明 云消息队列 Kafka 版 提供的规格评估功能将根据您输入的自建Kafka集群的信息，如集群流量情况、磁盘容量和类型、分区数量等，来为您评估并推荐需要的 云消息队列 Kafka 版 实例规格，帮助您提前根据推荐部署 云消息队列 Kafka 版 ...
迁移概述
迁移路由 云消息队列 Kafka 版 提供全托管、免运维的实例迁移服务，用于自建实例与 云消息队列 Kafka 版 实例之间或者 云消息队列 Kafka 版 实例之间的数据同步，无需借助工具即可在控制台上实现实例迁移，迁移完成后目标集群的元数据与源...
退款说明
根据计费方式的特点，云消息队列 Kafka 版 资源支持的退款情况如下：包年包月的 云消息队列 Kafka 版 资源如需退款，可在控制台上退订实例。详细信息，请参见 实例生命周期管理。按量计费的 云消息队列 Kafka 版 资源在使用后才支付费用，...
概述
本文旨在以简单明了的方式引导您快速上手 云消息队列 Kafka 版。操作流程 根据网络类型不同，快速入门的操作流程有所不同，详情请参见 云消息队列 Kafka 版快速入门操作流程。图 1.云消息队列 Kafka 版 快速入门操作流程 操作步骤 具体操作...
为什么不能登录部署云消息队列 Kafka 版的机器？
云消息队列 Kafka 版 提供全托管免运维服务，您无需登录机器。云消息队列 Kafka 版 是全托管的，由 云消息队列 Kafka 版 专业团队进行运维保障，您无需登录机器。集群的一些基础信息会通过监控告警进行透传。
查看迁移进度
操作步骤 重要 云消息队列 Kafka 版 不支持数据迁移和位点迁移信息上报，即如果您已经开始数据迁移或位点迁移，您目前无法在 云消息队列 Kafka 版 控制台查看迁移进度。登录 云消息队列 Kafka 版 控制台。在 概览 页面的 资源分布 区域，...
产品概述
本文介绍 云消息队列 Kafka 版 的产品动态、产品简介及产品计费。云消息队列 Kafka 版 动态与公告 产品简介 产品计费 云消息队列 Confluent 版 什么是云消息队列 Confluent 版？产品计费
快速入门
如果您首次使用 云消息队列 Kafka 版，您可以参考快速入门文档。快速入门文档 云消息队列 Kafka 版快速入门 云消息队列 Confluent 版快速入门
新功能发布记录
新增 使用限制 计费规则 欠费说明 2022-05-20 功能名称 功能描述 功能类型 相关文档 迁移路由 支持自建实例与 云消息队列 Kafka 版 实例之间或者 云消息队列 Kafka 版 实例之间的数据同步。新增 迁移路由 2022-04-18 功能名称 功能描述 ...
查看接入点
如需使用SDK接入 云消息队列 Kafka 版 收发消息，您需要根据实例的网络环境类型来配置接入点。本文介绍如何在 云消息队列 Kafka 版 控制台查看接入点。背景信息 云消息队列 Kafka 版 提供以下类型的接入点：默认接入点：适用于在VPC环境...
客户端首次接入云消息队列 Kafka 版时出现异常的排查...
详细信息 客户端首次接入云消息队列 Kafka 版时如果出现异常，您可以通过以下三个方面进行排查：网络连通问题：通常有如下几种情况可能会导致网络不通，客户端无法连接云消息队列 Kafka 版的服务端。ECS实例（客户端）与云消息队列 Kafka ...
基本概念
Connector 云消息队列 Kafka 版 的组件，用于 云消息队列 Kafka 版 和其他阿里云服务之间的数据同步。更多信息，请参见 Connector概述。标签 用于识别 云消息队列 Kafka 版 资源。您可以将作用相同的 云消息队列 Kafka 版 的资源归类，便于...
产品优势
云消息队列 Kafka 版 100%兼容开源，支持0.10.x~2.6.x的开源版本，无需代码改造无缝迁移上云，体验全托管、免运维的分布式消息队列服务。开箱即用 云消息队列 Kafka 版 100%兼容开源，使您无缝迁移上云。兼容开源：云消息队列 Kafka 版 100...
步骤一：获取访问授权
开通 云消息队列 Kafka 版 服务需要使用阿里云其他云产品中的资源，因此，您需要先授权 云消息队列 Kafka 版 访问您所拥有的其他阿里云资源。前提条件 注册阿里云账号并完成实名认证。详情请参见 注册阿里云账号。背景信息 为了方便您快速...
常见问题
使用云消息队列 Kafka 版时客户端的报错及解决方案 无法ping通云消息队列 Kafka 版的接入点 客户端消费问题 订阅者最佳实践 客户端首次接入云消息队列 Kafka 版时出现异常的排查方法 使用云消息队列 Kafka 版时出现消息堆积 为什么消费客户...
欠费说明
如果过期后168小时依然欠费，云消息队列 Kafka 版 实例将被释放，实例释放后数据不可恢复，即您不能再使用 云消息队列 Kafka 版 服务。如果需要提前释放实例，可在控制台上强制删除，更多信息，请参见 实例生命周期管理。为避免服务停止...
- 产品推荐
- 这些文档可能帮助您