kafka的数据存储-kafka的数据存储文档介绍内容-阿里云

Kafka集群的数据存储格式

DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...

Kafka集群的数据存储格式

DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...

将Kafka数据同步到表格存储

消息检索

背景信息 云消息队列 Kafka 版消息检索借助 云消息队列 Kafka 版的Connector功能及表格存储（Tablestore）实现，通过Connector对Topic中的消息进行转储，发送到表格存储中的数据表中，由表格存储索引功能提供消息检索的能力。开通消息...

将云消息队列 Kafka 版接入阿里云Elasticsearch

云消息队列 Kafka 版 云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。更...

产品架构

云消息队列 Kafka 版系统架构如 云消息队列 Kafka 版的系统架构所示，一个 云消息队列 Kafka 版集群包括Producer、Kafka Broker、Group、ZooKeeper。图 1.云消息队列 Kafka 版的系统架构 Producer 通过push模式向 云消息队列 Kafka 版...

迁移概述

迁移路由 云消息队列 Kafka 版提供全托管、免运维的实例迁移服务，用于自建实例与 云消息队列 Kafka 版实例之间或者 云消息队列 Kafka 版实例之间的数据同步，无需借助工具即可在控制台上实现实例迁移，迁移完成后目标集群的元数据与源...

控制台看到的最近消费时间是什么意思？

消息发布到 云消息队列 Kafka 版服务器的存储时间。控制台看到的最近消费时间是指消息发布到 云消息队列 Kafka 版服务器的存储时间。如果消费没有堆积，那么这个时间接近发送时间。

迁移上云

云消息队列 Kafka 版提供全托管、免运维的迁移上云服务，用于自建实例或跨云云实例与 云消息队列 Kafka 版实例之间的数据同步。本文介绍迁移上云的源实例类型、使用限制、跨VPC数据同步以及使用流程。前提条件您已购买并部署 云消息队列...

创建RabbitMQ Sink Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流出任务，将 云消息队列 Kafka 版 的数据导出至云消息队列 RabbitMQ 版。前提条件您已购买并部署 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和...

创建RocketMQ Sink Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流出任务，将 云消息队列 Kafka 版 的数据导出至云消息队列 RocketMQ 版。前提条件您已购买云消息队列 RocketMQ 版实例，且实例处于服务中状态。具体步骤，请参见创建资源。您已...

为什么限制Topic总数（分区总数）？

Topic总数（分区总数）太多会使集群性能和稳定性能急剧下降。云消息队列 Kafka 版的存储和协调机制是以分区为粒度的，分区数太多，会导致存储碎片化严重，集群性能和稳定性都会急剧下降。

新功能发布记录

新增使用限制计费规则欠费说明 2022-05-20 功能名称功能描述功能类型相关文档迁移路由支持自建实例与 云消息队列 Kafka 版实例之间或者 云消息队列 Kafka 版实例之间的数据同步。新增迁移路由 2022-04-18 功能名称功能描述 ...

创建MNS Sink Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流出任务，将 云消息队列 Kafka 版 的数据导出至消息服务。前提条件您已购买并部署 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和部署实例。您...

评估规格

使用说明 云消息队列 Kafka 版提供的规格评估功能将根据您输入的自建Kafka集群的信息，如集群流量情况、磁盘容量和类型、分区数量等，来为您评估并推荐需要的 云消息队列 Kafka 版实例规格，帮助您提前根据推荐部署 云消息队列 Kafka 版 ...

云消息队列 Kafka 版服务等级协议

云消息队列 Kafka 版规定了阿里云向客户提供的阿里云 云消息队列 Kafka 版的服务可用性等级指标及赔偿方案。如需查看 云消息队列 Kafka 版的服务可用性等级指标及赔偿方案，请参见 云消息队列 Kafka 版服务等级协议。

退款说明

根据计费方式的特点，云消息队列 Kafka 版资源支持的退款情况如下：包年包月的 云消息队列 Kafka 版资源如需退款，可在控制台上退订实例。详细信息，请参见实例生命周期管理。按量计费的 云消息队列 Kafka 版资源在使用后才支付费用，...

概述

本文旨在以简单明了的方式引导您快速上手 云消息队列 Kafka 版。操作流程根据网络类型不同，快速入门的操作流程有所不同，详情请参见 云消息队列 Kafka 版快速入门操作流程。图 1.云消息队列 Kafka 版快速入门操作流程操作步骤具体操作...

产品概述

本文介绍 云消息队列 Kafka 版的产品动态、产品简介及产品计费。云消息队列 Kafka 版动态与公告产品简介产品计费云消息队列 Confluent 版什么是云消息队列 Confluent 版？产品计费

客户端首次接入云消息队列 Kafka 版时出现异常的排查...

详细信息客户端首次接入云消息队列 Kafka 版时如果出现异常，您可以通过以下三个方面进行排查：网络连通问题：通常有如下几种情况可能会导致网络不通，客户端无法连接云消息队列 Kafka 版的服务端。ECS实例（客户端）与云消息队列 Kafka ...

集成概述

概念介绍—消息流出（Sink）消息流出的主要能力是将 云消息队列 Kafka 版 的数据流出到各类数据目标，Connector生态集成模块对 云消息队列 Kafka 版的消息进行可靠分发，同时在分发时对消息数据进行清洗和过滤。概念介绍—数据处理...

我使用的Connector组件如何计费？

云消息队列 Kafka 版的Connector组件处于公测阶段，且独立于 云消息队列 Kafka 版实例，因此不会在 云消息队列 Kafka 版侧产生费用。同时阿里云不承诺Connector的SLA，Connector显示依赖的其他产品的SLA和费用说明请以对应产品为准。

使用ACL功能进行访问控制

背景信息企业A购买了 云消息队列 Kafka 版，企业A希望用户A只能从 云消息队列 Kafka 版的所有Topic中消费消息，而不能向 云消息队列 Kafka 版的任何Topic生产消息。注意事项 Kafka为公网/VPC类型实例提供默认SASL用户，默认SASL用户仅...

通过元数据文件迁移上云

本文介绍如何在 云消息队列 Kafka 版控制台创建迁移任务，将元数据迁移至 云消息队列 Kafka 版已有实例。前提条件下载JDK 8 购买并部署 云消息队列 Kafka 版实例：购买并部署VPC实例购买并部署公网/VPC实例背景信息 Kafka集群元数据...

是否支持压缩消息？

云消息队列 Kafka 版服务端支持收发压缩消息。如需使用压缩消息，您需要在 云消息队列 Kafka 版的客户端进行设置。在 云消息队列 Kafka 版客户端进行消息压缩的说明如下：压缩格式：支持Snappy、LZ4、GZIP等压缩格式。其中，GZIP对CPU的...

SDK概述

本文介绍 云消息队列 Kafka 版 SDK、支持的多语言SDK。SDK简介 SDK（Software Development Kit）即软件开发工具包，包含示例Demo、库文件、编译工具链以及编译脚本等，不需要开发者进行任何其他的配置，直接可以在SDK对应目录环境下，进行...

使用云消息队列 Kafka 版时出现“Not authorized to ...

问题描述使用云消息队列 Kafka 版时出现“Not authorized to access group”的错误信息。问题原因没有创建Consumer Group时会遇到此报错信息。解决方案您可以选择如下任意一种方式创建Consumer Group。在云消息队列 Kafka 版的控制台...

创建OSS Sink Connector（旧版）

本文介绍如何创建使用OSS Sink Connector，您可以通过OSS Sink Connector将数据从 云消息队列 Kafka 版 的数据源Topic导出至对象存储OSS的Object中。前提条件详细步骤，请参见创建前提。步骤一：创建目标服务资源在对象存储OSS控制台...

查看接入点

如需使用客户端连接 云消息队列 Kafka 版收发消息，您需要根据客户端的网络环境类型及传输的安全需要来配置接入点。默认接入点适用于在保密性较高的VPC环境收发消息；SASL接入点适用于无需对传输链路加密但需对消息收发鉴权；同时需要链路...

能否通过公网访问云消息队列 Kafka 版实例？

网络类型为公网/VPC的 云消息队列 Kafka 版实例支持通过公网访问。云消息队列 Kafka 版提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问，请购买公网/VPC实例。如果已购买VPC实例，请升级实例配置，变更VPC实例为公网/VPC实例。更...

升级实例配置

本文介绍如何在 云消息队列 Kafka 版控制台完成实例升配，升级的配置项包括规格类型、流量规格、磁盘容量及分区规格等。前提条件实例处于服务中或未部署状态。实例中没有进行中的Topic引流任务。注意事项升级实例配置会引发集群逐台...

是否支持Compact的日志清理策略？

开源版本为2.2.0或以上的 云消息队列 Kafka 版实例支持Compact的日志清理策略。开源版本为2.2.0或以上的 云消息队列 Kafka 版实例支持Compact的日志清理策略。如需升级实例的开源版本以支持Compact的日志清理策略，请参见升级大版本。

计费概述

说明 云消息队列 Kafka 版的Connector组件依赖于事件总线，云消息队列 Kafka 版不会额外收取费用。事件总线的计费说明，请参见计费说明。同时，阿里云不承诺Connector的SLA，使用Connector所依赖的其他产品的SLA和费用说明请以对应...

无法ping通云消息队列 Kafka 版的接入点

问题描述无法ping通云消息队列 Kafka 版的接入点。本地客户端无法telnet Kafka或提示连接超时（Connection timed out）。问题原因为了保证安全，云消息队列 Kafka 版集群默认禁ping。连接VPC接入点时，客户端与Kafka不在同一VPC下。解决...

如何通过代理访问云消息队列 Kafka 版实例

概述暂不支持通过代理访问云消息队列 Kafka 版实例，具体请查看详细信息。详细信息 云消息队列 Kafka 版的客户端访问服务端的原理如下。通过 bootstrap.servers 随机访问服务器获取Metadata。通过Metadata里的IP地址进行后续的消息收发。...

创建OSS Sink Connector（新版）

本文介绍如何创建使用OSS Sink Connector，您可以通过OSS Sink Connector将数据从 云消息队列 Kafka 版 的数据源Topic导出至对象存储OSS的Object中。前提条件详细步骤，请参见创建前提。注意事项 Connector基于事件被处理的时间做时间...

Kafka数据源

支持的字段类型 Kafka的数据存储为非结构化的存储，通常Kafka记录的数据模块有key、value、offset、timestamp、headers、partition。DataWorks在对Kafka数据进行读写时，会按照以下的策略进行数据处理。离线读数据 DataWorks读取Kafka数据...

Kafka数据接入

通过创建Tablestore Sink Connector，将 云消息队列 Kafka 版实例的数据源Topic导出到表格存储（Tablestore）。前提条件 云消息队列 Kafka 版已为实例开启Connector。具体操作，请参见开启Connector。已为实例创建数据源Topic。更多...

使用MongoDB Connector连接MongoDB数据库

本文介绍如何创建MongoDB Connector，将MongoDB数据库和 云消息队列 Kafka 版 的数据进行双向同步。前提条件开通事件总线EventBridge并授权。已开通对象存储OSS服务并创建存储空间（Bucket）。更多信息，请参见控制台创建存储空间。已...

服务支持

本文汇总了 云消息队列 Kafka 版的常见问题与以及服务等级协议。服务支持常见问题相关协议

kafka的数据存储

新品推荐