大数据组件kafka-大数据组件kafka文档介绍内容-阿里云

Topic删除后不能减少分区？

在 云消息队列 Kafka 版控制台，进入实例详情的基础信息区域，在小版本右侧查看实例版本。如果显示为当前版本为最新版本，则无需处理。如果显示为内部版本升级，请单击内部版本升级，完成版本升级。创建->删除->再创建Topic。...

删除Group后仍然收到消息堆积的告警信息

问题现象使用阿里云 云消息队列 Kafka 版时，删除 Group 后，仍然收到消息堆积的告警信息。可能原因发生消息堆积告警信息的原因如下：2.0.0以前的Kafka服务端版本，开源Kafka未提供删除 Group 和消费位点的OpenAPI，因此删除 Group，...

为什么额外增加分区要收费？

云消息队列 Kafka 版优化了集群增加大量分区后带来的性能下降问题。自建开源Apache Kafka集群分区数大于1000后，集群性能开始急剧下降，遭遇性能瓶颈。阿里云 云消息队列 Kafka 版对此进行了优化，单个集群的分区数理论上没有上限。但...

使用Kafka Connect将MySQL数据同步至云消息队列 Kafka...

本教程介绍如何使用Kafka Connect的Source Connector将MySQL的数据同步至 云消息队列 Kafka 版。背景信息 Kafka Connect主要用于将数据流输入和输出 云消息队列 Kafka 版。Kafka Connect主要通过各种Source Connector的实现，将数据从第三...

Node.js SDK收发消息

本文介绍如何使用Node.js SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境配置安装GCC 安装Node.js 重要 Node.js版本必须大于等于4.0.0。安装OpenSSL 安装C++依赖库执行以下命令切换到yum源配置目录/etc/yum.repos.d/。cd/etc/...

客户端首次接入如何排查问题？

您可以从网络连通、客户端版本、配置这三个方向进行排查。您的客户端首次接入 消息队列Kafka版，通常会被以下三个问题困扰：网络连通客户端版本配置您可以从上述三个方向，一步一步排查，基本上可以解决99%的问题。

新功能发布记录

新增使用限制计费规则欠费说明 2022-05-20 功能名称功能描述功能类型相关文档迁移路由支持自建实例与 云消息队列 Kafka 版实例之间或者 云消息队列 Kafka 版实例之间的数据同步。新增迁移路由 2022-04-18 功能名称功能描述 ...

Go SDK收发消息

本文介绍如何使用Go SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境准备您已安装Go。更多信息，请参见安装Go。说明该kafka-confluent-go-demo不支持Windows系统。准备配置可选：下载SSL根证书。如果是SSL接入点，需下载该...

为什么需要升级实例来支持监控告警功能？

在控制台上可以查看和设置监控告警功能，但是在2018年11月以前部署的 云消息队列 Kafka 版集群不支持上报监控告警数据，因此需要升级旧版本的 云消息队列 Kafka 版实例集群，让它可以上报监控告警数据。若您要升级您的 云消息队列 Kafka ...

StartInstance-部署实例

如需使用云消息队列 Kafka 版收发消息，需要购买并部署才可使用，本文介绍如何调用StartInstance部署实例。接口说明说明单用户请求频率限制为 2 QPS。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后...

ModifyInstanceName-修改实例的名称

实例部署完成后，云消息队列 Kafka 版支持修改实例的名称。本文介绍如何调用ModifyInstanceName修改实例的名称。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码...

报警项状态显示数据不足怎么办？

可能原因老版 云消息队列 Kafka 版实例不支持报警数据上报。解决方案登录 云消息队列 Kafka 版控制台。在概览页面的资源分布区域，选择地域。在实例列表页面，单击目标实例名称。在实例详情页面，单击配置信息页签，然后单击...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...

C++ SDK收发消息

本文介绍如何使用C++ SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境准备您已安装GCC。更多信息，请参见安装GCC。安装C++依赖库执行以下命令切换到yum源配置目录/etc/yum.repos.d/。cd/etc/yum.repos.d/创建yum源配置文件 ...

可观测性及错误定位

登录 云消息队列 Kafka 版控制台，在概览页面的资源分布区域，选择地域。在左侧导航栏，选择 Connector生态集成>消息流入（Source）或者 Connector生态集成>消息流出（Sink）。在消息流入（Source）或者消息流出（Sink）页面，找到...

CreateSaslUser-创建SASL用户

消息队列 Kafka 版优化了 PLAIN 机制，支持不重启实例的情况下动态增加 SASL 用户。scram：一种用户名密码校验机制，安全性比 PLAIN 更高。消息队列 Kafka 版使用 SCRAM-SHA-256。默认值为 plain。plain Mechanism string 否加密方式。...

正式商用公告

正式商用细则 云消息队列 Kafka 版的正式商用细则如下：为提高服务质量和用户体验，云消息队列 Kafka 版全部以商用实例方式提供服务。实例的基本规格和定价信息请参见计费概述。如果您有共享服务需求，可考虑阿里云消息队列RocketMQ 或...

欠费说明

如果过期后168小时依然欠费，云消息队列 Kafka 版实例将被释放，实例释放后数据不可恢复，即您不能再使用 云消息队列 Kafka 版服务。如果需要提前释放实例，可在控制台上强制删除，更多信息，请参见实例生命周期管理。为避免服务停止...

服务关联角色

本文介绍 云消息队列 Kafka 版服务关联角色的背景信息、策略内容、注意事项和常见问题。背景信息服务关联角色是某个云服务在某些情况下，为了完成自身的某个功能，需要获取其他云服务的访问权限而提供的RAM角色。您在该云服务的控制台...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...

默认配置映射关系

源端类型模式值 云消息队列 Kafka 版部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...

DescribeSaslUsers-查询SASL用户

消息队列 Kafka 版优化了 PLAIN 机制，支持不重启实例的情况下动态增加 SASL 用户。scram：一种用户名密码校验机制，安全性比 PLAIN 更高。消息队列 Kafka 版使用 SCRAM-SHA-256。默认值为 plain。scram Password string 密码。Username ...

DeleteSaslUser-删除SASL用户

消息队列 Kafka 版优化了 PLAIN 机制，支持不重启实例的情况下动态增加 SASL 用户。scram：一种用户名密码校验机制，安全性比 PLAIN 更高。消息队列 Kafka 版使用 SCRAM-SHA-256。默认值为 plain。scram Mechanism string 否加密方式。...

使用Canal将MySQL的数据同步至云消息队列 Kafka 版

本教程介绍如何使用Canal将MySQL的数据同步至 云消息队列 Kafka 版。背景信息 Canal的主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。Canal伪装自己为MySQL Slave，向MySQL Master发送dump请求。MySQL Master收到dump...

接入Filebeat

本文介绍如何将 云消息队列 Kafka 版接入Filebeat。Filebeat Filebeat是用于转发和集中日志数据的轻量级传输程序。Filebeat可以监听指定的日志文件或位置，从中收集日志事件并将其转发到Elasticsearch或Logstash进行索引。Filebeat的工作...

开源对比

Topic 创建方式 云消息队列 Kafka 版控制台 云消息队列 Kafka 版 OpenAPI 服务端自动创建（默认不开启）Kafka CLI Kafka Manager 服务端自动创建 云消息队列 Kafka 版默认通过阿里云控制台和OpenAPI管理Topic数据，以实现细粒度的权限...

从自建MySQL同步至云消息队列 Kafka 版

云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升...

Kafka

本文介绍如何通过DLA Serverless Spark访问消息队列Kafka版。重要云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请...

升级实例配置

本文介绍如何在 云消息队列 Kafka 版控制台完成实例升配，升级的配置项包括规格类型、流量规格、磁盘容量及分区规格等。前提条件实例处于服务中或未部署状态。实例中没有进行中的Topic引流任务。注意事项升级实例配置会引发集群逐台...

通过实时计算Flink集成向量数据

您可在 云消息队列Kafka版控制台的实例详情页面的接入点信息区域获取。创建映射表并导入数据创建Flink作业。登录实时计算控制台，在Flink全托管页签，单击目标工作空间操作列下的控制台。在左侧导航栏，单击 SQL开发，单击新建...

消息检索

计费说明 云消息队列 Kafka 版消息检索处于公测阶段，且独立于 云消息队列 Kafka 版实例，因此不会在 云消息队列 Kafka 版侧产生费用，自动创建的表格存储实例和数据表在公测期也不产生费用。同时，阿里云不承诺消息检索的SLA，使用消息...

使用云消息队列 Kafka 版时客户端的报错及解决方案

在使用云消息队列 Kafka 版时，客户端可能报错，您可以根据报错消息匹配对应的解决方案。详细信息报错信息对应的详细信息如下。报错信息客户端语言类型报错原因解决方案 TimeoutException Java 网络问题客户端鉴权（sasl.mechanisms）...

产品优势

云消息队列 Kafka 版 100%兼容开源，支持0.10.x~2.6.x的开源版本，无需代码改造无缝迁移上云，体验全托管、免运维的分布式消息队列服务。开箱即用 云消息队列 Kafka 版 100%兼容开源，使您无缝迁移上云。兼容开源：云消息队列 Kafka 版 100...

为什么不推荐使用Sarama Go客户端收发消息？

问题现象所有Sarama Go版本客户端存在...如果发生了位点重置，产生大量堆积，您可以使用 云消息队列 Kafka 版控制台提供的重置消费位点功能，手动重置消费位点到某一时间点，无需改代码或换Consumer Group。具体操作，请参见重置消费位点。

访问Kafka数据

登录 消息队列Kafka版 控制台，获取访问Kafka数据的连接信息。在实例详情页面的接入点信息区域，获取Kafka实例的域名接入点。在 Topic管理页面，获取Kafka实例的Topic名称。在Lindorm计算引擎中创建Kafka Topic对应的Hive临时表。...

验证迁移结果

迁移类型包括：通过命令行迁移迁移Topic上云迁移Group上云迁移数据上云通过元数据文件迁移上云迁移自建Kafka集群至新实例操作步骤登录 云消息队列 Kafka 版控制台。在概览页面的资源分布区域，选择地域。在实例列表页面，...

支持的数据库

自建Kafka 0.10.1.0~2.7.0版本库表结构同步全量数据同步增量数据同步单向同步 RDS MySQL同步至阿里云消息队列Kafka版 从自建MySQL同步至阿里云消息队列Kafka版 从ECS上的自建MySQL同步至自建Kafka集群从通过专线、VPN网关或智能接入...

升级实例版本

背景信息升级大版本升级大版本是指跨版本升级，例如将 云消息队列 Kafka 版实例的版本从0.10.x版本升级至2.x版本。重要目前新部署实例仅支持2.x版本，存量0.10.x可正常使用。由于2.x版本的消息存储格式与0.10.x版本不同，您在完成升级...

应用场景

云消息队列 Kafka 版以及Storm、Samza、Spark等数据处理引擎的出现，就是为了更好地解决这类数据在处理过程中遇到的问题，数据处理模型能实现在数据流动的过程中对数据进行实时地捕捉和处理，并根据业务需求进行计算分析，最终把结果保存...

使用ACL功能进行访问控制

背景信息企业A购买了 云消息队列 Kafka 版，企业A希望用户A只能从 云消息队列 Kafka 版的所有Topic中消费消息，而不能向 云消息队列 Kafka 版的任何Topic生产消息。注意事项 Kafka为公网/VPC类型实例提供默认SASL用户，默认SASL用户仅...

大数据 组件kafka

新品推荐

大数据组件kafka