大数据kafka-大数据kafka文档介绍内容-阿里云

按量计费转包年包月

前提条件您已购买并部署 云消息队列 Kafka 版实例，且实例运行状态处于服务中或未部署。具体操作，请参见步骤二：购买和部署实例。注意事项按量计费转包年包月的过程中，实例始终处于服务中状态，不会因为实例重启而导致服务短暂不...

使用Kafka Connect将SQL Server数据同步至云消息队列 ...

本教程介绍如何使用Kafka Connect的Source Connector将SQL Server的数据同步至 云消息队列 Kafka 版。前提条件在开始本教程前，请确保您已完成以下操作：已下载SQL Server Source Connector。具体信息，请参见 SQL Server Source ...

续费操作

登录 云消息队列 Kafka 版控制台，在概览页面的资源分布区域，选择地域。在实例列表页面，单击目标实例名称。在实例详情页面，单击概览区域右上角的续费。在续费面板，选择购买时长，并选中消息队列 Kafka（包年包月）服务...

管理预警联系人

添加预警联系人登录 云消息队列 Kafka 版控制台。在左侧导航栏，选择常用工具/链接>预警联系人。在预警联系人页面，单击添加联系人。在添加联系人面板，填写以下信息，然后单击确定。参数描述姓名联系人姓名。手机号码联系人...

Kafka数据源

Kafka数据源为您提供读取和写入Kafka的双向通道，本文为您介绍DataWorks的Kafka数据同步的能力支持情况。支持的版本支持阿里云Kafka，以及=0.10.2且的自建Kafka版本。说明对于版本Kafka，由于Kafka不支持检索分区数据offset，并且Kafka...

新增分区时对应的Topic数量额度

可使用的Topic数量与总分区数强相关。例如，您已购买了分区数为50、流量规格为alikafka.hw.2xlarge、规格内赠送分区数为1000的实例，那么该...云消息队列 Kafka 版 Serverless实例不受此项限制。购买分区的操作步骤，请参见升级实例配置。

用户管理

查看用户列表登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在实例列表页面，单击目标实例名称。在实例详情页面，单击左侧操作栏的用户管理，查看所有用户列表。新增用户在用户管理页面，单击添加LDAP用户。在...

如何处理不活跃的Topic

上述2个关键指标可通过下列2种方式获取：通过管理控制台查看Topic信息登录 云消息队列 Kafka 版控制台。在顶部菜单栏，选择地域。在左侧导航栏，单击实例列表，单击需要查询的Kafka实例名称。在实例详情页面，单击左侧导航栏中的 Topic...

标签管理

本文介绍如何为 云消息队列 Kafka 版的实例、Topic、Group 等资源绑定标签，从而帮助您根据标签给资源归类，高效管理资源。背景信息标签由标签键和标签值组成，可以标记 云消息队列 Kafka 版的资源。如果您的账号下有多种 云消息队列 ...

续费操作

登录 云消息队列 Kafka 版控制台，在概览页面的资源分布区域，选择地域。在实例列表页面，单击目标实例名称。在实例详情页面，单击概览区域右上角的续费。在续费面板，选择购买时长，并选中消息队列 Kafka（包年包月）服务...

Python SDK收发消息

本文介绍如何使用Python SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境准备安装Python 说明 Python版本为2.7或3.X。安装pip 添加Python依赖库执行以下命令安装依赖库。pip install confluent-kafka=1.9.2 重要建议您安装...

RBAC授权

在Control Center页面进行RBAC授权登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在实例列表页面，单击目标实例名称。在实例详情页面，单击右上角的登录控制台。在集群Control Center页面，在右上角选择>Manage ...

为什么在控制台看不到消费者的客户端信息？

问题现象在 云消息队列 Kafka 版控制台的 Topic 详情页面的订阅关系页签，或者在 Group 详情页面的消费状态页签，查看消费详情中的客户端信息为 n/a。可能原因订阅该Topic分区的消费线程已经离线。Group触发Rebalance机制。...

如果已有实例按照Topic规格购买，如何计算Topic、...

云消息队列 Kafka 版不再支持按照Topic规格购买实例。若您的已有实例是按照Topic规格购买 Topic说明如下：不同的流量规格对应不同的Topic或分区数量上限。在默认分区数的基础上，每增购1个Topic，对应增加16个分区。例如，您购买了Topic...

PHP SDK收发消息

说明如果实例未开启ACL，您可以在 云消息队列 Kafka 版控制台的实例详情页面的配置信息区域获取默认的用户名和密码。如果实例已开启ACL，请确保要使用的SASL用户已被授予向 云消息队列 Kafka 版实例收发消息的权限。具体操作，...

路由到云消息队列 Kafka 版

本文介绍如何在事件总线EventBridge 控制台添加 云消息队列 Kafka 版作为事件流中的服务类型。前提条件开通事件总线EventBridge并授权。您已购买并部署 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见购买和部署...

实例生命周期管理

本文介绍 云消息队列 Kafka 版实例的控制台操作说明及生命周期管理过程，生命周期包括部署、释放、恢复实例等。控制台操作说明 云消息队列 Kafka 版实例操作列的可操作性说明如下：操作不显示：不可操作。操作置灰：当前状态下不可操作...

开启幂等功能，发送消息报“Cluster authorization ...

说明 云消息队列 Kafka 版客户端版本在V3.0及以上默认开启幂等功能（即 enable.idempotence=true）。为Cluster添加ACL相关权限，在控制台SASL权限管理页面添加对相应用户的Cluster资源类型的幂等写权限（IDEMPOTENT_WRITE）。更多信息，请...

RAM主子账号授权

背景信息企业A开通了 云消息队列 Kafka 版服务，该企业需要员工操作 云消息队列 Kafka 版服务所涉及的资源，例如实例、Topic、Consumer Group。由于每个员工的工作职责不一样，需要的权限也不一样。企业A的需求如下：出于安全或信任的...

升级Broker可能产生哪些影响？

升级Broker可能产生以下影响：升级过程中，会逐个重启 云消息队列 Kafka 版集群中所有的Broker。在重启Broker的过程中服务不会中断，但是从每个Broker重启完成之后的5分钟内消费的分区消息可能会发生乱序。重启过程中已有的客户端连接可能...

升降配管理

本文介绍如何在 云消息队列 Kafka 版控制台完成实例升配或降配，配置项包括规格类型、实例类型、发送能力预留和订阅能力预留等。前提条件实例处于服务中或未部署状态。升降配说明为保障在预留规格生效时间内升配或者降配至预设容量...

消息队列Kafka版

本文介绍如何在云消息队列 RocketMQ 版控制台创建流出目标为 云消息队列 Kafka 版的消息流出任务。前提条件您已购买云消息队列 RocketMQ 版实例，且实例处于服务中状态。具体步骤，请参见创建资源。您已购买并部署 云消息队列 ...

什么是云消息队列 Kafka 版？

云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。产品优势 云消息队列 Kafka 版针对开源的Apache Kafka提供全托管服务，解决开源产品的痛点。有了云...

删除Group后仍然收到消息堆积的告警信息

问题现象使用阿里云 云消息队列 Kafka 版时，删除 Group 后，仍然收到消息堆积的告警信息。可能原因发生消息堆积告警信息的原因如下：2.0.0以前的Kafka服务端版本，开源Kafka未提供删除 Group 和消费位点的OpenAPI，因此删除 Group，...

客户端首次接入如何排查问题？

您可以从网络连通、客户端版本、配置这三个方向进行排查。您的客户端首次接入 消息队列Kafka版，通常会被以下三个问题困扰：网络连通客户端版本配置您可以从上述三个方向，一步一步排查，基本上可以解决99%的问题。

使用Kafka Connect将MySQL数据同步至云消息队列 Kafka...

本教程介绍如何使用Kafka Connect的Source Connector将MySQL的数据同步至 云消息队列 Kafka 版。背景信息 Kafka Connect主要用于将数据流输入和输出 云消息队列 Kafka 版。Kafka Connect主要通过各种Source Connector的实现，将数据从第三...

Node.js SDK收发消息

本文介绍如何使用Node.js SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境配置安装GCC 安装Node.js 重要 Node.js版本必须大于等于4.0.0。安装OpenSSL 安装C++依赖库执行以下命令切换到yum源配置目录/etc/yum.repos.d/。cd/etc/...

Go SDK收发消息

本文介绍如何使用Go SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境准备您已安装Go。更多信息，请参见安装Go。说明该kafka-confluent-go-demo不支持Windows系统。准备配置可选：下载SSL根证书。如果是SSL接入点，需下载该...

为什么额外增加分区要收费？

云消息队列 Kafka 版优化了集群增加大量分区后带来的性能下降问题。自建开源Apache Kafka集群分区数大于1000后，集群性能开始急剧下降，遭遇性能瓶颈。阿里云 云消息队列 Kafka 版对此进行了优化，单个集群的分区数理论上没有上限。但...

云消息队列 Kafka 版

本文介绍如何在云消息队列 RabbitMQ 版控制台创建消息流入任务，将 云消息队列 Kafka 版中的数据快速导入云消息队列 RabbitMQ 版。前提条件您已购买云消息队列 RabbitMQ 版实例，且实例处于服务中状态。具体步骤，请参见创建资源...

StartInstance-部署实例

如需使用云消息队列 Kafka 版收发消息，需要购买并部署才可使用，本文介绍如何调用StartInstance部署实例。接口说明说明单用户请求频率限制为 2 QPS。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后...

使用Kafka（离线与实时）

Kafka数据写入MaxCompute流程：阿里云全托管Kafka MaxCompute与消息队列Kafka版服务紧密集成，借助消息队列Kafka版服务的MaxCompute Sink Connector，无需第三方工具及二次开发，即可满足将指定Topic数据持续导入MaxCompute数据表的需求，...

新功能发布记录

新增使用限制计费规则欠费说明 2022-05-20 功能名称功能描述功能类型相关文档迁移路由支持自建实例与 云消息队列 Kafka 版实例之间或者 云消息队列 Kafka 版实例之间的数据同步。新增迁移路由 2022-04-18 功能名称功能描述 ...

kafka-console-producer.sh-broker-list core-1-1:9092-producer.config client.properties-topic test 执行以下命令，消费数据。kafka-console-consumer.sh-bootstrap-server core-1-1:9092-consumer.config client.properties-topic test...

使用SASL登录认证Kafka服务

kafka-producer-perf-test.sh-topic test-num-records 123456-throughput 10000-record-size 1024-producer-props bootstrap.servers=core-1-1:9092-producer.config sasl.properties 执行以下命令，使用SASL配置文件消费数据。kafka-...

Kafka Rebalancer工具介绍

kafka-producer-perf-test.sh-producer-props bootstrap.servers=core-1-1:9092-num-records 70000000-throughput 200000-record-size 1000-topic balance-disks-topic 均衡Broker 0上的磁盘。kafka-rebalancer.sh-bootstrap-server core-1...

ECI日志采集对接Kafka

本文介绍如何将ECI实例的日志采集到Kafka中。前提条件 ECI实例和Kafka之间网络互通。如果您在阿里云上部署Kafka，建议将Kafka和ECI实例...例如：如果使用的是阿里云 云消息队列 Kafka 版，可以在消息查询页面查询到ECI的日志，如下图所示。

ModifyInstanceName-修改实例的名称

实例部署完成后，云消息队列 Kafka 版支持修改实例的名称。本文介绍如何调用ModifyInstanceName修改实例的名称。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码...

Topic删除后不能减少分区？

在 云消息队列 Kafka 版控制台，进入实例详情的基础信息区域，在小版本右侧查看实例版本。如果显示为当前版本为最新版本，则无需处理。如果显示为内部版本升级，请单击内部版本升级，完成版本升级。创建->删除->再创建Topic。...

为什么需要升级实例来支持监控告警功能？

在控制台上可以查看和设置监控告警功能，但是在2018年11月以前部署的 云消息队列 Kafka 版集群不支持上报监控告警数据，因此需要升级旧版本的 云消息队列 Kafka 版实例集群，让它可以上报监控告警数据。若您要升级您的 云消息队列 Kafka ...

大数据kafka

新品推荐