kafka在大数据中的应用场景-kafka在大数据中的应用场景文档介绍内容-阿里云

使用限制

云消息队列 Kafka 版对某些具体指标进行了约束和规范，您在使用 云消息队列 Kafka 版时注意不要超过相应的限制值，以免程序出现异常。重要若由于您的实例配置超出使用限制导致的任何不稳定情况，不在SLA承诺和赔偿范围内。云消息队列 ...

实例支持哪些开源版本？

云消息队列 Kafka 版标准版与专业版实例支持的开源版本是2.2.0、2.6.2版本，同时兼容对应的2.2.x、2.6.x的客户端。您在购买实例后，可在部署实例时选择2.2.0或2.6.2版本。建议您使用2.2.0及以上的版本。如需升级版本，请参见升级实例版本...

迁移上云

云消息队列 Kafka 版提供全托管、免运维的迁移上云服务，用于自建实例或跨云云实例与 云消息队列 Kafka 版实例之间的数据同步。本文介绍迁移上云的源实例类型、使用限制、跨VPC数据同步以及使用流程。前提条件您已购买并部署 云消息队列...

是否支持压缩消息？

云消息队列 Kafka 版服务端支持收发压缩消息。如需使用压缩消息，您需要在 云消息队列 Kafka 版的客户端进行设置。在 云消息队列 Kafka 版客户端进行消息压缩的说明如下：压缩格式：支持Snappy、LZ4、GZIP等压缩格式。其中，GZIP对CPU的...

基本概念

分区 云消息队列 Kafka 版中的分区数是指一个主题（Topic）被划分为的子数据集的数量。每个分区都是一个有序的消息队列，可以独立地进行读写操作。分区数的选择通常根据吞吐量和并发性能的需求来决定。副本数 云消息队列 Kafka 版允许为...

接入Filebeat

本文介绍如何将 云消息队列 Kafka 版接入Filebeat。Filebeat Filebeat是用于转发和集中日志数据的轻量级传输程序。Filebeat可以监听指定的日志文件或位置，从中收集日志事件并将其转发到Elasticsearch或Logstash进行索引。Filebeat的工作...

是否支持Compact的日志清理策略？

开源版本为2.2.0或以上的 云消息队列 Kafka 版实例支持Compact的日志清理策略。开源版本为2.2.0或以上的 云消息队列 Kafka 版实例支持Compact的日志清理策略。如需升级实例的开源版本以支持Compact的日志清理策略，请参见升级大版本。

为什么Group的状态一直处于“删除中”？

问题现象在 云消息队列 Kafka 版控制台的 Group 管理页面删除Group后，此Group的状态一直处于删除中。可能原因 Group中存在活跃的订阅关系。Group上有消费线程在提交新的消费位点。解决方案登录 云消息队列 Kafka 版控制台，查看...

服务关联角色

本文介绍 云消息队列 Kafka 版服务关联角色的背景信息、策略内容、注意事项和常见问题。背景信息服务关联角色是某个云服务在某些情况下，为了完成自身的某个功能，需要获取其他云服务的访问权限而提供的RAM角色。您在该云服务的控制台...

默认配置映射关系

源端类型模式值 云消息队列 Kafka 版部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...

SSL证书算法升级说明

前提条件您已购买 云消息队列 Kafka 版公网实例，且实例处于服务中状态。背景信息您的实例开启公网时，会启动SSL相关的端口，在 云消息队列 Kafka 版控制台的配置信息页面可以看到SSL证书算法位数。请根据您的安全需求按需选择...

计费概述

说明 云消息队列 Kafka 版的Connector组件依赖于事件总线，云消息队列 Kafka 版不会额外收取费用。事件总线的计费说明，请参见计费说明。同时，阿里云不承诺Connector的SLA，使用Connector所依赖的其他产品的SLA和费用说明请以对应...

迁移Topic上云

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将自建Kafka集群的Topic迁移到 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 版实例...

基于Flink的资讯场景实时数仓

部署架构图选用的产品云消息队列 Kafka 版 云消息队列 Kafka 版是阿里云基于Apache Kafka构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的...

常见问题

使用云消息队列 Kafka 版时客户端的报错及解决方案无法ping通云消息队列 Kafka 版的接入点客户端消费问题订阅者最佳实践客户端首次接入云消息队列 Kafka 版时出现异常的排查方法 使用云消息队列 Kafka 版时出现消息堆积为什么消费客户...

不在同一可用区内的ECS实例如何访问云消息队列 Kafka ...

详细信息以非公网的方式访问云消息队列 Kafka 版实例时，必须满足以下两个条件：ECS实例与云消息队列 Kafka 版实例在同一VPC网络实例内。如果ECS实例和云消息队列 Kafka 版实例不在同一个VPC网络实例内，请根据实际情况，重新创建或部署...

搭配云HBase和Spark构建一体化数据处理平台

实时计算：通过X-Pack Spark Streaming实时地消费 云消息队列 Kafka 版的消息，写入到云HBase中对外提供在线查询。实时存储与检索：云HBase融合Solr以及Phoenix SQL层能够提供海量的实时存储，以及在线查询检索。批处理、数仓及算法：在线...

Kafka兼容说明

流引擎的流表兼容Kafka协议，支持通过开源Kafka客户端写入数据，也支持通过Kafka生态工具将MySQL、日志等数据投递至流引擎。本文介绍通过开源Kafka客户端将数据写入流表的操作步骤。操作步骤获取流引擎连接地址。具体操作，请参见查看...

自由使用Group

前提条件您已购买并部署 云消息队列 Kafka 版实例，且该实例必须满足以下条件：项目说明状态服务中。版本大版本为2.2.0，且小版本为最新版本。说明您可以在 云消息队列 Kafka 版控制台的实例详情页面的基础信息区域查看实例的...

接入Logstash

本文介绍如何将 云消息队列 Kafka 版接入Logstash。Logstash Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。Logstash的数据处理流程如下：输入：采集各种格式、...

用户管理

查看用户列表登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在实例列表页面，单击目标实例名称。在实例详情页面，单击左侧操作栏的用户管理，查看所有用户列表。新增用户在用户管理页面，单击添加LDAP用户。在...

降低实例配置

如果您的 云消息队列 Kafka 版实例的公网流量消耗远小于购买的公网流量配置，或者分区的使用量远小于购买的分区数量，您可以降低公网流量和分区数量配置，从而节约成本。本文介绍如何在 云消息队列 Kafka 版控制台降低实例的公网流量、...

Kafka集群的数据存储格式

Shareplex Json：数据复制软件 Shareplex 读取源库中的数据，将数据写入至Kafka集群时，数据存储格式为Shareplex Json。Canal Json：Canal 解析数据库增量日志，并将增量数据传输至Kafka集群，数据存储格式为Canal Json。DTS Avro DTS Avro...

Kafka集群的数据存储格式

Shareplex Json：数据复制软件 Shareplex 读取源库中的数据，将数据写入至Kafka集群时，数据存储格式为Shareplex Json。Canal Json：Canal 解析数据库增量日志，并将增量数据传输至Kafka集群，数据存储格式为Canal Json。DTS Avro DTS Avro...

查看任务执行记录

在某个实例下发起重启类任务（包括实例升降配、定时任务）后，您可以在 云消息队列 Kafka 版控制台查看该实例的重启类任务的执行记录，获取任务的类型、开始执行时间、结束执行时间、状态等信息。前提条件创建并部署 云消息队列 Kafka 版...

配置消息队列Kafka版实例的参数

本文为您介绍目标数据库实例为专线/VPN网关/智能网关方式接入的阿里云消息队列Kafka版 时，部分特殊参数的配置方法和获取方式。注意事项使用此方案将阿里云消息队列Kafka版 接入DTS，会将数据写入到您指定的节点中。若您的源库为MySQL...

接入点对比

云消息队列 Kafka 版提供默认接入点、SSL接入点和SASL接入点以适用不同的连接及安全需求。默认接入点适用于在保密性较高的VPC环境收发消息；SASL接入点适用于无需对传输链路加密但需对消息收发鉴权；需要链路加密和消息鉴权，建议使用SSL...

新增分区时对应的Topic数量额度

可使用的Topic数量与总分区数强相关。例如，您已购买了分区数为50、流量规格为alikafka.hw.2xlarge、规格内赠送分区数为1000的实例，那么该...云消息队列 Kafka 版 Serverless实例不受此项限制。购买分区的操作步骤，请参见升级实例配置。

升级多可用区

前提条件您使用的 云消息队列 Kafka 版实例类型为专业版。实例当前为单可用区部署。实例当前读写流量水位没有接近购买规格峰值。实例大版本必须为2.2.0或以上版本，小版本建议您使用最新版本。升级影响该操作服务不会中断，但可能导致...

配置Hologres输出组件

同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件已创建Hologres数据源并已申请Hologres数据源的同步写权限：如何创建...

为什么购买了按量付费实例后不使用也要收费？

按量付费模式与购买后是否实际使用无关。您在购买 云消息队列 Kafka 版按量付费实例后，系统会为您分配相应的实例资源。因此，按量付费模式是以实例单价×服务时间计费的，与您购买后是否使用该实例无关。

创建Kafka Sink Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流出任务，将指定 云消息队列 Kafka 版实例中的数据导出至其他的 云消息队列 Kafka 版。前提条件您已购买并部署 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见...

创建Kafka Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建流入任务，将指定 云消息队列 Kafka 版实例中的数据快速导入至另外的 云消息队列 Kafka 版实例中。前提条件您已购买 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请...

客户端首次接入如何排查问题？

您可以从网络连通、客户端版本、配置这三个方向进行排查。您的客户端首次接入 消息队列Kafka版，通常会被以下三个问题困扰：网络连通客户端版本配置您可以从上述三个方向，一步一步排查，基本上可以解决99%的问题。

为什么不推荐使用Sarama Go客户端收发消息？

问题现象所有Sarama Go版本客户端存在...如果发生了位点重置，产生大量堆积，您可以使用 云消息队列 Kafka 版控制台提供的重置消费位点功能，手动重置消费位点到某一时间点，无需改代码或换Consumer Group。具体操作，请参见重置消费位点。

查看消费明细

如果您对 云消息队列 Kafka 版服务的消费情况产生疑问，可以查看消费明细。查看费用账单登录 云消息队列 Kafka 版控制台。在页面右上角，选择费用>用户中心。在左侧导航栏，按需选择账单管理目录下的账单维度，查看您的消费信息。月...

Topic删除后不能减少分区？

在 云消息队列 Kafka 版控制台，进入实例详情的基础信息区域，在小版本右侧查看实例版本。如果显示为当前版本为最新版本，则无需处理。如果显示为内部版本升级，请单击内部版本升级，完成版本升级。创建->删除->再创建Topic。...

升级实例配置

适用场景及风险点场景风险 云消息队列 Kafka 版非Serverless 实例的磁盘使用率偏高，即将影响正常业务进行，需要扩容磁盘。升级后会引发集群逐台重启。云消息队列 Kafka 版非Serverless 实例的流量规格持续超过已购买的规格，无法满足...

将云消息队列 Kafka 版接入阿里云Elasticsearch

云消息队列 Kafka 版 云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。更...

授权信息

操作（Action）下表是 消息队列Kafka版（AliKafka）定义的操作，这些操作可以在RAM权限策略语句的 Action 元素中使用，用来授予执行该操作的权限。下面对表中的具体项提供说明：操作：是指具体的权限点。API：是指操作对应的API接口。访问...

kafka在大数据中的应用场景

新品推荐