aliyun消息队列Kafka版可以助力哪些行业-aliyun消息队列Kafka版可以助力哪些行业文档介绍内容-阿里云

自动创建Topic

自动创建Topic是指当云消息队列 Kafka 版实例发送请求以获取不存在的Topic元数据时，例如向不存在的Topic发送生产请求，云消息队列 Kafka 版可以自动创建Topic。自动创建Topic适用于迁移上云场景或测试场景，无需手动重复创建Topic，...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Logstash。本文说明如何在VPC环境下通过Logstash向云消息队列 Kafka 版发送消息。前提条件购买并部署云消息队列 Kafka 版实例。具体操作，请参见 VPC接入。下载并安装Logstash。具体操作，请...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Filebeat。本文说明如何在VPC环境下通过Filebeat从云消息队列 Kafka 版消费消息。背景信息在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 VPC...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Logstash。本文说明如何在VPC环境下通过Logstash从云消息队列 Kafka 版消费消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 VPC...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Filebeat。本文说明如何在VPC环境下通过Filebeat向云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。更多信息，请参见 VPC...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Logstash。本文说明如何在公网环境下通过Logstash向云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 ...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Logstash。本文说明如何在公网环境下通过Logstash从云消息队列 Kafka 版消费消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 ...

退款说明

本文介绍了云消息队列 Kafka 版支持的退款情况。根据计费方式的特点，云消息队列 Kafka 版资源支持的退款情况如下：包年包月的云消息队列 Kafka 版资源如需退款，可在控制台上退订实例。详细信息，请参见实例生命周期管理。按量计费...

快速入门

如果您首次使用云消息队列 Kafka 版，您可以参考快速入门文档。快速入门文档云消息队列 Kafka 版快速入门云消息队列 Confluent 版快速入门

操作指南

您可以在云消息队列 Kafka 版控制台创建实例、进行消息收发。云消息队列 Kafka 版 V3系列Serverless实例管理 V2系列实例管理 Topic Group Connector生态集成迁移权限管理云消息队列 Confluent 版集群资源规格评估实例管理权限管理 ...

使用ACL功能进行访问控制

当需要对不同的用户或用户组授予不同级别的访问权限时，您可以使用云消息队列 Kafka 版专业版实例的访问控制列表（ACL）功能，为SASL用户赋予对Topic、Group等资源的操作权限，实现细粒度的权限管理。背景信息企业A购买了云消息队列 ...

SDK概述

本文介绍云消息队列 Kafka 版 SDK、支持的多语言SDK。SDK简介 SDK（Software Development Kit）即软件开发工具包，包含示例Demo、库文件、编译工具链以及编译脚本等，不需要开发者进行任何其他的配置，直接可以在SDK对应目录环境下，进行...

使用Spring Cloud框架收发消息

本文介绍如何使用Spring Cloud框架接入云消息队列 Kafka 版并收发消息。前提条件安装1.8或以上版本JDK。安装2.5或以上版本Maven。下载 kafka-spring-stream-demo，并将其上传在准备好的Linux操作系统。确保您的云消息队列 Kafka 版 ...

客户端首次接入云消息队列 Kafka 版时出现异常的排查...

详细信息客户端首次接入云消息队列 Kafka 版时如果出现异常，您可以通过以下三个方面进行排查：网络连通问题：通常有如下几种情况可能会导致网络不通，客户端无法连接云消息队列 Kafka 版的服务端。ECS实例（客户端）与云消息队列 Kafka ...

迁移数据上云

本文介绍如何使用MirrorMaker将自建Kafka集群的数据迁移到云消息队列 Kafka 版集群。前提条件您已完成以下操作：下载迁移工具MirrorMaker 迁移Topic上云背景信息 Kafka的镜像特性可实现Kafka集群的数据备份。实现这一特性的工具就是...

从自建MySQL同步至云消息队列 Kafka 版

通过数据传输服务DTS（Data Transmission Service），您可以将自建MySQL同步至云消息队列 Kafka 版，扩展消息处理能力。前提条件您已完成以下操作：自建MySQL数据库且数据库版本为5.1、5.5、5.6、5.7或8.0版本。购买并部署云消息队列 ...

自由使用Group

说明您可以在云消息队列 Kafka 版控制台的实例详情页面的基础信息区域查看实例的运行状态和版本。注意事项在生产环境，长期开启自由使用Group的功能，可能会由于客户端使用不当出现资源随意使用，导致运维成本增加，并且极易造成...

开源对比

项目云消息队列 Kafka 版 Apache Kafka 差异原因 Topic 创建方式云消息队列 Kafka 版控制台云消息队列 Kafka 版 OpenAPI 服务端自动创建（默认不开启）Kafka CLI Kafka Manager 服务端自动创建云消息队列 Kafka 版默认通过阿里云控制...

查看任务执行记录

在某个实例下发起重启类任务（包括配置变更、版本升级、开启ACL、实例升配）后，您可以在云消息队列 Kafka 版控制台查看重启类任务的执行记录，帮助您跟踪任务进展、定位服务端异常重启原因等。前提条件创建并部署云消息队列 Kafka 版 ...

查看任务执行记录

在某个实例下发起重启类任务（包括实例升降配、定时任务）后，您可以在云消息队列 Kafka 版控制台查看该实例的重启类任务的执行记录，获取任务的类型、开始执行时间、结束执行时间、状态等信息。前提条件创建并部署云消息队列 Kafka 版...

基本概念

本文说明云消息队列 Kafka 版涉及的专有名词和术语，帮助您更好地理解相关概念并使用该产品。Apache Kafka 一款开源的分布式数据流处理平台，可以实时发布、订阅、存储和处理数据流。更多信息，请参见 Apache Kafka。云消息队列 Kafka 版...

消息检索

当云消息队列 Kafka 版控制台提供的按位点查询和按时间查询消息的功能无法满足您搜索消息的需求时，您可以使用云消息队列 Kafka 版消息检索功能。消息检索支持按Topic分区、位点范围、时间范围以及消息Key和Value关键字检索。本文介绍...

云消息队列 Kafka 版服务等级协议

云消息队列 Kafka 版规定了阿里云向客户提供的阿里云云消息队列 Kafka 版的服务可用性等级指标及赔偿方案。如需查看云消息队列 Kafka 版的服务可用性等级指标及赔偿方案，请参见云消息队列 Kafka 版服务等级协议。

使用Kafka Connect将SQL Server数据同步至云消息队列...

本教程介绍如何使用Kafka Connect的Source Connector将SQL Server的数据同步至云消息队列 Kafka 版。前提条件在开始本教程前，请确保您已完成以下操作：已下载SQL Server Source Connector。具体信息，请参见 SQL Server Source ...

什么是云消息队列 Kafka 版？

云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。产品优势云消息队列 ...

VPC接入

如果仅需要在VPC网络接入云消息队列 Kafka 版，您可以购买并部署VPC实例。前提条件已授予云消息队列 Kafka 版访问其他云服务资源的权限。具体信息，请参见步骤一：获取访问授权。已搭建VPC网络。具体操作，请参见创建和管理专有网络...

公网和VPC接入

如果需要同时在VPC网络和公网接入云消息队列 Kafka 版，您需要购买并部署公网/VPC实例。前提条件已授予云消息队列 Kafka 版访问其他云服务资源的权限。具体信息，请参见获取访问授权。已搭建VPC网络。具体操作，请参见创建和管理专有...

接入Filebeat

本文介绍如何将云消息队列 Kafka 版接入Filebeat。Filebeat Filebeat是用于转发和集中日志数据的轻量级传输程序。Filebeat可以监听指定的日志文件或位置，从中收集日志事件并将其转发到Elasticsearch或Logstash进行索引。Filebeat的工作...

通过元数据文件迁移上云

本文介绍如何在云消息队列 Kafka 版控制台创建迁移任务，将元数据迁移至云消息队列 Kafka 版已有实例。前提条件下载JDK 8 购买并部署云消息队列 Kafka 版实例：购买并部署VPC实例购买并部署公网/VPC实例背景信息 Kafka集群元数据...

迁移上云

云消息队列 Kafka 版提供全托管、免运维的迁移上云服务，用于自建实例或跨云云实例与云消息队列 Kafka 版实例之间的数据同步。本文介绍迁移上云的源实例类型、使用限制、跨VPC数据同步以及使用流程。前提条件您已购买并部署云消息队列...

使用云消息队列 Kafka 版时客户端的报错及解决方案

在使用云消息队列 Kafka 版时，客户端可能报错，您可以根据报错消息匹配对应的解决方案。详细信息报错信息对应的详细信息如下。报错信息客户端语言类型报错原因解决方案 TimeoutException Java 网络问题客户端鉴权（sasl.mechanisms）...

使用Canal将MySQL的数据同步至云消息队列 Kafka 版

本教程介绍如何使用Canal将MySQL的数据同步至云消息队列 Kafka 版。背景信息 Canal的主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。Canal伪装自己为MySQL Slave，向MySQL Master发送dump请求。MySQL Master收到dump...

接入点对比

云消息队列 Kafka 版提供默认接入点、SSL接入点和SASL接入点以适用不同的连接及安全需求。默认接入点适用于在保密性较高的VPC环境收发消息；SASL接入点适用于无需对传输链路加密但需对消息收发鉴权；需要链路加密和消息鉴权，建议使用SSL...

概述

本文旨在以简单明了的方式引导您快速上手云消息队列 Kafka 版。操作流程根据网络类型不同，快速入门的操作流程有所不同，详情请参见云消息队列 Kafka 版快速入门操作流程。图 1.云消息队列 Kafka 版快速入门操作流程操作步骤具体操作...

配置白名单

您可以设置访问云消息队列 Kafka 版的白名单，配置在白名单中的IP地址与端口才允许访问云消息队列 Kafka 版实例。前提条件您已购买云消息队列 Kafka 版实例，且该实例处于服务中的状态。注意事项公网/VPC类型的实例默认白名单为0...

产品架构

云消息队列 Kafka 版系统架构如云消息队列 Kafka 版的系统架构所示，一个云消息队列 Kafka 版集群包括Producer、Kafka Broker、Group、ZooKeeper。图 1.云消息队列 Kafka 版的系统架构 Producer 通过push模式向云消息队列 Kafka 版...

查看接入点

如需使用SDK接入云消息队列 Kafka 版收发消息，您需要根据实例的网络环境类型来配置接入点。本文介绍如何在云消息队列 Kafka 版控制台查看接入点。背景信息云消息队列 Kafka 版提供以下类型的接入点：默认接入点：适用于在VPC环境...

基于事件流实现Kafka消息路由

源端云消息队列 Kafka 版生产的消息可以通过事件流这个通道被路由到目标端的云消息队列 Kafka 版，无需定义事件总线。更多信息，请参见事件流概述。支持地域支持在云消息队列 Kafka 版之间创建事件流的地域有：华东2（上海）、华北2...

为什么不能登录部署云消息队列 Kafka 版的机器？

云消息队列 Kafka 版提供全托管免运维服务，您无需登录机器。云消息队列 Kafka 版是全托管的，由云消息队列 Kafka 版专业团队进行运维保障，您无需登录机器。集群的一些基础信息会通过监控告警进行透传。

如何快速测试云消息队列 Kafka 版服务端是否正常？

在创建并部署云消息队列 Kafka 版实例后，您可以使用云消息队列 Kafka 版控制台直接发送消息，快速测试服务端是否正常。前提条件您已创建并部署云消息队列 Kafka 版实例，且实例处于服务中状态。操作流程快速测试云消息队列 ...

aliyun消息队列Kafka版可以助力哪些行业

新品推荐