aliyun消息队列 Kafka有试用的么-aliyun消息队列 Kafka有试用的么文档介绍内容-阿里云

生态对接概述

本文介绍 云消息队列 Kafka 版支持对接的生态。阿里云生态云数据库HBase版基于HBase和Spark的数据处理平台阿里云实时计算Flink 基于Flink的资讯场景实时数仓大数据计算服务MaxCompute 接入MaxCompute 数据传输服务DTS 使用DTS同步...

Workers

默认Workers配置 云消息队列 Kafka 版提供了对Confluent Kafka Connect进行半托管的一站式平台，提供如下默认配置：key.converter=org.apache.kafka.connect.storage.StringConverter key.converter.schemas.enable=true value.converter=...

购买和部署实例

获取云消息队列 Kafka 版访问授权。步骤一：购买实例登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在顶部菜单栏，选择地域，然后单击购买实例。在请选择您要创建的实例的付费方式面板，选择实例系列为 Confluent ...

标签管理

本文介绍如何为 云消息队列 Kafka 版的实例、Topic、Group 等资源绑定标签，从而帮助您根据标签给资源归类，高效管理资源。背景信息标签由标签键和标签值组成，可以标记 云消息队列 Kafka 版的资源。如果您的账号下有多种 云消息队列 ...

实例生命周期管理

本文介绍 云消息队列 Kafka 版实例的控制台操作说明及生命周期管理过程，生命周期包括部署、释放、恢复实例等。控制台操作说明 云消息队列 Kafka 版实例操作列的可操作性说明如下：操作不显示：不可操作。操作置灰：当前状态下不可操作...

查看实例风险

云消息队列 Kafka 版实例的实时诊断功能能够定期对实例进行检测，支持查看诊断发现的问题、提供修复建议，并将异常的检查项上报告警给相关联系人。实现方案报警通知说明仅紧急且不健康的报警会发送报警通知。如果未添加报警联系人，则...

使用Terraform管理IP白名单

配置 云消息队列 Kafka 版的白名单后，配置在白名单中的IP地址与端口才允许访问 云消息队列 Kafka 版实例。本文介绍如何通过Terraform的 alicloud_alikafka_instance_allowed_ip_attachment 资源添加以及删除白名单。前提条件安装...

UpdateInstanceConfig-修改实例的配置

操作访问级别资源类型条件关键字关联操作 alikafka:UpdateInstance Write 全部资源*无无请求参数名称类型必填描述示例值 Config string 是需要更新的云消息队列 Kafka 版的配置。配置信息必须是一个合法的 JSON 字符串。{...

C# SDK收发消息

本文介绍如何使用C#SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境配置您已安装.NET。更多信息，请参见安装.NET 。安装C#依赖库执行以下命令安装C#依赖库。dotnet add package-v 1.5.2 Confluent.Kafka 准备配置可选：下载...

Ruby SDK收发消息

本文介绍如何使用Ruby SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境准备您已安装Ruby。更多信息，请参见安装Ruby。安装Ruby依赖库执行以下命令安装Ruby依赖库。gem install ruby-kafka-v 0.6.8 准备配置可选：下载SSL根...

基于Flink的资讯场景实时数仓

部署架构图选用的产品云消息队列 Kafka 版 云消息队列 Kafka 版是阿里云基于Apache Kafka构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的...

VPC接入

借助 云消息队列 Kafka 版 ACL功能，您可以按需为SASL用户赋予向 云消息队列 Kafka 版收发消息的权限，从而实现权限分割。当实例规格类型为专业版时需要配置该参数。禁用云盘加密选择是否需要开启实例加密。启用云盘密钥 ID 同地域的云...

公网和VPC接入

借助 云消息队列 Kafka 版 ACL功能，您可以按需为SASL用户赋予向 云消息队列 Kafka 版收发消息的权限，从而实现权限分割。禁用自定义用户名密码选择是否需要自定义用户名和密码。选择否则使用系统为每个实例分配的默认用户名和密码。...

升级实例配置

本文介绍如何在 云消息队列 Kafka 版控制台完成实例升配，升级的配置项包括规格类型、流量规格、磁盘容量及分区规格等。前提条件实例处于服务中或未部署状态。实例中没有进行中的Topic引流任务。注意事项升级实例配置会引发集群逐台...

验证迁移结果

迁移成功后，目标 云消息队列 Kafka 版实例下会创建对应的Topic和 Group。您可以在 Topic 管理和 Group 管理页面的列表中查看。前提条件您已将自建Kafka集群迁移至 云消息队列 Kafka 版实例中。迁移类型包括：通过命令行迁移迁移...

步骤三：创建资源

当使用 云消息队列 Kafka 版进行消息收发时，您需要在已成功部署的Kafka实例中创建Topic和Group资源。生产者需要将消息发送至指定Topic，消费者通过订阅Topic获取消息进行消费。消费者消费消息时，需要指定Group订阅对应的Topic。Group和...

【通知】V2系列Serverless实例退市公告

云消息队列 Kafka 版 V2系列Serverless实例将于2024年02月28日正式下线，如您目前仍在使用此类型实例，请尽快迁移至V3系列Serverless实例。停止维护感谢您对 云消息队列 Kafka 版 V2系列Serverless实例的支持！为了提供更稳定、更高性能的...

查看任务执行记录

在某个实例下发起重启类任务（包括配置变更、版本升级、开启ACL、实例升配）后，您可以在 云消息队列 Kafka 版控制台查看重启类任务的执行记录，帮助您跟踪任务进展、定位服务端异常重启原因等。前提条件创建并部署 云消息队列 Kafka 版 ...

为什么在控制台看不到消费者的客户端信息？

问题现象在 云消息队列 Kafka 版控制台的 Topic 详情页面的订阅关系页签，或者在 Group 详情页面的消费状态页签，查看消费详情中的客户端信息为 n/a。可能原因订阅该Topic分区的消费线程已经离线。Group触发Rebalance机制。...

Python SDK收发消息

本文介绍如何使用Python SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境准备安装Python 说明 Python版本为2.7或3.X。安装pip 添加Python依赖库执行以下命令安装依赖库。pip install confluent-kafka=1.9.2 重要建议您安装...

接入Filebeat

本文介绍如何将 云消息队列 Kafka 版接入Filebeat。Filebeat Filebeat是用于转发和集中日志数据的轻量级传输程序。Filebeat可以监听指定的日志文件或位置，从中收集日志事件并将其转发到Elasticsearch或Logstash进行索引。Filebeat的工作...

使用Terraform管理SASL用户

如果需要更细致的权限控制，您需开启ACL，创建SASL用户，按需赋予SASL用户向 云消息队列 Kafka 版收发消息的权限。使用Terraform的 alicloud_alikafka_sasl_user 资源可以创建和管理SASL用户。前提条件安装Terraform。支持Terraform 0.13...

数据格式

CSV 消息队列Kafka、Upsert Kafka、云消息队列 RocketMQ 版、StarRocks、对象存储OSS。Avro 消息队列Kafka、Upsert Kafka、对象存储OSS。Confluent Avro 消息队列Kafka、Upsert Kafka。Raw 消息队列Kafka、Upsert Kafka、对象存储OSS。...

PHP SDK收发消息

如果实例已开启ACL，请确保要使用的SASL用户已被授予向 云消息队列 Kafka 版实例收发消息的权限。具体操作，请参见 SASL用户授权。sasl_plain_password SASL用户名密码。如果是默认接入点，则无此配置项。bootstrap_servers SSL接入点。您...

新功能发布记录

本文介绍 云消息队列 Kafka 版的产品功能动态及对应的文档。2024-04-15 功能名称功能描述功能类型相关文档 V3.0 Serverless系列实例在华东2（上海）地域开服 云消息队列 Kafka 版 V3.0 Serverless系列实例支持在华东2（上海）地域选购...

服务关联角色

本文介绍 云消息队列 Kafka 版服务关联角色的背景信息、策略内容、注意事项和常见问题。背景信息服务关联角色是某个云服务在某些情况下，为了完成自身的某个功能，需要获取其他云服务的访问权限而提供的RAM角色。您在该云服务的控制台...

查看任务执行记录

在某个实例下发起重启类任务（包括实例升降配、定时任务）后，您可以在 云消息队列 Kafka 版控制台查看该实例的重启类任务的执行记录，获取任务的类型、开始执行时间、结束执行时间、状态等信息。前提条件创建并部署 云消息队列 Kafka 版...

迁移概述

迁移路由 云消息队列 Kafka 版提供全托管、免运维的实例迁移服务，用于自建实例与 云消息队列 Kafka 版实例之间或者 云消息队列 Kafka 版实例之间的数据同步，无需借助工具即可在控制台上实现实例迁移，迁移完成后目标集群的元数据与源...

云监控

前提条件创建服务关联角色角色名称：AliyunServiceRoleForAlikafka 角色策略名称：AliyunServiceRolePolicyForAlikafka 权限说明：允许 云消息队列 Kafka 版使用该角色访问您的服务（云监控和ARMS服务）以完成云监控和仪表盘相关功能。...

如何获取部署实例时需要的VPC信息？

在交换机页面，查看以下信息：交换机实例ID/名称专有网络可用区说明请根据该页面的可用区（A～G）在 云消息队列 Kafka 版控制台中选择对应的可用区（A～G）。例如，某VPC交换机（vSwitch）显示在可用区B，那么在 云消息队列 Kafka...

如何进行发送消息的测试？

您可以直接在 云消息队列 Kafka 版控制台进行发送消息的测试。您可以在控制台的 Topic管理页面，单击目标Topic右侧的发送消息，进行消息发送测试，以验证集群是否运转正常。

Control Center基本使用

在 云消息队列 Kafka 版控制台的实例列表页面，单击目标实例名称。在实例详情页面，单击右上角的登录控制台，输入用户名和密码登录进入Control Center页面（用户名为购买实例时配置的root账户和密码）。创建Topic 在主页的左侧导航...

为什么额外增加分区要收费？

云消息队列 Kafka 版优化了集群增加大量分区后带来的性能下降问题。自建开源Apache Kafka集群分区数大于1000后，集群性能开始急剧下降，遭遇性能瓶颈。阿里云 云消息队列 Kafka 版对此进行了优化，单个集群的分区数理论上没有上限。但...

客户端首次接入云消息队列 Kafka 版时出现异常的排查...

详细信息客户端首次接入云消息队列 Kafka 版时如果出现异常，您可以通过以下三个方面进行排查：网络连通问题：通常有如下几种情况可能会导致网络不通，客户端无法连接云消息队列 Kafka 版的服务端。ECS实例（客户端）与云消息队列 Kafka ...

使用限制

云消息队列 Kafka 版对某些具体指标进行了约束和规范，您在使用 云消息队列 Kafka 版时注意不要超过相应的限制值，以免程序出现异常。重要若由于您的实例配置超出使用限制导致的任何不稳定情况，不在SLA承诺和赔偿范围内。云消息队列 ...

Node.js SDK收发消息

本文介绍如何使用Node.js SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境配置安装GCC 安装Node.js 重要 Node.js版本必须大于等于4.0.0。安装OpenSSL 安装C++依赖库执行以下命令切换到yum源配置目录/etc/yum.repos.d/。cd/etc/...

弹性策略

前提条件创建并部署 云消息队列 Kafka 版 V3系列实例，且实例处于服务中状态。弹性能力为应对生产环境中多阶梯的流量需求，云消息队列 Kafka 版 V3系列Serverless实例提供弹性伸缩流量规格的能力，您可以通过升配和降配修改发送、订阅...

续费操作

登录 云消息队列 Kafka 版控制台，在概览页面的资源分布区域，选择地域。在实例列表页面，单击目标实例名称。在实例详情页面，单击概览区域右上角的续费。在续费面板，选择购买时长，并选中消息队列 Kafka（包年包月）服务...

Go SDK收发消息

本文介绍如何使用Go SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境准备您已安装Go。更多信息，请参见安装Go。说明该kafka-confluent-go-demo不支持Windows系统。准备配置可选：下载SSL根证书。如果是SSL接入点，需下载该...

开启ACL

云消息队列 Kafka 版专业版实例提供ACL功能，您可以在开启此功能后按需为SASL用户授权，通过SASL接入点接入实例。前提条件实例规格类型为专业版。实例运行状态为服务中。实例大版本为2.2.0版本及以上。如何升级实例大版本，请参见升级...

aliyun消息队列 Kafka有试用的么

新品推荐