购买和部署实例

获取云消息队列 Kafka 访问授权。步骤一:购买实例 登录 云消息队列 Kafka 控制台,在左侧导航栏,单击 实例列表。在顶部菜单栏,选择地域,然后单击 购买实例。在 请选择您要创建的实例的付费方式 面板,选择 实例系列 为 Confluent ...

为什么限制Topic总数(分区总数)?

Topic总数(分区总数)太多会使集群性能和稳定性能急剧下降。云消息队列 Kafka 的存储和协调机制是以分区为粒度的,分区数太多,会导致存储碎片化严重,集群性能和稳定性都会急剧下降。

搭配HBase和Spark构建一体化数据处理平台

实时计算:通过X-Pack Spark Streaming实时地消费 云消息队列 Kafka 的消息,写入到云HBase中对外提供在线查询。实时存储与检索:云HBase融合Solr以及Phoenix SQL层能够提供海量的实时存储,以及在线查询检索。批处理、数仓及算法:在线...

迁移概述

迁移自建Kafka集群至新实例:在 云消息队列 Kafka 控制台,创建迁移任务,根据推荐意见购买 云消息队列 Kafka 实例并部署启动任务。说明 如果元数据文件中包含了自建Kafka集群的流量、磁盘、配置等信息,购买实例时,云消息队列 ...

开启ACL

云消息队列 Kafka 专业版实例提供ACL功能,您可以在开启此功能后按需为SASL用户授权,通过SASL接入点接入实例。前提条件 实例规格类型为 专业版。实例运行状态为 服务中。实例大版本为2.2.0版本及以上。如何升级实例大版本,请参见 升级...

访问链接与端口

开启公网 登录 云消息队列 Kafka 控制台,在左侧导航栏,单击 实例列表。在顶部菜单栏,选择地域,在 实例列表 页面单击目标实例名称。在左侧导航栏,单击 访问链接与端口。在目标服务右侧,打开 开启 开关,为服务开启公网。说明 开启...

Topic引流

您在升级 云消息队列 Kafka 实例的流量规格时,可能会触发集群横向扩容。集群横向扩容完成后,您需要进行Topic引流,使Topic流量重新均匀分布到扩容后的集群上。否则原有的Topic流量还是打在扩容前的集群节点上,原有的Topic的峰值流量...

RAM跨账号授权

背景信息 企业A开通了 云消息队列 Kafka ,该企业需要企业B代为操作 云消息队列 Kafka 的资源,例如实例、Topic、Group。企业A的需求如下:企业A希望能专注于业务系统,仅作为 云消息队列 Kafka 所有者。企业A希望可以授权企业B来...

升级多可用区

前提条件 您使用的 云消息队列 Kafka 实例类型为 专业版。实例当前为单可用区部署。实例当前读写流量水位没有接近购买规格峰值。实例大版本必须为2.2.0或以上版本,小版本建议您使用最新版本。升级影响 该操作服务不会中断,但可能导致...

生态对接概述

本文介绍 云消息队列 Kafka 支持对接的生态。阿里云生态 云数据库HBase版 基于HBase和Spark的数据处理平台 阿里云实时计算Flink 基于Flink的资讯场景实时数仓 大数据计算服务MaxCompute 接入MaxCompute 数据传输服务DTS 使用DTS同步...

为什么购买了按量付费实例后不使用也要收费?

按量付费模式与购买后是否实际使用无关。您在购买 云消息队列 Kafka 按量付费实例后,系统会为您分配相应的实例资源。因此,按量付费模式是以实例单价×服务时间计费的,与您购买后是否使用该实例无关。

使用Kafka Connect将SQL Server数据同步至云消息队列 ...

本教程介绍如何使用Kafka Connect的Source Connector将SQL Server的数据同步至 云消息队列 Kafka 。前提条件 在开始本教程前,请确保您已完成以下操作:已下载SQL Server Source Connector。具体信息,请参见 SQL Server Source ...

监控

前提条件 创建服务关联角色 角色名称:AliyunServiceRoleForAlikafka 角色策略名称:AliyunServiceRolePolicyForAlikafka 权限说明:允许 云消息队列 Kafka 使用该角色访问您的服务(云监控和ARMS服务)以完成云监控和仪表盘相关功能。...

消息队列Kafka版

本文介绍如何在 云消息队列 RocketMQ 版 控制台创建流出目标为 云消息队列 Kafka 的消息流出任务。前提条件 您已购买 云消息队列 RocketMQ 版 实例,且实例处于 服务中 状态。具体步骤,请参见 创建资源。您已购买并部署 云消息队列 ...

实例支持哪些开源版本?

云消息队列 Kafka 标准版与专业版实例支持的开源版本是2.2.0、2.6.2版本,同时兼容对应的2.2.x、2.6.x的客户端。您在购买实例后,可在部署实例时选择2.2.0或2.6.2版本。建议您使用2.2.0及以上的版本。如需升级版本,请参见 升级实例版本...

为什么消息已经过期还未被删除?

问题现象 您发送的消息在服务端...磁盘容量充足,使用率低于75%,云消息队列 Kafka 设置的集中清理消息的时间还未到,消息不会被删除。说明 磁盘使用率低于75%时,在每天凌晨4点,云消息队列 Kafka 集中删除超过 消息保留时长 的消息。

如何快速测试云消息队列 Kafka 服务端是否正常?

在创建并部署 云消息队列 Kafka 实例后,您可以使用 云消息队列 Kafka 控制台直接发送消息,快速测试服务端是否正常。前提条件 您已创建并部署 云消息队列 Kafka 实例,且实例处于 服务中 状态。操作流程 快速测试 云消息队列 ...

服务关联角色

本文介绍 云消息队列 Kafka 服务关联角色的背景信息、策略内容、注意事项和常见问题。背景信息 服务关联角色是某个云服务在某些情况下,为了完成自身的某个功能,需要获取其他云服务的访问权限而提供的RAM角色。您在该云服务的控制台...

创建前提

AliyunKafkaFullAccess:管理 云消息队列 Kafka 的权限。AliyunFCFullAccess:管理 函数计算FC(Function Compute)的权限。AliyunEventBridgeFullAccess:管理 事件总线EventBridge 的权限。目标服务的管理权限。除上述必要权限外,如...

ACL授权

ACL授权 登录 云消息队列 Kafka 控制台,在左侧导航栏,单击 实例列表。在 实例列表 页面,单击目标实例名称。在左侧导航栏,选择 用户管理,单击目标用户右侧 操作 列的 授权。配置项 说明 资源类型 实例:对集群授权。Topic:对某一个...

创建SLS Sink Connector

本文介绍如何创建使用SLS Sink Connector,您可通过SLS Sink Connector将数据从 云消息队列 Kafka 实例的数据源Topic导出至日志服务SLS。前提条件 详细步骤,请参见 创建前提。步骤一:创建目标服务资源 创建日志项目(Project)。详细...

C# SDK收发消息

本文介绍如何使用C#SDK通过接入点接入 云消息队列 Kafka 并收发消息。环境配置 您已安装.NET。更多信息,请参见 安装.NET 。安装C#依赖库 执行以下命令安装C#依赖库。dotnet add package-v 1.5.2 Confluent.Kafka 准备配置 可选:下载...

按量计费转包年包月

前提条件 您已购买并部署 云消息队列 Kafka 实例,且实例运行状态处于 服务中 或 未部署。具体操作,请参见 步骤二:购买和部署实例。注意事项 按量计费转包年包月的过程中,实例始终处于服务中状态,不会因为实例重启而导致服务短暂不...

实例规格配置和管理

前提条件 您已购买 云消息队列 Kafka V3系列Serverless实例,且实例处于 服务中 状态。规格配置说明 配置项 含义 变更方式 流量规格 发送能力预留 消息生产预留规格,生产弹性上限为此数值的2倍,超出生产弹性上限的部分将会被限流。...

升级实例版本

前提条件 云消息队列 Kafka 实例的状态为 服务中。背景信息 升级大版本 升级大版本是指跨版本升级,例如将 云消息队列 Kafka 实例的版本从0.10.x版本升级至2.x版本。重要 目前新部署实例仅支持2.x版本,存量0.10.x可正常使用。由于2....

重置消费位点

前提条件 已停止所有Consumer客户端(云消息队列 Kafka 不支持在线重置消费位点)。重要 在停止Consumer客户端后,需要经过 ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG 配置的时间(默认10000 ms),服务端才认为Consumer真正下线。背景...

Kafka数据接入

通过创建Tablestore Sink Connector,将 云消息队列 Kafka 实例的数据源Topic导出到 表格存储(Tablestore)。前提条件 云消息队列 Kafka 已为实例开启Connector。具体操作,请参见 开启Connector。已为实例创建数据源Topic。更多...

消息查询

注意事项 查询到的每条消息在 云消息队列 Kafka 控制台上最多显示1 KB的内容,超过1 KB的部分将自动截断。如需查看完整的消息内容,请下载相应的消息,下载的消息最大为10 MB,如果超过10 MB,则只下载10 MB的内容。查询结果最多显示10...

管理预警联系人

添加预警联系人 登录 云消息队列 Kafka 控制台。在左侧导航栏,选择 常用工具/链接>预警联系人。在 预警联系人 页面,单击 添加联系人。在 添加联系人 面板,填写以下信息,然后单击 确定。参数 描述 姓名 联系人姓名。手机号码 联系人...

云消息队列 Kafka 支持被审计的事件说明

云消息队列 Kafka 已与操作审计服务集成,您可以在操作审计中查询操作 云消息队列 Kafka 产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中,满足实时审计、问题回溯分析等需求。事件...

续费操作

登录 云消息队列 Kafka 控制台,在 概览 页面的 资源分布 区域,选择地域。在 实例列表 页面,单击目标实例名称。在 实例详情 页面,单击 概览 区域右上角的 续费。在 续费 面板,选择购买时长,并选中 消息队列 Kafka(包年包月)服务...

新增分区时对应的Topic数量额度

可使用的Topic数量与总分区数强相关。例如,您已购买了分区数为50、流量规格为alikafka.hw.2xlarge、规格内赠送分区数为1000的实例,那么该...云消息队列 Kafka Serverless实例不受此项限制。购买分区的操作步骤,请参见 升级实例配置。

API概览

本产品(云消息队列 Kafka /2019-09-16)的OpenAPI采用 RPC 签名风格,签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用...

云消息队列 Kafka 的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能,将 云消息队列 Kafka 集群上的数据迁移至阿里云大数据计算服务MaxCompute,方便您对离线数据进行分析加工。前提条件 在开始本教程前,确保您在同一地域中已完成以下操作:云消息队列 Kafka ...

实例规格

本文说明 云消息队列 Kafka 支持的规格类型,以便您根据实际业务需求选择合适的实例规格。实例规格类型 云消息队列 Kafka 实例规格类型如下:项目 标准版(高写版)专业版(高写版)专业版(高读版)版本 支持部署2.x版本。如需升级...

用户管理

查看用户列表 登录 云消息队列 Kafka 控制台,在左侧导航栏,单击 实例列表。在 实例列表 页面,单击目标实例名称。在 实例详情 页面,单击左侧操作栏的 用户管理,查看所有用户列表。新增用户 在 用户管理 页面,单击 添加LDAP用户。在...

管理Kafka自定义连接器

计费说明 Kafka自定义连接器独立于 云消息队列 Kafka 实例,因此不会在 云消息队列 Kafka 侧产生费用。同时,阿里云不承诺Kafka自定义连接器的SLA,使用时所依赖的 Serverless 应用引擎 的费用说明,请参见 按量计费。前提条件 开通...

为什么消费位点过期了却仍未被删除?

问题现象 2.2.0及以上 云消息队列 Kafka 服务端版本,某Group下的消费位点已经超过了我设置的消费位点保留时间,但却未被删除,还可以在 云消息队列 Kafka 控制台 的订阅关系里看到对应的消费位点。说明 消费位点保留时长 是消费位点...

监控

前提条件 创建服务关联角色 角色名称:AliyunServiceRoleForAlikafka 角色策略名称:AliyunServiceRolePolicyForAlikafka 权限说明:允许 云消息队列 Kafka 使用该角色访问您的服务(云监控和ARMS服务)以完成云监控相关功能。...

查看实例风险

云消息队列 Kafka 实例的实时诊断功能能够定期对实例进行检测,支持查看诊断发现的问题、提供修复建议,并将异常的检查项上报告警给相关联系人,帮助您及时处理异常。实现方案 检测项 说明 若检测出实例存在风险,请参考控制台上提示的...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
开源大数据平台 E-MapReduce 云服务器 ECS 云消息队列 Kafka 版 轻量应用服务器 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用