云消息队列 Kafka 版 可以作为Input接入Filebeat。本文说明如何在公网环境下通过Filebeat从 云消息队列 Kafka 版 消费消息。背景信息 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 版 实例。具体操作,请参见 ...
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已搭建Hadoop集群。建议您使用的Hadoop版本不低于2.7.2,本文使用的Hadoop版本为Apache Hadoop 2.8.5。已为Hadoop集群所有...
本文介绍如何使用 云消息队列 Kafka 版 提供的迁移工具将自建Kafka集群的 Group 迁移到 云消息队列 Kafka 版 实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 版 ...
迁移类型包括:通过命令行迁移 迁移Topic上云 迁移Group上云 迁移数据上云 通过元数据文件迁移上云 迁移自建Kafka集群至新实例 操作步骤 登录 云消息队列 Kafka 版 控制台。在 概览 页面的 资源分布 区域,选择地域。在 实例列表 页面,...
云消息队列 Kafka 版 可以作为Output接入Logstash。本文说明如何在公网环境下通过Logstash向 云消息队列 Kafka 版 发送消息。前提条件 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 版 实例。具体操作,请参见 ...
删除文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组,用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 文件系统目录和文件访问权限的信息,请参见文件...
文件存储 HDFS 版 在公测期间会对单个文件系统的使用进行一定的限制,包括:单个用户可以创建的文件系统数量:1 单个文件系统最大容量:10 TB 单个文件系统目录+文件数最大数量:10万 单个文件系统最多包含挂载点数量:2 单个用户可以创建...
您可以像在Hadoop分布式文件系统(Hadoop Distributed File System)中管理和访问数据那样使用文件存储HDFS版。您无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布...
云消息队列 Kafka 版 云消息队列 Kafka 版 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。云消息队列 Kafka 版 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,已成为大数据生态中不可或缺的部分。更...
背景信息 云消息队列 Kafka 版 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务,针对开源的Apache Kafka提供全托管服务,彻底解决开源产品长期以来的痛点,您只需专注于业务开发,无需部署运维。云消息队列 Kafka 版 广泛用于日志...
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流出任务,将指定 云消息队列 Kafka 版 实例中的数据导出至其他的 云消息队列 Kafka 版。前提条件 您已购买并部署 云消息队列 Kafka 版 实例,且实例处于 服务中 状态。具体步骤,请参见...
云消息队列 Kafka 版 可以作为Input接入Logstash。本文说明如何在公网环境下通过Logstash从 云消息队列 Kafka 版 消费消息。前提条件 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 版 实例。具体操作,请参见 ...
网络类型为公网/VPC的 云消息队列 Kafka 版 实例支持通过公网访问。云消息队列 Kafka 版 提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问,请购买公网/VPC实例。如果已购买VPC实例,请升级实例配置,变更VPC实例为公网/VPC实例。更...
详细信息 以非公网的方式访问云消息队列 Kafka 版实例时,必须满足以下两个条件:ECS实例与云消息队列 Kafka 版实例在同一VPC网络实例内。如果ECS实例和云消息队列 Kafka 版实例不在同一个VPC网络实例内,请根据实际情况,重新创建或部署...
云消息队列 Kafka 版 的Connector组件处于公测阶段,且独立于 云消息队列 Kafka 版 实例,因此不会在 云消息队列 Kafka 版 侧产生费用。同时阿里云不承诺Connector的SLA,Connector显示依赖的其他产品的SLA和费用说明请以对应产品为准。
本文档主要介绍 文件存储 HDFS 版 文件系统SDK的安装及使用方式。前提条件 已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作,请参见 创建文件系统 和 添加挂载点。已为ECS实例安装JDK,且JDK版本不低于1.8。背景信息 本文以hadoop...
本文介绍如何在 云消息队列 Kafka 版 控制台创建流入任务,将指定 云消息队列 Kafka 版 实例中的数据快速导入至另外的 云消息队列 Kafka 版 实例中。前提条件 您已购买 云消息队列 Kafka 版 实例,且实例处于 服务中 状态。具体步骤,请...
查看文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组,用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息,请参见 ...
消息发布到 云消息队列 Kafka 版 服务器的存储时间。控制台看到的 最近消费时间 是指消息发布到 云消息队列 Kafka 版 服务器的存储时间。如果消费没有堆积,那么这个时间接近发送时间。
如需使用客户端连接 云消息队列 Kafka 版 收发消息,您需要根据客户端的网络环境类型及传输的安全需要来配置接入点。默认接入点适用于在保密性较高的VPC环境收发消息;SASL接入点适用于无需对传输链路加密但需对消息收发鉴权;同时需要链路...
六分钟上手 云消息队列 Kafka 版。文档教程 快速入门
问题描述 无法ping通云消息队列 Kafka 版的接入点。本地客户端无法telnet Kafka或提示连接超时(Connection timed out)。问题原因 为了保证安全,云消息队列 Kafka 版集群默认禁ping。连接VPC接入点时,客户端与Kafka不在同一VPC下。解决...
问题描述 使用云消息队列 Kafka 版时出现“Not authorized to access group”的错误信息。问题原因 没有创建Consumer Group时会遇到此报错信息。解决方案 您可以选择如下任意一种方式创建Consumer Group。在云消息队列 Kafka 版的控制台...
云消息队列 Kafka 版 可以作为Output接入Filebeat。本文说明如何在公网环境下通过Filebeat向 云消息队列 Kafka 版 发送消息。前提条件 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 版 实例。具体操作,请参见 ...
数据迁移完成后,您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务,才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令,将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...
您可以将自建Kafka集群元数据导出,然后导入 云消息队列 Kafka 版 实例,云消息队列 Kafka 版 会根据成功导入的元数据在目标 云消息队列 Kafka 版 实例中创建对应的Topic和Group,实现自建Kafka集群元数据迁移上云。导出元数据 使用元数据...
和开源Apache Kafka一样,云消息队列 Kafka 版 同样不支持延迟消息。
部署架构图 选用的产品 云消息队列 Kafka 版 云消息队列 Kafka 版 是阿里云基于Apache Kafka构建的高吞吐量、高可扩展性的分布式消息队列服务,广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等,是大数据生态中不可或缺的...
本文介绍如何将 云消息队列 Kafka 版 接入Logstash。Logstash Logstash是开源的服务器端数据处理管道,能够同时从多个数据源采集数据,然后对数据进行转换,并将数据写入指定的存储中。Logstash的数据处理流程如下:输入:采集各种格式、...
借助于阿里云ARMS Prometheus监控服务和Grafana的指标存储和展示能力,云消息队列 Kafka 版 提供仪表盘功能。该功能可帮助您一站式、全方位、多维度地统计和观测指标,进而快速了解业务的运行状态。前提条件 开通ARMS Prometheus监控服务 ...
概述 暂不支持通过代理访问云消息队列 Kafka 版实例,具体请查看 详细信息。详细信息 云消息队列 Kafka 版的客户端访问服务端的原理如下。通过 bootstrap.servers 随机访问服务器获取Metadata。通过Metadata里的IP地址进行后续的消息收发。...
本文介绍如何将 云消息队列 Kafka 版 接入Filebeat。Filebeat Filebeat是用于转发和集中日志数据的轻量级传输程序。Filebeat可以监听指定的日志文件或位置,从中收集日志事件并将其转发到Elasticsearch或Logstash进行索引。Filebeat的工作...
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。更多信息,下载JDK。已根据集群Hadoop版本对Tez重新编译。具体操作,...
在控制台上可以查看和设置监控告警功能,但是在2018年11月以前部署的 云消息队列 Kafka 版 集群不支持上报监控告警数据,因此需要升级旧版本的 云消息队列 Kafka 版 实例集群,让它可以上报监控告警数据。若您要升级您的 云消息队列 Kafka ...
HDFS Version string 阿里云文件存储 HDFS 版的版本,非 hadoop 版本。1.0.0 MeteringSpaceSize float 文件系统的计费容量。单位:字节(byte)。计费容量=MAX[(文件数+目录数)*5MiB,使用容量]。统计数据,不作为计费数据,仅作参考。...
云消息队列 Kafka 版 优化了集群增加大量分区后带来的性能下降问题。自建开源Apache Kafka集群分区数大于1000后,集群性能开始急剧下降,遭遇性能瓶颈。阿里云 云消息队列 Kafka 版 对此进行了优化,单个集群的分区数理论上没有上限。但...
本文介绍如何在 云消息队列 Kafka 版 控制台完成实例升配,升级的配置项包括规格类型、流量规格、磁盘容量及分区规格等。前提条件 实例处于 服务中 或 未部署 状态。实例中没有进行中的Topic引流任务。注意事项 升级实例配置会引发集群逐台...
说明 云消息队列 Kafka 版 的Connector组件依赖于 事件总线,云消息队列 Kafka 版 不会额外收取费用。事件总线 的计费说明,请参见 计费说明。同时,阿里云不承诺Connector的SLA,使用Connector所依赖的其他产品的SLA和费用说明请以对应...
登录 文件存储HDFS版控制台。在顶部菜单栏,选择地域。在 文件系统 页面,单击需要查看存储信息的文件系统名称,并选择 文件系统概览 页签。在 基础数据 区域,查看该文件系统的资源使用详情。查询文件系统基本信息 您可以在 文件系统概览 ...
在创建并部署 云消息队列 Kafka 版 实例后,您可以使用 云消息队列 Kafka 版 控制台直接发送消息,快速测试服务端是否正常。前提条件 您已创建并部署 云消息队列 Kafka 版 实例,且实例处于 服务中 状态。操作流程 快速测试 云消息队列 ...