说明 本文部分内容来源于开源StarRocks的 什么是StarRocks。StarRocks特性 StarRocks的架构设计融合了MPP数据库,以及分布式系统的设计思想,其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够...
Flink(VVR)是基于Apache Flink(以下简称Flink)开发的商业版,VVR引擎接口完全兼容Flink开源版本,且提供GeminiStateBackend等高增值功能,以提升作业性能及稳定性。背景信息 Flink核心是一个流式的数据流执行引擎,其针对数据流的分布...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件,面向大数据和AI生态,为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现,主要包括 JindoFS 存储系统(原JindoFS Block模式)...
Zeppelin执行时无法正常启动Interpreter 影响版本:EMR-5.6版本。报错现象:报错信息如下。org.apache.zeppelin.interpreter.InterpreterException:java.io.IOException:Interpreter process is not running 解决方式:您可以参照以下命令...
开源大数据平台E-MapReduce(简称EMR)的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性,同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能,并且在开源的基础...
通过访问链接与端口功能,您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接,以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce集群,详情请参见 创建集群。背景信息 ...
Flink高效sink写入OSS Flink高效sink写入OSS 2021-06-01 当您需要将流式数据写入OSS,或者需要在线分析数据时,可能会遇到的问题:开源Apache Flink还不支持直接写入OSS、Hadoop OSS SDK写入性能不满足需求。此时您可以使用JindoFS Flink ...
阿里云E-MapReduce(简称EMR)是云原生开源大数据平台,能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上,集群资源归属于用户,EMR提供基于该资源的半托管云服务能力,用户对集群拥有完全的管理操作权限,...
云消息队列 RabbitMQ 版 是一款基于高可用分布式存储架构实现的AMQP 0-9-1协议的消息产品,能够兼容开源RabbitMQ客户端,与开源RabbitMQ相比,能够解决各种稳定性痛点(例如消息堆积、脑裂等问题),同时具备高并发、分布式、灵活扩缩容等...
源于开源,胜于开源 支持开源Gremlin语法,重点算子性能优化,让计算效率更高。海量数据,灵活扩展 分布式集群架构可弹性运维,分钟级快速扩展服务和数据存储能力。大数据生态,深度对接 对接完整的阿里云大数据及AI产品生态,提供基于...
在使用开源RabbitMQ集群时,当您希望能够解决各种稳定性痛点(例如消息堆积、脑裂等问题)、实现高并发、分布式、灵活扩缩容时,您可以将开源RabbitMQ集群迁移至 云消息队列 RabbitMQ 版,本文介绍迁移上云的前提条件、操作步骤、注意事项...
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合,为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
VVR提供企业版StateBackend,性能是开源版本的3~5倍。在EMR Hadoop集群中,您可使用VVR引擎和EMR数据开发功能提交作业。VVR支持开源Flink 1.10版本,默认使用商业GeminiStateBackend,具备以下特性:采用创新的数据结构,提高随机查询、...
名称 类型 描述 示例值 object Category string ...PL1(默认):单盘最高随机读写 IOPS 5 万。PL2:单盘最高随机读写 IOPS 10 万。PL3:单盘最高随机读写 IOPS 100 万。默认值:PL1。PL1 Count integer 每个节点系统盘数量,默认值为 1。1
通过开源Elastic Search和DataV结合使用,可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件 已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源 登录 ...
说明 当选择了Kafka服务,系统将默认安装Kafka Manager软件服务,并开启Kafka Manager的认证功能。注意事项 使用Kafka Manager进行partition reassign功能时,当前版本的Kafka Manager是没有提供限流功能的。如果需要限流,您可以通过 ...
阿里云E-MapReduce产品构建于阿里云云服务器ECS上,基于开源的Apache Hadoop和Apache Spark,做了大量优化。本文为您介绍E-MapReduce(简称EMR)Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件,随开源版本升级迭代,...
通过开源Elastic Search和DataV结合使用,可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件 已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源 登录 ...
EMR用户可以用于访问链接与端口,查看开源组件Web UI时的用户身份认证,也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP,则可以对用户管理中的用户进行权限控制。如果是高安全集群,EMR用户可以用于Kinit操作...
说明 本文图片和部分内容来源于开源StarRocks的 概述。Internal Catalog:内部数据目录,用于管理StarRocks所有内部数据。例如,执行 CREATE DATABASE 和 CREATE TABLE 语句创建的数据库和数据表都由Internal Catalog管理。每个StarRocks...
开通DLF后,系统会为您选择默认的DLF数据目录,默认为UID。如果针对不同集群您期望使用不同的数据目录,则可以按照以下方式新建目录。单击 创建数据目录,在弹出的对话框中输入 目录ID,选择 目录路径,然后单击 确定。详情请参见 数据目录...
技术栈全面开源共建、保存社区中立、兼容社区和开源生态,组件可插拔,与其它开源组件可相互集成或替换。更多详情,请参见 SOFAStack 开源官网。满足资金安全、无损容灾的金融级要求 —— 包含构建金融级云原生架构所需的各个组件,让用户...
更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform,基于开源Flink 1.10深度定制,提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...
访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI,具体操作请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。NameNode服务地址 版本 访问地址 说明 hadoop 3.x http://${namenode_hostname}:9870${...
此外,您还可以使用SSH连接创建隧道,以便通过Web浏览器查看开源组件的Web页面。本文为您介绍如何在Windows和Linux环境中使用SSH方式(SSH密钥对或SSH密码方式)登录集群。前提条件 已在EMR on ECS创建集群,详情请参见 创建集群。确保本地...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 AddClusterService 系统规定参数。取值:AddClusterService。ClusterId String 是 C-F32FB31D8295*待添加服务的集群ID。RegionId String 是 cn-hangzhou 集群对应的地域ID。...
选择合适的集群是E-MapReduce产品使用的第一步。E-MapReduce配置选型不仅要考虑企业大数据使用场景、估算数据量、服务可靠性要求,还应该考虑企业预算。...可用区选择 为保证效率,您应该部署E-MapReduce与业务系统在同一地域的同一个可用区。
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版(ACK)之上,利用ACK在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入,以便于您可以更加专注大数据任务本身。收费标准 阿里云EMR on ACK正式商业化后,将根据集群...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteFlowJob 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求,该参数为必选参数。取值:DeleteFlowJob。Id String 是 FJ-BBCAE48B90CC*作业ID。您可以调用 ...
由于E-MapReduce集群是在VPC网络中,而很多用户的业务系统还存在于经典网络中,为了解决此问题,阿里云推出了ClassicLink方案,您可以参见此方案进行网络互访,详情请参见 建立ClassicLink连接。VPC网络之间连通:选择新旧集群处在同一个...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteFlow 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求,该参数为必选参数。取值:DeleteFlow。Id String 是 F-7A39731FE719*工作流ID。您可以调用 ...
请求参数 名称 类型 是否必选 示例值 描述 Action String 否 UntagResources 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求,该参数为必选参数。取值:UntagResources。RegionId String 是 cn-hangzhou 地域ID。您可以调用 ...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteFlowProjectUser 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求,该参数为必选参数。取值:DeleteFlowProjectUser。ProjectId String 是 FP-257A173659F5*...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务,您可以通过EMR Serverless StarRocks灵活的创建和管理StarRocks实例以及数据。StarRocks作为一款兼容MySQL协议的OLAP分析引擎,提供了极致...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ResumeFlow 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求,该参数为必选参数。取值:ResumeFlow。FlowInstanceId String 是 FI-9DDAAA3ADA5F*工作流实例ID。您...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CloneFlow 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求,该参数为必选参数。取值:CloneFlow。Id String 是 F-8C1EB0C6452*克隆的目标工作流ID。您可以调用 ...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteResourcePool 系统规定参数。取值:DeleteResourcePool。ClusterId String 是 C-EBD62A703A43*集群ID。您可以调用 ListClusters 查看集群的ID。RegionId String 是 ...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...