在EMR集群运行TPC-DS Benchmark

修复开源工具配置问题。部分参数在Hive 2和Hive 3等开源版本中不支持,继续使用TPC-DS会导致作业报错,所以需要参考以下命令替换参数。sed-i 's/hive.optimize.sort.dynamic.partition.threshold=0/hive.optimize.sort.dynamic.partition=...

使用OpenAPI

阿里云CLI 支持 阿里云命令行工具(Alibaba Cloud Command Line Interface)是在Alibaba Cloud SDK for Go之上构建的开源工具。阿里云CLI提供了对阿里云云产品OpenAPI的直接访问。您可以在命令行Shell中,使用 aliyun 命令与阿里云服务进行...

产品优势

HBase Shell 黑屏工具 数据查询 集群管理系统内支持图形化SQL交互查询,请参见 数据查询,也支持使用开源工具HBase Shell/CQLsh。HBase Shell CQLsh 生态体系 数据搬迁 支持与HBase/Cassandra各个版本之间的在线、跨版本、自动化、高效搬迁...

什么是EMR Serverless Milvus

兼容开源Milvus生态 全面兼容开源Milvus系统,提供了Attu等丰富的开源管理工具,更拥有丰富且活跃的生态社区资源。产品功能 构建企业级全托管的可扩展 AI 向量数据库相似性检索服务 高可用性 致力于为客户提供优质的产品体验,基于阿里云...

通过开源Kafka脚本工具连接Lindorm流引擎

Lindorm流引擎完全兼容开源Kafka API,您可以通过Kafka脚本工具连接Lindorm流引擎,本文介绍如何通过开源Kafka脚本工具连接Lindorm流引擎。前提条件 已安装Java环境,要求安装JDK 1.7及以上版本。已将脚本部署实例IP地址添加至Lindorm实例...

数据上云工具

MaxCompute平台支持丰富的数据上传和下载工具(其中大部分工具已经在GitHub公开源代码,以开源社区的方式进行维护)。您可以根据实际应用场景,选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端(Tunnel通道系列)...

微服务引擎的线上流量治理

同时开源产品无运维工具,常常需要投入较大的运维人力和成本。使用微服务引擎的线上流量治理,可以快速集成主流开源微服务框架,实现业务零改造,解决开源框架在生产落地过程中的痛点,例如无损上下线、标签路由等。通过托管微服务开源组件...

Hadoop DistCp介绍

Hadoop DistCp和Jindo DistCp的区别 DistCp类型 功能 使用场景 Hadoop DistCp 开源Hadoop内置的DistCp工具,用于大型集群间或集群内数据的复制。HDFS到HDFS间的数据复制。Jindo DistCp JindoFS的数据迁移工具,支持OSS、OSS-HDFS服务、兼容...

技术支持的范围和方式

ECS或ACK OSS 云监控 不支持的服务 EMR提供运维工具(例如,告警监控和参数配置等)并保证工具功能的可靠性,但不提供具体集群和组件管理的运维操作,包括集群容量规划、组件性能优化以及集群上具体的运维操作(例如,重启服务和修改配置等...

功能特性

EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架,以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群,可以释放资源...

JindoFS块存储模式

配置完成后保存并部署,然后在SmartData服务中重启Namespace Service,即可开始使用JindoFS。存储策略 JindoFS提供了Storage Policy功能,提供更加灵活的存储策略适应不同的存储需求,可以对目录设置以下四种存储策略。策略 策略说明 COLD ...

HiveServer2负载均衡

addprinc-randkey hive/121.41.*.*xst-k/tmp/slb.keytab hive/121.41.*.*exit 如果EMR Kerberos集群对接使用的是外部MIT Kerberos,则按照MIT Kerberos开源用法使用kadmin.local或kadmin连接KDC,执行 addprinc 和 xst 命令即可。...

常见问题

DataFlow集群在配置文件中默认使用企业版状态后端(即GeminiStateBackend),您如果想针对单个作业使用开源的状态后端(例如rocksdb),可以通过-D指定,例如:flink run-application-t yarn-application-D state.backend=rocksdb/opt/apps...

开源项目

SGX-Device-Plugin SGX-Device-Plugin 迁移 Derrick 开源S2I工具,通过探测的机制,一键生成Dockerfile与模板。Derrick Derrick Velero Velero是一个云原生的集群应用备份、恢复和迁移工具。Velero-Plugin Velero-Plugin Image Build ...

开启Nacos开源控制台

说明 开启开源控制台将会重启Nacos集群,重启Nacos集群不会影响您正在运行的业务,但可能会出现少量Nacos客户端请求Nacos引擎失败和重连的日志,属于正常现象。开源控制台在2.2.2版本前无论是否开启社区默认鉴权插件,都会默认提供一个登录...

Attu操作指南

Attu是一款功能强大的开源数据库管理系统工具,专为Milvus向量数据库设计,提供直观易用的图形化界面,以简化数据库管理、集合(Collection)管理以及复杂的向量检索任务。前提条件 已完成网络安全设置,详情请参见 网络访问与安全设置。...

开源软件迁移

当前大部分应用系统都基于开源软件构建,并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态,您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...

开源自建对比

监控诊断 根据开源体系自行探索和开发,自行集成诊断工具和维护服务端,并搭建报警渠道。根据开源体系自行探索和开发,自行集成诊断工具和维护服务端,并搭建报警渠道。提供系统级别监控、应用级别和调用链监控。提供应用诊断功能。支持...

OpenLDAP

OpenLDAP是一种开源软件,您可以使用OpenLDAP提供的命令行工具ldapadd、ldapdelete、ldapmodify等来管理用户,使用ldif文件进行用户管理。这种方式需要参考OpenLDAP开源社区的文档来进行操作。开源文档请参见 OpenLDAP。

持久缓存池(Warm Buffer Pool)

背景信息 PolarDB MySQL版 支持持久缓存池功能,在主节点主动重启或者异常崩溃后重启的过程中,缓存池(Buffer Pool)中的数据依然存在,从而大幅度加快重启速度,并保持重启后性能无衰减。前提条件 PolarDB 集群版本需为 PolarDB MySQL版 ...

免费体验Lindorm宽表性能&价格力

构建资源和环境配置对等的云原生多模数据库 Lindorm和开源社区版HBase,基于相同的性能测试工具和测试方法,一键开启测试任务,直观展示对比结果,带您所见即所得地感受Lindorm和开源社区版HBase在 吞吐性能 和 P99时延 两方面的对比。...

什么是EMR Notebook

兼容开源 EMR Notebook兼容开源Jupyter Notebook,您可以通过文件导入、导出的方式实现开发工具的自由切换,从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码,并根据运行结果调整后续代码。多种数据源类型 支持...

AI开源项目

阿里云开源的AI及大数据相关开源项目,如用于全自动分布式深度学习系统TePDist、NLP 开发和应用工具包EasyNLP等,您可以根据需要选择AI及大数据开源项目。PAI相关的开源项目信息请前往 阿里云大数据&AI开源项目。

SmartData 3.1.x版本简介

功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化 支持文件的checksum功能,对齐开源HDFS checksum相关接口,支持MD5MD5CRC和COMPOSITE_CRC两种算法...

重启服务

修改配置项后,需要重启对应的服务使配置生效。本文为您介绍如何重启服务。前提条件 已在E-MapReduce上创建on ACK的集群,创建详情请参见 快速入门。操作步骤 进入服务详情页面。登录 EMR on ACK控制台。在EMR on ACK页面,单击目标集群...

产品架构

从上图可以看出EMR由四部分组成:社区开源产品 集成Apache社区开源大数据组件,例如Hadoop、Hive和HBase,随着EMR版本更新,开源软件也会相应的升级,详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...

重启服务

集群创建成功并正常运行后,您可以管理集群服务,包括新增、配置、启动、停止或重启服务。本文为您介绍如何在E-MapReduce控制台重启服务。前提条件 已创建集群,详情请参见 创建集群。注意事项 为确保服务重启过程中,尽量减少或不影响业务...

产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce(简称EMR),是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

什么是EMR on ECS

100%采用社区开源组件,适配并优化开源组件,性能远高于开源版本。基于时间的弹性伸缩能力,抢占式实例可进一步降低成本。解耦了计算与存储之间的绑定关系,实现了资源的弹性利用。分钟级别创建和扩容集群,无需手动部署和启动服务。产品...

产品简介

开源大数据开发平台E-MapReduce(简称EMR)是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...

EMR Studio概述

EMR Studio是E-MapReduce提供的开源大数据开发套件,包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群(EMR on ECS和EMR on ACK)的计算引擎提交任务,并提供了交互式开发、任务调度和任务监控等...

产品优势

阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式,神行工具包(DeepGPU)是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包(DeepGPU)的优势。...

扩容磁盘

配置项 说明 滚动重启 滚动重启 说明如下:选中 滚动重启 复选框:在一个ECS实例重启完成且该实例上的大数据服务全部恢复后,再启动下一个ECS实例。每个节点重启耗时约5分钟。清除 滚动重启 复选框:同时重启ECS实例。只重启变配节点 变配...

Zeppelin常见问题

EMR Studio上的Zeppelin与开源版本一致吗?如何设置Zeppelin Note的权限?Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗?EMR Studio上的Zeppelin是增强版的Zeppelin,与开源版本不一致。E-MapReduce的...

常见问题

问题1 问题现象:使用FileChannel作为Channel类型,并在执行 kill-9 强制退出后,因获取目录锁失败,导致Flume无法成功重启,具体报错如下。Due to java.io.IOException:Cannot lock data/checkpoints/xxx.The directory is already locked...

常见问题

本文汇总了Ranger使用时的常见问题...解决方法:登录集群的emr-header-1节点,手动修改配置文件/etc/ecm/ranger-usersync-conf/ranger-ugsync-site.xml 中 ranger.usersync.enabled 的参数值为true,然后在EMR控制台重启RangerUserSync组件。

授权信息

本文为您介绍 开源大数据平台 E-MapReduce(EMR)为RAM权限策略定义的操作(Action)、资源(Resource)和条件(Condition)。开源大数据平台 E-MapReduce(EMR)的RAM代码(RamCode)为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...

相关的云服务

本文为您介绍典型场景下,使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS(Elastic Compute Service)作为集群的节点,每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...

支持倚天云服务器

阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce(简称EMR)支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下,具有更高的性价比,帮助用户...

Tez

在 集群服务 页面,选择右上角的 更多操作>重启。在弹出的对话框中,输入 执行原因,单击 确定。在 确认 对话框中,单击 确定。访问Tez Web UI 在E-MapReduce控制台的 访问链接与端口 页面,单击 TEZ UI 所在行的链接,即可访问Tez Web UI...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 微服务引擎 检索分析服务 Elasticsearch版 性能测试 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用