快速使用EMR Notebook
说明 工作空间创建成功后，系统会自动分配一台配备2 vCPU和8 GiB内存的机器，您可以在运行Notebook作业时启动并使用这台机器。步骤二：配置访问信息 单击上一步中已新建工作空间（emr_notebook）操作列的 控制台。首次访问E-MapReduce ...
测试SCC集群性能
针对E-HPC多机并行计算需求，SCC可以提供低延时RDMA网络互联，同时提供VPC网络隔离能力；SCC实例无虚拟化损耗，您可以直接访问硬件资源。因此，SCC适合仿真制造、生命科学、机器学习、大规模分子动力学和气象预报等应用场景。SCC实例与普通...
SwitchInstanceNetType
切换网络类型后实例连接地址会发生变化，需要您修改应用的连接地址并重启应用。必须满足以下条件，否则将修改失败：实例状态为运行中。24小时内切换次数低于20次。请求参数 名称 类型 是否必须 描述<公共请求参数>-参见 公共参数。Action ...
管理自动补偿
开启自动补偿功能后，当E-MapReduce（简称EMR）监测到您集群的ECS实例无法维持EMR上的引擎服务正常工作时，EMR的自动补偿功能会尝试为您新购ECS实例替换掉异常的ECS实例。前提条件 已创建数据湖（DataLake）、实时数据流（DataFlow）或...
网络智能服务系统权限策略参考
在产品迭代过程中，网络智能服务会向系统策略中添加新的权限，用来支持新的功能和能力。系统策略的更新将会影响所有授予了该策略的 RAM 身份，包括 RAM 用户、RAM 用户组和 RAM 角色。有关 RAM 权限策略的更多信息，请参阅 权限策略概览。...
UpdateNetworkAclEntries-更新网络ACL规则
调用UpdateNetworkAclEntries接口更新网络ACL规则。接口说明 UpdateNetworkAclEntries 接口属于异步接口，即系统返回一个请求 ID，但该网络 ACL 规则尚未更新成功，系统后台的更新任务仍在进行。您可以调用 DescribeNetworkAclAttributes ...
Hive连接方式
本文为您介绍在E-MapReduce集群提交Hive SQL的三种方式。前提条件 已创建集群，且选择了Hive服务，详情请参见 创建集群。注意事项 本文示例中需替换的参数：<主节点的节点名称>：您可以在EMR控制台目标集群的 节点管理 页面获取，具体操作...
什么是弹性高性能计算E-HPC
什么是专有网络 弹性公网IP EIP 集群内的登录节点默认会绑定EIP，并开启一定量的公网带宽，用于访问公网。什么是弹性公网IP 阿里云文件存储NAS（Apsara File Storage）文件存储服务为集群中所有节点提供文件共享路径。什么是文件存储NAS ...
常见问题
本文主要描述使用物联网络管理平台时遇到的常见问题及其解决方法。物联网络管理服务当前收费吗？服务已正式收费，每个账号可免费接入三台网关体验组网。物联网络管理服务如何收费？收费方式请参考 计费说明。Link WAN与设备接入 Link SDK ...
流量镜像概述
当网络流量流入ECS实例时，镜像会话将会镜像同时符合以下条件的网络流量：源网段为192.168.0.0/16、源端口为10000、使用TCP协议目的网段为10.0.0.0/8、目的端口为80。应用场景 安全场景：网络入侵检测 通过自主研发或者第三方安全软件对...
EMR Serverless Spark与其他VPC间网络互通
通过网络连接功能，您可以访问自有VPC（Virtual Private Cloud）内的数据源。本文将以SparkSQL和Application JAR类型任务连接至您的自有VPC的HMS（Hive Metastore）服务为例，为您介绍如何配置并访问自有VPC内的数据源。前提条件 已准备好...
连接公网概述
您可以通过ECS实例固定公网IP、弹性公网IP、NAT网关、负载均衡使专有网络中的云资源可以访问公网（Internet）或被公网访问。概述 专有网络是您自定义的云上私有网络。专有网络中的云资源默认无法访问公网，也无法被公网访问。您可以通过...
NameNode或JournalNode的editlogs目录占用较大磁盘...
问题原因 HDFS依赖FsImage Checkpoint进行editlogs合并，当FsImage Checkpoint出现异常时，会导致editlogs无法合并，通常异常情况是由于FsImage目录写满或磁盘异常等情况引起的，此时NameNode重启时间也会变得很长。NameNode FsImage ...
为Spark集群关联RSS
RSS（EMR Remote Shuffle Service）是E-MapReduce（简称EMR）为了提升Shuffle稳定性和性能推出的扩展组件，优化了Spark原生的Shuffle。本文为您介绍EMR on ACK上的Spark集群如何关联RSS。背景信息 目前在ACK的场景下，Spark Shuffle面临的...
Flannel
Flannel是一种容器网络接口CNI（Container Network Interface）插件，在阿里云上使用的Flannel网络模式采用阿里云VPC模式。您可以通过使用Flannel网络组件实现Kubernetes集群内部的网络互通。本文为您介绍了Flannel相关内容的最新动态。...
使用ClassicLink
取消ClassicLink连接 您可以取消ClassicLink连接，取消连接后，将会中断经典网络ECS实例与专有网络VPC（Virtual Private Cloud）之间的互通关系。登录 ECS管理控制台。在左侧导航栏，单击 实例与镜像>实例。选择实例的所属地域。在 实例...
NAS挂载
1.相关概念 说明 从安全、性能以及便捷性来考虑，目前批量计算仅支持在专有网络中使用阿里云NAS，以下是专有网络和阿里云NAS的一些基本概念：专有网络(VPC)：专有网络VPC（Virtual Private Cloud）是用户基于阿里云创建的自定义私有网络,...
管理尽力交付
在执行E-MapReduce（简称EMR）集群节点扩容操作中，开启尽力交付功能后，如果遇到ECS资源库存不足或ECS部署失败异常等情况，系统会竭尽全力交付所有成功创建的节点到集群中，以维持整体业务的顺畅运行。前提条件 已创建数据湖（DataLake）...
开启部署集
由于加入部署集后节点组的节点数会受到限制，所以请您谨慎选择是否为节点组开启加入部署集开关。如果创建集群时开启服务高可用开关，则Master节点会默认开启加入部署集开关。EMR集群释放后会自动释放集群关联的部署集，请勿在EMR自动创建的...
管理安全组
背景信息 您在创建E-MapReduce集群时，可以使用已有的安全组或者新建安全组，对某个安全组下的所有ECS实例的出方向和入方向进行网络控制。您可以将ECS实例按照功能划分，放于不同的安全组中。例如，通过E-MapReduce创建的安全组为E-...
DataWorks on EMR快速入门
DataWorks支持基于E-MapReduce创建Hive、Spark SQL、Presto和MR等节点，实现任务工作流的配置和定时调度、元数据管理及数据质量监控告警等功能，为用户提供一站式数据湖开发和治理的环境。本文为您介绍如何在DataWorks上快速使用EMR集群。...
OSS参考使用说明
OSS URI 使用E-MapReduce时，通常会使用两种OSS URI：native URI：oss:/bucket[.endpoint]/object/path。您在作业中指定输入输出数据源时使用此URI，等同于 hdfs:/。您操作OSS数据时，可以将AccessKey Id、AccessKey Secret以及Endpoint...
错误码
本文分类型列举调用物联网络管理平台 API 出错时，返回的错误码。其中公共错误码为所有 API 方法都有可能返回的错误。以下表格中的某些行包含一个以上错误码，其中最后一个为粗体。粗体的错误码在目前公测版的平台不存在，但今后会取代非...
E-MapReduce快速入门
交换机 vsw_i/vsw-bp1e2f5fhaplp0g6p*选择在对应专有网络下可用区的交换机，如果在这个可用区没有可用的交换机，则需要新创建一个。默认安全组 sg_seurity/sg-bp1ddw7sm2risw*重要 禁止使用ECS上创建的企业安全组。如果已有在使用的安全组...
计费项
计费项 计费说明及付费方式 E-MapReduce服务费用 E-MapReduce会提供集群的多维度管理服务，包括页面的展示与控制、OpenAPI与SDK的支持、监控报警、运维工具和服务端后台的自动化运维等服务。关于E-MapReduce产品的详细定价，请根据您选择的...
Impala概述
注意事项 如果使用Impala组件，请勿直接通过系统文件删除hive表分区目录，请使用Impala或者Hive命令删除，否则会导致该表不可用。优点 为了避免延迟，Impala没有使用MapReduce，而是使用分布式查询引擎直接访问数据，该引擎与RDBMS中的查询...
集群容灾能力
本文介绍E-MapReduce集群数据容灾和服务容灾能力。数据容灾 在Hadoop分布式文件系统（HDFS）中，每一个文件的数据均是分块存储的，每一个数据块保存有多个副本（默认为3），并且尽量保证这些数据块副本分布在不同的机架之上。一般情况下，...
支持管理健康检查项
E-MapReduce会自动根据健康检查项对集群的节点和服务进行健康检查 适用客户 全网用户 新增功能/规格 E-MapReduce自动根据健康检查项对集群的节点和服务进行健康检查，及时对异常或风险点进行处理。当健康检查发现异常时，对应节点或者组件...
Hive统一元数据
所以，在任何时候删除OSS上或者集群HDFS上数据（包括释放集群操作）的时候，需要先确认该数据对应的元数据已经删除（即要删掉数据对应的表和数据库），否则元数据库中可能出现一些脏数据。计算存储分离。EMR上可以支持将数据存放在阿里云...
SmartData使用说明（EMR-3.20.0~3.22.0版本）
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
管理事件
E-MapReduce（简称EMR）会记录当前集群资源发生的系统事件，并自动将其同步到云监控服务。您可以在EMR控制台查看集群的事件，并在云监控控制台中设置事件告警。使用限制 当前仅展示EMR on ECS中DataLake、DataFlow、OLAP、DataServing和...
流日志概述
专有网络VPC（Virtual Private Cloud）提供流日志功能，可以记录VPC网络中弹性网卡ENI（Elastic Network Interface）传入和传出的流量信息，帮助您检查访问控制规则、监控网络流量和排查网络故障。功能发布及地域支持情况 首次使用流日志...
创建和管理流量镜像
通过流量镜像功能，您可以将符合筛选条件的经过弹性网卡ENI的网络流量复制并发送到指定目的实例，从而实现对网络流量的监控和分析需求。关于流量镜像功能的简介、使用限制等信息，请参见 流量镜像概述。前提条件 初次使用时，请登录 流量...
创建和管理流日志
专有网络VPC（Virtual Private Cloud）提供流日志功能。流日志功能可以捕获VPC中弹性网卡ENI（Elastic Network Interface）传入和传出的流量信息，您可以通过分析流日志捕获的流量信息检查VPC下的访问控制规则、排查网络故障以及监控异常...
管理引导操作
引导操作类似手动执行，在集群创建时或者创建完成后，您可以通过引导操作功能，完成很多目前E-MapReduce集群尚未支持的操作，例如：使用Yum安装已经提供的软件。直接下载公网上的一些公开的软件。读取OSS中您的自有数据。安装并运行一个...
扩容磁盘
当E-MapReduce集群的数据存储空间不足时，您可以根据本文进行磁盘（数据盘和系统盘）扩容。本文为您介绍如何对磁盘进行扩容。背景信息 根据E-MapReduce版本和磁盘属性不同，E-MapReduce支持的磁盘扩容方式也不同，具体说明如下：数据盘：...
通用服务条款
您承诺不应大量占用，亦不得导致如程序或进程等大量占用阿里云云计算资源（如云服务器、网络带宽、存储空间等）所组成的平台（以下简称“云平台”）中服务器内存、CPU或者网络带宽资源（比如但不限于互联网挖矿等行为），并给阿里云云平台...
创建StarRocks集群
交换机 vsw_test/vsw-bp1e2f5fhaplp0g6p*选择在对应VPC下可用区的交换机，如果在这个可用区没有可用的交换机，则需要在专有网络控制台新创建一个，详情请参见 创建和管理交换机。默认安全组 sg-bp1ddw7sm2risw*/sg-bp1ddw7sm2risw*默认选择...
JindoFS块存储模式
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
Insert Into
file=_shard_2/error_log_insert_stmt_ba8bb9e158e4879-ae8de8507c0bf8a2_ba8bb9e158e4879_ae8de8507c0bf8a2)其中，返回信息中的 ERROR 1064(HY000):all partitions have no load data 显示失败原因，后面的URL可以用于查询错误的数据。...
- 产品推荐
- 这些文档可能帮助您