配置StarRocks集群以访问高安全数据集群
如果您所使用的数据集群开启了Kerberos身份认证，那么...在StarRocks服务页面，选择右侧的 更多操作>重启。在弹出的对话框中，输入 执行原因，单击 确定。在弹出的对话框中，单击 确定。重启后即可正常查询开启kerberos身份认证集群中的数据。
快速入门
本文为您介绍如何通过阿里云E-MapReduce（简称EMR）控制台，快速创建EMR Studio集群并开展交互式开发和工作流调度工作。背景信息 如果您想了解更多Zeppelin、Jupyter和Airflow的信息，请参见以下内容：Zeppelin概述 管理JupyterHub 定期...
配置项说明
阿里云E-MapReduce（简称EMR）的ClickHouse集群中，主要提供了四种服务配置项以配置ClickHouse集群，包括客户端配置、服务端配置、用户权限配置和拓展配置。本文为您介绍ClickHouse服务的客户端配置、服务端配置和拓展配置。背景信息 ...
为RAM用户授权
在E-MapReduce中，RAM的典型使用场景如下：用户：如果您购买了多台E-MapReduce集群实例，您的组织里有多个用户（如运维、开发或数据分析）需要使用这些实例，您可以创建一个策略允许部分用户使用这些实例。避免了将同一个AccessKey泄露给...
设置标签
背景信息 E-MapReduce集群中包含多个ECS节点。创建E-MapReduce集群时，系统会自动为ECS节点绑定两个系统标签。通过登录 云服务器ECS控制台，在实例列表中将鼠标移动到对应ECS节点的标签图标上，可以查看该ECS节点属于哪个集群以及在集群中...
JindoTable SDK模式归档和解冻命令介绍
否-mr/-mapReduce 使用Hadoop MapReduce而非本地多线程来归档数据。否-e/-explain 如果出现该选项，则为解释（explain）模式，只会显示待移动的分区列表，而不会真正移动数据。否-w/-workingDir 只在MapReduce作业时使用，为MapReduce作业...
使用JindoTable实现对OSS上表或分区的归档和解冻
否-mr/-mapReduce 使用Hadoop MapReduce而非本地多线程来归档数据。否-e/-explain 如果出现该选项，则为解释（explain）模式，只会显示待移动的分区列表，而不会真正移动数据。否-w/-workingDir 该目录只在MapReduce作业执行时使用，作为...
JindoTable SDK模式归档和解冻命令介绍
否-mr/-mapReduce 使用Hadoop MapReduce而非本地多线程来归档数据。否-e/-explain 如果出现该选项，则为解释（explain）模式，只会显示待移动的分区列表，而不会真正移动数据。否-w/-workingDir 只在MapReduce作业时使用，为MapReduce作业...
JindoTable SDK模式归档和解冻命令介绍
否-mr/-mapReduce 使用Hadoop MapReduce而非本地多线程来归档数据。否-e/-explain 如果出现该选项，则为解释（explain）模式，只会显示待移动的分区列表，而不会真正移动数据。否-w/-workingDir 只在MapReduce作业时使用，为MapReduce作业...
计费项
计费项 计费说明及付费方式 E-MapReduce服务费用 E-MapReduce会提供集群的多维度管理服务，包括页面的展示与控制、OpenAPI与SDK的支持、监控报警、运维工具和服务端后台的自动化运维等服务。关于E-MapReduce产品的详细定价，请根据您选择的...
下线DataNode
随着数据湖技术的普及，越来越多的E-MapReduce（简称EMR）用户选择把数据存放在全托管的数据存储服务中（例如，OSS-HDFS和OSS对象存储等），这样原有的Hadoop集群就不需要很多的DataNode。下线（Decommission）EMR集群的DataNode（Core节点...
引擎运维
在DataWorks实例任务中，E-MapReduce计算引擎任务会被分为若干作业有序执行。您可以使用DataWorks的引擎运维功能，查看各个E-MapReduce作业的详细信息，及时查找并清理运行有误的作业，避免该类作业阻塞下游任务，影响实例任务的正常运行。...
常用文件路径
本文为您介绍E-MapReduce中常用文件的路径。您可以登录Master节点查看常用文件的安装路径。数据湖集群 大数据组件安装目录 组件安装在/opt/apps/xxx 目录下，例如：HDFS：/opt/apps/HDFS/hdfs-current Hive：/opt/apps/HIVE/hive-current ...
自建Hive数据仓库迁移到阿里云E-MapReduce
深度整合 E-MapReduce与阿里云其它产品（例如，OSS、MNS、RDS 和 MaxCompute 等）进行了深度整合，支持以这些产品作为Hadoop/Spark计算引擎的输入源或者输出目的地。安全 E-MapReduce整合了阿里云RAM资源权限管理系统，通过主子账号对服务...
Spark作业配置
您可以单击下方的+插入OSS路径，文件前缀 选择 OSSREF，从 文件路径 中进行浏览和选择，系统会自动补齐OSS上Spark脚本的路径。创建Pyspark作业。E-MapReduce除了支持Scala或者Java类型作业外，还支持Python类型Spark作业。新建一个Python...
JindoFS外部客户端
应用场景 JindoFS外部客户端实现了Hadoop文件系统的接口，在用户程序跟E-MapReduce JindoFS Namespace服务网络相通的情况下，用户可以通过JindoFS外部客户端去访问JindoFS上存储的数据，但外部客户端不能利用E-MapReduce JindoFS的数据缓存...
改写Jindo HDFS客户端路径
SmartData 3.1.x版本支持改写Jindo HDFS客户端级别的路径，以减少集群迁移时修改路径的工作量。例如，通过将HDFS地址重写至OSS地址，方便您迁移HDFS中的数据至OSS后，无需改动业务逻辑中的数据地址，即可访问数据。使用限制 仅支持Hadoop 2...
Kafka Indexing Service
本文介绍如何在E-MapReduce中使用Apache Druid Kafka Indexing Service实时消费Kafka数据。前提条件 已创建E-MapReduce的Druid集群和Kafka集群，详情请参见 创建集群。背景信息 Kafka Indexing Service是Apache Druid推出的使用Apache ...
HDFS概述
特性 E-MapReduce集群中HDFS的优势如下：具有高容错性和高可扩展性。提供Shell命令接口。提供Web可视化组件管理界面，方便管理。拥有类似于Linux的文件权限管理。Locality感知，在分配存储空间时会考虑计算节点的位置。当DataNode之间数据...
Superset（仅对存量用户开放）
您可以使用Superset连接多个数据源自助分析并可视化、定义图表和看板、导入或导出看板，并且可以对用户和角色进行权限管理。本文以EMR-3.34.0版本的集群为例为您介绍如何使用Superset。背景信息 Superset对E-MapReduce Druid做了深度集成，...
续费说明
如需对多个实例开通自动续费，可以选中多个实例，单击下方的 开启自动续费。在弹出的对话框中，设置续费时长。单击 开启自动续费。在EMR Serverless StarRocks实例详情页开通自动续费 您可以在EMR Serverless StarRocks控制台的实例详情页...
实现Hue多实例负载均衡
阿里云E-MapReduce默认在每个Master节点上部署一个Hue实例，当Hue访问压力过大时，其加载速度会变慢。本文介绍如何通过Gateway集群增加Hue实例数量，并通过阿里云负载均衡（Server Load Balancer）访问Hue，实现Hue多实例负载均衡。前提...
使用JindoFS作为HBase的底层存储
875)问题分析：因为HBase提供的开源MapReduce程序存在缺陷，所以会校验HBase的数据路径跟HDFS中 fs.defaultFS 路径是否一致。解决方法：使用ExportSnapshot可以正常读取并导出Hbase数据。使用TableSnapshotInputFormat读取Hbase数据时，...
Hudi MetaStore使用说明
本文为您介绍如何使用E-MapReduce的Hudi MetaStore。背景信息 Hudi每次操作数据都会新增时间线（instant），查询时需要读取所有时间线元数据，以获得在该时间点上的有效分区或文件，其中Partition Listing和File Listing涉及大量IO操作，...
欠费说明
欠费说明 多个集群之间并不会互相影响，例如，您有一个包年包月集群和一个按量付费集群，当按量付费集群欠费时，包年包月集群并不会受到影响，仍然会正常工作。计费方式 欠费策略 包年包月 对于包年包月集群，您已经预先支付了费用，因此...
Hive作业配置
E-MapReduce默认提供了Hive环境，您可以直接使用Hive来创建和操作创建的表和数据。前提条件 已创建好项目，详情请参见 项目管理。已准备好Hive SQL的脚本，并上传到OSS的某个目录中（例如 oss:/path/to/uservisits_aggre_hdfs.hive）。...
OSS参考使用说明
本文介绍在E-MapReduce作业配置中使用的OSS URI。OSS URI 使用E-MapReduce时，通常会使用两种OSS URI：native URI：oss:/bucket[.endpoint]/object/path。您在作业中指定输入输出数据源时使用此URI，等同于 hdfs:/。您操作OSS数据时，可以...
Hive访问云HBase数据
阿里云HBase需要借助外部Hive对多表进行关联分析，本文介绍如何使用E-MapReduce（简称EMR）上的Hive关联阿里云HBase的表。前提条件 已创建DataLake集群。详细步骤，请参见 创建集群。已创建与EMR在同一地域下且共用VPC的HBase实例。说明 ...
JindoTable MoveTo命令介绍
登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 集群管理 页签。在 集群管理 页面，单击相应集群所在行的 详情。在左侧导航栏，选择 集群服务>HDFS。修改配置。在HDFS服务的 配置 页面，单击 ...
OSS/OSS-HDFS快速入门
路径说明 访问OSS和访问OSS-HDFS，仅路径中的endpoint不同，其他使用方式均相同。两种方式的路径示例和描述如下：存储系统 根路径示例 描述 OSS oss:/examplebucket.oss-cn-shanghai-internal.aliyuncs.com/ 在上海区域已创建了名为...
MapReduce支持SQL运行时执行模式
MaxCompute新增支持将MapReduce作业指定为SQL运行时（Runtime）执行模式，基于SQL运行时，MapReduce作业可以应用SQL引擎的各种新特性，实现之前不支持的功能。本文为您介绍如何将MapReduce作业指定为SQL运行时执行模式。背景信息 ...
计费概述
本文介绍阿里云E-MapReduce的计费项、计费方式、转换计费方式、续费说明、欠费说明、查看消费明细、退费说明、查看账单和计费常见问题。相关项 描述 相关文档 计费项 为您介绍E-MapReduce的计费项，以及相关计算公式，以便您对支付的费用...
E-MapReduce本地盘实例大规模数据集测试
本文介绍如何使用阿里云E-MapReduce搭建本地盘机型集群节点，并进行大数据基准性能测试。应用范围 需要使用阿里云E-MapReduce+本地盘进行大数据业务前进行性能测试的用户。需要将线下自建大数据集群迁移到阿里云云上E-MapReduce+本地盘进行...
选型配置说明
选择合适的集群是E-MapReduce产品使用的第一步。E-MapReduce配置选型不仅要考虑企业大数据使用场景、估算数据量、服务可靠性要求，还应该考虑企业预算。大数据使用场景 E-MapReduce各集群的场景和核心组件如下表。说明 具体各集群类型支持...
Tez
在 集群服务 页面，选择右上角的 更多操作>重启。在弹出的对话框中，输入 执行原因，单击 确定。在 确认 对话框中，单击 确定。访问Tez Web UI 在E-MapReduce控制台的 访问链接与端口 页面，单击 TEZ UI 所在行的链接，即可访问Tez Web UI...
使用JDBC提交Presto作业
背景信息 Trino JDBC使用和相关参数的更多信息，请参见 JDBC driver。前提条件 已在E-MapReduce on ACK控制台创建Presto集群，详情请参见 快速入门。已添加AliyunOSSFullAccess和AliyunDLFFullAccess权限，详情请参见 角色授权。已配置...
退款说明
本文介绍阿里云E-MapReduce的退款规则和退款方式。退款规则与方式 计费方式 退款规则 退款方式 包年包月 包年包月的集群在购买时已经根据购买时长预先支付了费用。在释放ECS实例时，系统将同时退还您EMR未使用部分的款项。说明 释放ECS实例...
服务支持
本文档汇总了E-MapReduce的产品公告、发布记录、常见问题和服务等级协议等内容。产品公告 EMR Workflow公测说明 EMR旧版数据开发迁移公告 发布记录 新功能发布记录 常见问题 EMR on ECS常见问题 服务等级协议 E-MapReduce服务等级协议（SLA...
Hive开发手册
本文介绍如何在E-MapReduce集群中开发Hive作业流程。在Hive中使用OSS 在Hive中读写OSS时，先创建一个external的表。CREATE EXTERNAL TABLE eusers(userid INT)LOCATION 'oss:/emr/users';使用示例 Hive作业流程示例如下：示例1 编写如下...
快速入门
如果您是初次使用E-MapReduce，请参见快速入门文档，以帮助您快速了解如何购买和使用E-MapReduce。标题 EMR on ECS EMR on ECS快速入门 E-MapReduce快速入门 EMR on ACK快速入门 EMR Serverless StarRocks 快速使用EMR Serverless ...
- 产品推荐
- 这些文档可能帮助您