权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
常用文件路径
usr/lib/jindodata-current/sbin:/usr/lib/spark-current/bin:/usr/lib/hadoop-current/bin:/usr/lib/hadoop-current/sbin:/root/bin HADOOP_CLASSPATH=opt/apps/extra-jars/*:/usr/lib/spark-current/yarn/spark-3.2.1-yarn-shuffle.jar ...
HDFS服务日志
HDFS服务的日志存储在/mnt/disk1/log/hadoop-hdfs 目录下，本文介绍HDFS服务各组件对应日志的详细说明。组件 日志 说明 ZKFailoverController（ZKFC）hadoop-hdfs-zkfc-*.out ZKFC的进程启动日志，部分启动异常会显示在out文件中。hadoop-...
切换为Hadoop原生的JobCommitter
E-MapReduce（简称EMR）集群默认使用JindoCommitter加速大数据作业，解决OSS等对象存储在Spark、MapReduce等作业使用原生Hadoop JobCommitter时遇到的性能和一致性等问题。如果您不想使用默认的JindoCommitter，则可以参照本文切换为Hadoop...
JindoFS权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
JindoFS权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
JindoFS权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
JindoFS权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
Spark访问湖仓一体外部数据源
访问基于Hadoop外部数据源的外部项目 MaxCompute SQL访问外部项目表-hadoop_external_project 为外部项目，映射的是EMR的Hive数据库-访问非分区表 SELECT*from hadoop_external_project.testtbl;访问分区表 SELECT*from hadoop_external_...
管理事件中心（Hadoop集群）
E-MapReduce（简称EMR）的事件中心用于记录Hadoop类型集群发生的重要事件，并将其自动同步到云监控服务。您可以在EMR控制台上查看集群的事件，并在云监控控制台上设置相应的事件告警。使用限制 当前仅展示EMR on ECS中Hadoop类型集群的事件...
实例类型
例如：主实例节点（Master）：部署Hadoop HDFS的NameNode服务、Hadoop YARN的ResourceManager服务。核心实例节点（Core）：部署DataNode服务、Hadoop YARN的NodeManager服务。计算实例节点（Task）：只进行计算，部署Hadoop YARN的...
CreateTable-新增元数据表
注：表支持的数据格式 创建表时用户必须指定数据格式，参数示例如下 avro 格式：table.Parameters:{"classification":"avro"} table.Sd:"InputFormat":"org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat""OutputFormat":"org....
通过Hadoop Shell命令访问
如果您希望通过命令行的方式在开通OSS-HDFS服务的Bucket中执行上传、下载、删除等相关操作，您可以使用Hadoop Shell的方式。环境准备 您可以选择以下任意一种方式访问OSS-HDFS服务。通过阿里云EMR访问OSS-HDFS服务，确保已创建EMR-3.44.0及...
测试方法
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。您可以按照本文介绍自行测试对比，快速了解云原生数据湖分析（DLA）Spark引擎的性价比数据。...
报错“error occurred where call hadoop api”
问题描述 Dataphin管道任务失败，报错“error occurred where call hadoop api”。问题原因 Hive表字段改动导致。Hive表字段改动是要更新管道任务配置的，Hive输出组件的配置要求Hive表字段全部映射，否则就不允许提交，如果是TEXTFILE格式...
使用Hadoop作为元仓计算引擎进行元仓初始化
本文将为您介绍如何使用Hadoop作为元仓计算引擎进行元仓初始化。前提条件 以Hadoop作为元仓时，需开放元数据库或提供Hive Metastore服务，用于获取元数据。背景信息 Dataphin支持通过直连元数据库或Hive Metastore Service服务方式获取...
Dataphin 即席sql...hadoop.hive.common.type.HiveDate
问题描述 Dataphin 即席sql报错Could not initialize class org.apache.hadoop.hive.common.type.HiveDate。问题原因 插入数据后，查询表报错，表结构有date字段，输入类型有问题。解决方案 把表字段改成string类型，然后重新插入数据查询...
使用Hive访问
HADOOP_HOME/bin/hadoop fs-ls/user/hive/warehouse$HADOOP_HOME/bin/hadoop fs-ls/tmp/hive$HADOOP_HOME/bin/hadoop fs-chmod 775/user/hive/warehouse$HADOOP_HOME/bin/hadoop fs-chmod 775/tmp/hive 修改 io.tmpdir 路径。同时要修改 ...
函数操作
numpy-1.19.4-cp37-cp37m-manylinux1_x86_64.zip ST_Aggr_ConvexHull ALIYUN$@aliyun.com 2021-03-18 17:06:29 com.esri.hadoop.hive.ST_Aggr_ConvexHull esri-geometry-api.jar,spatial-sdk-hive.jar ST_Aggr_Intersection ALIYUN$@aliyun....
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
开启或关闭弹性伸缩（仅Hadoop集群类型）
前提条件 已完成弹性伸缩的配置，详情请参见 配置弹性伸缩（仅Hadoop集群类型）。注意事项 当伸缩组内节点数为0时，您才可以关闭弹性伸缩。当伸缩组内节点不为0时，您需要先为伸缩组设置缩容规则或者修改最大实例数为0，直至伸缩组内节点...
Lindorm文件引擎
spark.hadoop.dfs.client.failover.proxy.provider.<dfs.nameservices>":"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider","spark.hadoop.dfs.ha.namenodes.<dfs.nameservices>":"nn1,nn2","spark.hadoop....
高性能版Spark全密态计算引擎使用示例
AnalyticDB MySQL 湖仓版（3.0）高性能版的Spark全密态计算引擎，在基础版Spark全密态引擎能力的基础上，支持Parquet模块化加密功能，且兼容社区版Spark、Hadoop、Hive等计算引擎，在保证数据传输与存储过程安全的同时，提升了数据处理效率...
使用JindoFS SDK免密功能
前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除，如 jboot.jar、smartdata-aliyun-jfs-*.jar。如果要使用Spark则需要把/opt/apps/spark-current/jars/里面的包...
使用JindoFS SDK免密功能
前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除，如 jboot.jar、smartdata-aliyun-jfs-*.jar。如果要使用Spark则需要把/opt/apps/spark-current/jars/里面的包...
使用JindoFS SDK免密功能
前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除，如 jboot.jar、smartdata-aliyun-jfs-*.jar。如果要使用Spark则需要把/opt/apps/spark-current/jars/里面的包...
使用JindoFS SDK免密功能
前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除，如 jboot.jar、smartdata-aliyun-jfs-*.jar。如果要使用Spark则需要把/opt/apps/spark-current/jars/里面的包...
使用JindoFS SDK免密功能
前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除，如 jboot.jar、smartdata-aliyun-jfs-*.jar。如果要使用Spark则需要把/opt/apps/spark-current/jars/里面的包...
使用JindoFS SDK免密功能
前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除，如 jboot.jar、smartdata-aliyun-jfs-*.jar。如果要使用Spark则需要把/opt/apps/spark-current/jars/里面的包...
使用JindoFS SDK免密功能
前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除，如 jboot.jar、smartdata-aliyun-jfs-*.jar。如果要使用Spark则需要把/opt/apps/spark-current/jars/里面的包...
使用JindoFS SDK免密功能
前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除，如 jboot.jar、smartdata-aliyun-jfs-*.jar。如果要使用Spark则需要把/opt/apps/spark-current/jars/里面的包...
使用JindoFS SDK免密功能
前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除，如 jboot.jar、smartdata-aliyun-jfs-*.jar。如果要使用Spark则需要把/opt/apps/spark-current/jars/里面的包...
使用JindoFS SDK免密功能
前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除，如 jboot.jar、smartdata-aliyun-jfs-*.jar。如果要使用Spark则需要把/opt/apps/spark-current/jars/里面的包...
什么是EMR on ECS
与自建Hadoop集群对比 开源大数据开发平台EMR与自建Hadoop集群的优势对比如下表所示。对比项 阿里云EMR 自建Hadoop集群 成本 支持按量和包年包月付费方式，集群资源支持灵活调整，数据分层存储，资源使用率高。无额外软件License费用。需...
EMR集群JindoData升级流程（旧版控制台）
rw-r-r-1 hadoop hadoop 40 May 14 12:38 hosts-rw-r-1 hadoop hadoop xxxxxxxxx May 01 00:00 jindofsx-4.6.2.tar.gz 配置升级节点信息 编辑patch包下的hosts文件，添加集群所有节点的host name，例如emr-header-1或emr-worker-1，文件...
管理节点组（Hadoop、Data science和EMR Studio集群）
前提条件 已在EMR控制台创建Hadoop、Data science或EMR studio集群，详情请参见 创建集群。使用限制 支持新增Core和Task节点组。最多支持新增10个节点组。仅支持删除Task节点组，不支持删除Core节点组。注意事项 当待操作节点组的节点数...
- 产品推荐
- 这些文档可能帮助您