使用RocksDB作为元数据后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
使用RocksDB作为元数据后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
使用RocksDB作为元数据后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
使用RocksDB作为元数据后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
注册EMR集群至DataWorks
etc/ecm/hadoop-conf/core-site.xml/etc/ecm/hadoop-conf/hdfs-site.xml/etc/ecm/hadoop-conf/mapred-site.xml/etc/ecm/hadoop-conf/yarn-site.xml/etc/ecm/hive-conf/hive-site.xml/etc/ecm/spark-conf/spark-defaults.conf/etc/ecm/spark...
开通EMR Doctor（Hadoop集群类型）
E-MapReduce（简称EMR）的数据湖（DataLake）、数据服务（DataServing）和自定义业务场景下的集群默认提供EMR Doctor服务，如果您使用的是旧版数据湖场景下的Hadoop集群类型（EMR-3.41.0之前版本、EMR 4.x版本、EMR-5.6.0之前版本），则...
常见问题
hadoop jar<hadoop_home>/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar sleep-m 1-mt 1000-r 0 您可以在 sleep-m 之间新增配置项以指定Queue，新增的参数为-Dmapreduce.job.queuename，参数值为default。...
UpgradeMinorVersion
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 UpgradeMinorVersion 系统规定参数。取值：UpgradeMinorVersion。ClusterId String 是 hb-t4naqsay5gn*集群ID。...
Hive
本文主要介绍如何使用DLA Spark访问用户VPC中的Hive集群。重要 云原生数据湖分析（DLA）产品已退市，云原生...IP和域名的对应关系，您可以登录自建集群的master节点，从/etc/hosts中查看IP和域名的对应关系。您也可以从步骤2中获取相关参数。
创建EMR MR节点
hadoop emr hadoop dw hive hadoop dw emr 创建初始数据及JAR资源的存放目录。登录 OSS管理控制台。单击左侧导航栏的 Bucket列表 单击目标Bucket名称，进入 文件管理 页面。本文示例使用的Bucket为 onaliyun-bucket-2。单击 新建目录，创建...
使用Presto访问
本章节介绍如何通过自建的Presto使用文件引擎。背景信息 Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持从GB到PB字节。Presto支持在线数据查询，包括Hive、Cassandra、关系数据库以及专有数据存储。说明 本文中...
使用回收站
此时在客户端会自动将rm命令转换为一条 hadoop fs-mv oss:/bucket/a/b/c/user/<username>/.Trash/Current/a/b/c 命令。因此，您不需要感知回收站功能的存在，服务端会负责清理。如果您想立即删除该文件，释放空间，可以添加-skipTrash 参数...
GetPartitions
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetPartitions 系统规定参数。取值：GetPartitions。DbName String 是 db001 数据库名称。TableName String 是 tbl001 ...
最佳实践概览
ES-Hadoop使用 通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据 通过ES-Hadoop将HDFS中的数据写入Elasticsearch 通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据 日志采集与分析 日志同步分析概述 通过自建Filebeat收集MySQL日志 ...
Hive作业异常排查及处理
在自建ECS上提交Hive作业异常 在自建ECS上提交Hive作业（不在EMR产品范围内），会出现不可预期报错。请使用EMR Gateway集群或者使用EMR-CLI自定义部署Gateway环境。更多信息，请参见 使用EMR-CLI自定义部署Gateway环境。数据倾斜导致的作业...
GetPartition
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetPartition 系统规定参数。取值：GetPartition。DbName String 是 db001 分区所在数据库名称。TableName String 是 ...
访问Hive数据源
E-MapReduce集群业务场景为 新增数据湖，需具有Hadoop-Common、HDFS、YARN和Hive服务，且元数据为 自建 RDS 或 内置 MySQL。具体操作，请参见 创建集群。或已自建与AnalyticDB MySQL湖仓版（3.0）集群同地域的Hive集群。重要 元数据类型为 ...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
es.index.auto.create true 通过Hadoop组件向Elasticsearch集群写入数据，是否自动创建不存在的index：true：自动创建 false：不会自动创建 es.resource/指定要读写的index和type。es.mapping.names/表字段与Elasticsearch的索引字段名映射...
Spark Load
spark.hadoop.dfs.ha.namenodes.myha"="mynamenode1,mynamenode2","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode1"="nn1_host:rpc_port","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode2"="nn2_host:rpc_port",...
配置自建RDS
本文介绍如何配置自建的阿里云RDS，作为E-MapReduce（简称EMR）上DataLake集群、Custom集群或Hadoop集群的元数据。前提条件 已购买RDS MySQL实例（EMR所有版本均支持MySQL 5.7，仅EMR-3.35.0以上版本、EMR-5.0.0以上版本同时支持MySQL 5.7...
基于eRDMA增强型实例部署Spark集群
Hadoop版本：Hadoop 3.2.1 Spark版本：Spark 3.2.1 ECS实例：实例规格：请参见 基本规格 vCPU个数：16 集群节点个数：1个主节点、3个worker节点 安装步骤 安装Hadoop大数据集群的具体操作，请参见 通过FastMR自动拉起大数据集群。...
CheckComponentsVersion
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CheckComponentsVersion 系统规定参数，取值：CheckComponentsVersion。ClusterId String 是 hb-t4naqsay5gn*集群ID，可...
利用MaxCompute External Volume处理非结构化数据
配置项 spark.hadoop.odps.cupid.volume.paths=odps:/ms_proj1_dev/volume_yyy1/spark.hadoop.odps.volume.common.filesystem=true spark.hadoop.fs.odps.impl=org.apache.hadoop.fs.aliyun.volume.OdpsVolumeFileSystem spark.hadoop.fs....
管理Hive Catalog
说明 开通Flink工作空间后，系统会自动在您指定的Bucket下创建/artifacts/namespaces/${ns}/目录来存储JAR包等数据。如果您在OSS控制台没有看到如上目录，则需要在Flink开发控制台的 资源管理 页面，手动上传一个文件来触发目录创建。在 ...
数据湖集群
Spark部署 数据湖集群在原有Hadoop2+Spark2和Hadoop3+Spark3的基础上，增加了Hadoop2+Spark3和Hadoop3+Spark2的组合部署模式。您可以根据实际情况，选择满足自己的软件组合。另外，数据湖集群支持Kyuubi，一个企业级的数据湖计算引擎...
JindoData版本说明
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。本文为您介绍JindoData各版本支持的功能。背景信息 JindoData是原阿里云EMR SmartData组件...
手工缩容节点组
Hadoop集群 touch/etc/ecm/hadoop-conf/dfs.exclude vim/etc/ecm/hadoop-conf/dfs.exclude 在vim下输入 o，新开始一行，填写下线的DataNode的hostname。emr-worker-3.cluster-xxxxx emr-worker-4.cluster-xxxxx 非Hadoop集群 touch/etc/...
使用Raft-RocksDB-Tablestore作为存储后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
使用Raft-RocksDB-Tablestore作为存储后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
使用Raft-RocksDB-Tablestore作为存储后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
使用Raft-RocksDB-Tablestore作为存储后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
使用Raft-RocksDB-Tablestore作为存储后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
使用Raft-RocksDB-Tablestore作为存储后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
使用Raft-RocksDB-Tablestore作为存储后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
使用Raft-RocksDB-Tablestore作为存储后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
使用Raft-RocksDB-Tablestore作为存储后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
配置弹性伸缩（仅Hadoop集群类型）
前提条件 已新建Hadoop集群，创建详情请参见 创建集群。注意事项 弹性伸缩配置可以指定伸缩的节点的硬件规格。您可以在弹性伸缩功能未开启的情况下配置具体实例规格。如果特殊情况确实需要修改，可以关闭弹性伸缩功能后，再次开启。系统会...
创建Hive数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
概述
增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大部分遗留系统产生。减少2.5%1.17GB Parquet Hadoop生态格式的数据。数据采用高性能的列存储格式，提升数据...
查询集群列表
MetaStoreType String LOCAL 元数据类型，取值如下：LOCAL：集群内部元数据 UNIFIED：统一元数据 USER_RDS：用户自建RDS Name String cluster_name 集群名。OperationId Long 1111 操作ID。OrderList String 0 订单列表。OrderTaskInfo ...
- 产品推荐
- 这些文档可能帮助您