集群管理常见问题
EMR的滚动重启是什么意思？如何删除不需要的服务？EMR支持Hue服务吗？如果不支持是否有替代方案？EMR支持Oozie服务吗？如果不支持是否有替代方案？EMR Doctor常见问题 服务运行日志收集哪些信息？哪些集群类型支持EMR Doctor功能？EMR ...
阿里控制台的应用到达是什么意思
问题描述 阿里控制台的应用到达是什么意思？解决方案 阿里后台推送通知后会显示已到达，该意思并不一定代表用户看到了这条通知，只是通知内容送达了手机端，手机端返回给服务器已送达的回执。具体通知是否展示出来还取决于通知的渠道ID是否...
企业资质审核FAQ
“请提供话术和业务场景”是什么意思？为什么告诉我实际用户名称填写不对？为什么告诉我身份证照片不规范？营业执照所在地没有可选号码怎么办？您可以异地申请南京的号码使用，异地申请号码需要上传异地办事处证明。更多详情，请参见 异地...
企业资质FAQ
“请提供话术和业务场景”是什么意思？运营商需要对号码的使用场景话术进行审核，请在申请说明中详细提供话术以及号码使用的业务场景。更多操作请参见 新增话术。为什么告诉我实际用户名称填写不对？入网承诺书落款处实际用户名称请与提供...
上下游存储
Source出现finish split response timeout异常，是什么原因？在MySQL CDC全量阶段发生表结构变更有什么影响？如果CTAS/CDAS同步期间发生了不支持的表结构变更，导致作业报错同步失败，该怎么解决？ClickHouse结果表 ClickHouse结果表是否...
FE参数配置
当您不关心tablet的存储介质是什么时，可以将值设置为true。drop_backend_after_decommission 默认值：false 是否可以动态配置：true 是否为Master FE节点独有的配置项：true 说明：该配置用于控制系统在成功下线（Decommission）BE后，...
其他漏洞汇总说明
Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Apache Hadoop YARN ZKConfigurationStore反序列化代码执行漏洞（CVE-2021-25642）Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Hadoop是一款分布式基础架构，...
搭建Hadoop环境
Hadoop是由Apache基金会使用Java语言开发的分布式开源软件框架，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的能力进行高速运算和存储。本文介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop分布式环境。前提...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
MapReduce开发手册
使用IDE打开Sample工程，编辑 pom.xml 文件，当Hadoop是2.8.5版本时，需要添加如下内容。groupId>org.apache.hadoop</groupId><artifactId>hadoop-mapreduce-client-common</artifactId><version>2.8.5</version></dependency...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行恶意命令。Hadoop作为大数据计算基础组件往往集群化部署，一旦一台主机沦陷，其整个集群都将受到威胁，其对外暴露的端口服务会...
使用Fuse-DFS挂载文件存储 HDFS 版
背景信息 Fuse-DFS是Hadoop项目自带的一个功能模块，提供了使用FUSE（用户空间中的文件系统）在UNIX文件系统上映射HDFS的功能，在官方提供的Hadoop预编译版本中不包含Fuse-DFS的功能模块，如需使用该功能需要手动编译该功能模块并添加到...
参数说明
本文介绍Hadoop代码中的参数。Hadoop代码中可使用如下参数配置。属性名 默认值 说明 fs.jfs.cache.oss-accessKeyId 无 访问OSS所需的AccessKey ID（可选）。fs.jfs.cache.oss-...Hadoop默认识别的是Hadoop修改过的Snappy格式文件。
元数据性能测试
测试环境 配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 NNbench是Hadoop系统...
集群吞吐性能测试
测试环境 配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 TestDFSIO是Hadoop系统...
UpgradeMinorVersion
Components String 是 HADOOP 要升级的组件名称，多个组件中间逗号隔开。返回数据 名称 类型 示例值 描述 RequestId String 7B8EC240-BB13-4DBC-B955-F90170E82609 请求ID。UpgradingComponents String HADOOP 成功升级的组件。示例 请求...
通过HDFS Shell连接并使用文件引擎
HDFS Shell是Hadoop分布式文件系统（HDFS）提供的命令行工具。Lindorm文件引擎100%兼容HDFS协议，您可以通过HDFS Shell工具交互式管理文件引擎中存储的文件，例如文件查询、文件删除、文件权限管理和修改文件名称等。本文介绍通过HDFS ...
配置自建RDS
（可选）步骤三：Metastore初始化 重要 如果您创建的是Hadoop集群（EMR-3.38.x及之前版本、EMR-4.9.x及之前版本、EMR-5.4.x以及之前版本），或者创建集群之后需要更换为RDS数据库，则需要初始化Metastore。DataLake和Custom集群在创建过程...
常见问题
如果是Hadoop作业，打开YARN页面查看是否有索引作业生成，并查看作业执行log。如果上述情况都没有定位到错误，需要登录到E-MapReduce Druid集群，查看overlord的执行日志（位于/mnt/disk1/log/druid/overlord—emr-header-1.cluster-xxxx....
HBase使用OSS-HDFS服务作为底层存储
HBase是Hadoop生态中的实时数据库，有较高的写入性能。OSS-HDFS服务是阿里云新推出的存储空间类型，并兼容HDFS接口。JindoSDK支持HBase使用OSS-HDFS服务作为底层存储，同时支持存储WAL文件，实现存储与计算分离。相对于本地HDFS存储，OSS-...
OSS/OSS-HDFS快速入门
各访问方式的示例和描述如下：访问方式 示例 描述 Hadoop Shell命令 hadoop fs-ls oss:/examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ JindoSDK中的JindoOssFileSystem是Hadoop FileSystem的一种实现。执行Hadoop Shell命令时通过识别...
Dataphin管道任务运维补数据只有...hadoop.security....
问题描述 Dataphin管道任务运维...问题原因 由于hive使用的是 hadoop 的 HDFS（hadoop 的分布式文件系统），但是某个HDFS文件，做了特殊权限，导致写入失败。解决方案 检查该HDFS文件的权限，确保用户对该HDFS文件有写入权限。适用于 Dataphin
Hive作业异常排查及处理
读取Snappy文件出现OOM 原因分析：LogService等服务写入的标准Snappy文件和Hadoop生态的Snappy文件格式不同，EMR默认处理的是Hadoop修改过的Snappy格式，处理标准格式时会报错OutOfMemoryError。解决方法：对Hive作业配置如下参数。set io....
迁移HDFS数据到OSS
在进行数据迁移、数据拷贝的场景中，最常用的是Hadoop自带的DistCp工具。但是该工具不能很好利用对象存储OSS的特性，导致效率低下并且不能保证数据一致性。此外，该工具提供的功能选项较单一，无法很好地满足用户的需求。阿里云Jindo ...
自助建站方式汇总
搭建Hadoop环境 Hadoop是一款由Apache基金会用Java语言开发的分布式开源软件框架，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的能力进行高速运算和存储。环境类型 部署方式 说明 搭建Hadoop环境 手动搭建...
YARN概述
YARN是Hadoop系统的核心组件，主要功能包括负责在Hadoop集群中的资源管理，负责对作业进行调度运行以及监控。基本概念 名称 描述 ResourceManager 负责集群的资源管理与调度，为运行在YARN上的各种类型作业分配资源。非HA集群部署在EMR的...
Dataphin逻辑表的生命周期和计算引擎的关系
概述 Dataphin逻辑表的生命周期和计算引擎的关系。详细信息 如果计算引擎是MaxCompute就会逻辑表生命周期会生效，如果是Hadoop就不会生效。适用于 Dataphin
Hive
Hive是Hadoop生态系统中的一个被广泛使用的数据仓库工具，主要用来进行Hadoop中的大规模数据的提取、转化、加载、查询和分析等操作。Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将...
Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS...
概述 本文主要介绍Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS路径是什么。详细信息 Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS路径是什么？介绍如下：所有用户上传的资源JAR包，以及安全包的资源，都是默认放在/tmp/dataphin...
修改集群模版
ClusterType String 是 HADOOP 集群类型。Config.N.ConfigKey String 是 fs.trash.interval 自定义配置项的Key。Config.N.ConfigValue String 是 60 自定义配置项的值。Config.N.FileName String 是 yarn-site 自定义配置项所属文件名。...
作业配置指南
Hadoop默认识别的是Hadoop修改过的Snappy格式文件。设置为true时将使用标准snappy库解压，否则使用hadoop默认的snappy库解压。访问用户VPC 和 连接用户数据源 相关参数：参数名称 默认值 参数说明 spark.dla.eni.enable false 这个参数为...
创建集群模板
ClusterType String 是 HADOOP 集群类型，取值如下：HADOOP KAFKA DATA SCIENCE DRUID FLINK GATEWAY CLICKHOUSE ZOOKEEPER SHUFFLE_SERVICE EMR_STUDIO TemplateName String 是 ETLClusterTemplate 模版名称。ZoneId String 是 ...
使用JindoFS作为HBase的底层存储
背景信息 HBase是Hadoop生态中的实时数据库，有很高的写入性能，E-MapReduce HBase支持使用JindoFS或OSS作为底层存储，相对于HDFS存储，使用更加灵活。说明 建议您使用EMR-3.36.0及后续版本的集群。JindoFS配置 以EMR-3.36.0版本为例，创建...
设置全局YARN资源队列
背景信息 YARN是一个分布式的资源管理系统，是Hadoop的核心组件，在Hadoop集群中主要负责资源管理、调度运行及监控作业。关于EMR YARN的详情，请参见 YARN调度器。在DataWorks中，您可通过如下方式配置调度节点运行时使用的YARN资源队列：...
Spark应用配置参数说明
Hadoop默认识别的是Hadoop修改过的Snappy格式文件。设置为true时将使用标准Snappy库解压，否则使用hadoop默认的Snappy库解压。跨VPC访问和连接数据源 参数名称 是否必填 默认值 参数说明 spark.adb.eni.enabled 否 false 是否开启ENI访问的...
概述
Avro是Hadoop提供的一种协议，用于数据序列化。Exec Source：通过监听命令行输出获取数据，例如 tail-f/var/log/messages。NetCat TCP Source：监听指定TCP端口获取数据，与Netcat UDP Source类似。Taildir Source：监控目录下的多个文件，...
创建集群
ClusterType String 是 HADOOP 集群类型，取值如下：HADOOP KAFKA DATA SCIENCE DRUID FLINK GATEWAY CLICKHOUSE ZOOKEEPER SHUFFLE_SERVICE EMR_STUDIO Config.N.ConfigKey String 是 fs.trash.interval 自定义配置项的Key。Config.N....
项目管理
参数 描述 提交作业默认用户 设置项目使用所选集群提交作业时的默认用户，默认值是hadoop，默认用户只能有一个。提交作业默认队列 设置项目使用所选集群提交作业时的默认队列，默认作业提交到default队列。提交作业用户白名单 设置可以提交...
HBase以EMR集群的方式使用OSS-HDFS服务作为底层存储
HBase是Hadoop生态中的实时数据库，有较高的写入性能。OSS-HDFS服务（JindoFS服务）是阿里云新推出的存储空间类型，并兼容HDFS接口。阿里云开源大数据开发平台E-MapReduce（简称EMR）支持HBase使用OSS-HDFS服务作为底层存储，同时支持存储...
- 产品推荐
- 这些文档可能帮助您