Dataphin 即席sql...hadoop.hive.common.type.HiveDate
问题描述 Dataphin 即席sql报错Could not initialize class org.apache.hadoop.hive.common.type.HiveDate。问题原因 插入数据后，查询表报错，表结构有date字段，输入类型有问题。解决方案 把表字段改成string类型，然后重新插入数据查询...
Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS...
概述 本文主要介绍Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS路径是什么。详细信息 Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS路径是什么？介绍如下：所有用户上传的资源JAR包，以及安全包的资源，都是默认放在/tmp/dataphin...
元数据仓库共享模型（Hadoop）
本文为您介绍Hadoop计算引擎下提供的元数据共享模型详情。概述 为了支持更灵活的数据分析及二次开发，需要使用Dataphin的元数据信息。Dataphin以元数据共享模型的方式将系统元数据对外开放。元数据共享模型的使用方式请参见 元数据仓库共享...
Dataphin如何使用一个Hadoop集群为所有项目创建计算源...
概述 本文为您介绍Dataphin如何使用一个Hadoop集群为所有项目创建计算源从而提供计算与存储资源。详细信息 1.Dataphin一个计算源只可以被一个项目所绑定。2.通过创建不同的Hive DB从而创建不同的计算源来达到一个Hadoop集群创建多个计算源...
Dataphin管道任务运维补数据只有...hadoop.security....
问题描述 Dataphin管道任务运维补数据只有20220430才会报错“org.apache.hadoop.security.AccessControlException:Permission denied by sticky bit”，其他日期补数据不会报错。问题原因 由于hive使用的是 hadoop 的 HDFS（hadoop 的分布...
Teamtnt变种攻击Hadoop集群
其官网（https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html）介绍，ResourceManager和NodeManager构成了数据计算框架。ResourceManager是在系统中的所有应用程序之间仲裁资源的最终权威。NodeManager是每台...
查看弹性伸缩记录（仅Hadoop集群类型）
本文为您介绍在弹性伸缩执行完成后，如何查看弹性伸缩活动的执行记录。前提条件 集群已进行弹性伸缩的相关配置。操作步骤 进入弹性伸缩页面。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。在 EMR on ECS 页面，...
在文件存储 HDFS 版上使用Apache Tez
vim${HADOOP_HOME}/etc/hadoop/hadoop-env.sh 在hadoop-env.sh文件末尾添加如下内容。export TEZ_CONF_DIR=${HADOOP_HOME}/etc/hadoop/tez-site.xml export TEZ_JARS=opt/module/tez-0.9.2 export HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${...
在文件存储 HDFS 版上使用Apache Flink
vim/usr/local/hadoop-2.7.2/etc/hadoop/hadoop-env.sh 配置JAVA_HOME目录，如下所示。export JAVA_HOME=usr/java/default 修改core-site.xml配置文件。执行以下命令打开core-site.xml配置文件。vim/usr/local/hadoop-2.7.2/etc/hadoop/...
在文件存储 HDFS 版上使用Apache Spark
vim/usr/local/hadoop-2.7.2/etc/hadoop/hadoop-env.sh 配置JAVA_HOME目录，如下所示。export JAVA_HOME=usr/java/default 修改core-site.xml配置文件。执行以下命令打开core-site.xml配置文件。vim/usr/local/hadoop-2.7.2/etc/hadoop/...
环境准备
export HADOOP_HOME=data/hadoop/hadoop-2.6.0 export PATH=$PATH:$HADOOP_HOME/bin 下载及安装Hive环境 下载类型为bin.tar.gz的Hive安装包，具体下载路径请参见 Hive安装包。按照如下示例解压安装包。mkdir-p/home/admin/hive-2.1.0 tar-...
使用教程
Hive访问示例 HADOOP_HOME及HADOOP_CLASSPATH可以添加到/etc/profile 中，示例如下：export HADOOP_HOME=${您的Hadoop安装目录} export HADOOP_CLASSPATH=emr-tablestore-1.4.2.jar:tablestore-4.3.1-jar-with-dependencies.jar:joda-time-...
参数说明
本文介绍Hadoop代码中的参数。Hadoop代码中可使用如下参数配置。属性名 默认值 说明 fs.jfs.cache.oss-accessKeyId 无 访问OSS所需的AccessKey ID（可选）。fs.jfs.cache.oss-accessKeySecret 无 访问OSS所需的AccessKey Secret（可选）。...
兼容版本SDK概述
本文为您介绍MaxCompute兼容版本的MapReduce与Hadoop MapReduce兼容性。MaxCompute兼容版本的MapReduce与Hadoop MapReduce兼容性的详细列表，如下表所示。类型 接口 是否兼容 Mapper void map(KEYIN key,VALUEIN value,org.apache.hadoop....
数据迁移
本文为您介绍如何迁移自建Kudu集群的数据到E-MapReduce上的Hadoop集群。前提条件 您已自建Kudu集群。已创建E-MapReduce的Hadoop集群，并选择了Kudu服务，详情请参见 创建集群。背景信息 EMR Kudu支持社区1.10以及1.11版本，可以使用社区...
创建集群
本章节为您介绍如何通过阿里云账号登录CDP控制台，使用一键购买，快速创建一个Hadoop集群。前提条件 注册阿里云账号，并完成实名认证。具体操作请参考 阿里云账号注册流程。完成对CDP的服务账号授权。具体操作请参考 RAM角色授权。创建集群...
Dataphin脚本任务运行报错“Error while processing ...
问题描述 Dataphin脚本任务运行报错“Error while processing statement:FAILED:Execution Error,return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask。解决方案 上述报错信息是底层计算源抛的错，需要查看底层hadoop引擎上...
DLF统一元数据
切换为MySQL（包括集群内置MySQL、统一meta数据库和自建RDS）：设置 hive.imetastoreclient.factory.class 的值为 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory。切换为DLF统一元数据：设置 hive....
创建集群
本文介绍如何通过EMR OpenAPI创建一个Hadoop半托管集群。前提条件 已获取相应的SDK，Java SDK请参见 SDK下载，Python SDK请参见 安装SDK。集群基本信息 需要创建的集群基本信息如下：可用区：华东1（杭州）可用区I。付费类型：按量付费。...
Spark对接DataHub
本文介绍如何在E-MapReduce的Hadoop集群，运行Spark作业消费DataHub数据、统计数据个数并打印出来。Spark Streaming消费DataHub 准备工作 使用DataHub的订阅功能订阅Topic，详细信息请参见 创建订阅。消费DataHub数据 运行Spark Streaming...
安装文件系统SDK
vim etc/hadoop/hadoop-env.sh 配置 JAVA_HOME。{JAVA_HOME}为您ECS的Java JDK的路径，请根据实际路径进行替换。export JAVA_HOME=${JAVA_HOME} 配置 core-site.xml 文件。core-site.xml 文件中需要修改的内容如下所示。执行以下命令，打开...
使用Flink访问
vim/usr/local/hadoop-2.7.3/etc/hadoop/hadoop-env.sh 配置 JAVA_HOME。export JAVA_HOME=${jdk安装目录} 修改 core-site.xml。执行如下命令打开 core-site.xml。vim/usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml 修改 core-site.xml...
使用Spark访问
vim/usr/local/hadoop-2.7.3/etc/hadoop/hadoop-env.sh 配置 JAVA_HOME。export JAVA_HOME=${jdk安装目录} 修改 core-site.xml。执行如下命令打开 core-site.xml。vim/usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml 修改 core-site.xml...
使用Fuse-DFS挂载文件存储 HDFS 版
vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c 执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。cd hadoop-2.8.5-src/mvn ...
HDFS常见命令介绍
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用hadoop fs命令来对HDFS中的文件进行操作。本文为您介绍HDFS的常见命令。背景信息 HDFS常见命令如下表所示。命令 功能 mkdir 在HDFS文件系统中创建目录。touchz 在HDFS文件系统...
UDF（地理空间）
git clone https://github.com/Esri/spatial-framework-for-hadoop.git git clone -b "v2.1.0" --single-branch git@github.com:Esri/spatial-framework-for-hadoop.git使用Maven构建项目。命令示例如下。cd spatial-framework-for-hadoop mvn ...
开启权限认证
drwxr-x-x-emrtest hadoop 0 2022-10-21 14:08/tmp/emrtest drwxr-x-x-hadoop hadoop 0 2022-10-21 10:06/tmp/hadoop-yarn drwx-wx-wx-hive hadoop 0 2022-10-21 10:13/tmp/hive drwxr-x-x-hadoop hadoop 0 2022-10-21 10:23/tmp/kyuubi-...
更换集群损坏的本地盘
hadoop$mount_path/log/hadoop-mapred chmod 755$mount_path/log/hadoop-mapred mkdir-p$mount_path/log/kudu chown kudu:hadoop$mount_path/log/kudu chmod 755$mount_path/log/kudu mkdir-p$mount_path/run chown hadoop:hadoop$mount_...
元数据性能测试
测试环境 配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 NNbench是Hadoop系统...
在ECI中访问HDFS数据
usr/local/hadoop-2.7.2/share/hadoop/hdfs:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/*:/usr/local/hadoop-2.7.2/share/hadoop/yarn/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/...
常见问题排查
例如：执行 hadoop 命令或者任务出现如下错误时，表明 org/apache/hadoop/fs/PathFilter 相关的类不在Hadoop的运行环境中，该类所属的Jar包为 hadoop-common-x.x.x.jar，需要您下载该Jar包的正确版本，并将其置于所有Hadoop环境下的...
测试环境
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要介绍了3种不同测试场景下的测试环境配置要求。环境配置要求 测试环境总体要求：自...
集群存储根路径没有权限，导致集群服务启动失败的问题
dir)hadoop fs-mkdir-p$STAGING_DIR hadoop fs-chmod 777$STAGING_DIR hadoop fs-chown hadoop:hadoop$STAGING_DIR hadoop fs-mkdir-p$STAGING_DIR/history hadoop fs-chmod 775$STAGING_DIR/history hadoop fs-chown hadoop:hadoop$...
- 产品推荐
- 这些文档可能帮助您