逻辑视图和字段资产详情
Dataphin数据表：为您展示表的 名称、对象类型、存储类型、逻辑表及逻辑视图的 所属板块/物理表及物理视图的 所属项目、负责人、存储量、生命周期（Hadoop集群的计算引擎不支持展示该信息）、描述、血缘来源 信息，同时您可以进行 查看血缘...
镜像表和字段详情
Dataphin数据表：为您展示表的 名称、对象类型、存储类型、逻辑表及逻辑视图的 所属板块/物理表及物理视图的 所属项目、负责人、存储量、生命周期（Hadoop集群的计算引擎不支持展示该信息）、描述、血缘来源 信息，同时您可以进行 查看血缘...
镜像表和字段详情
Dataphin数据表：为您展示表的 名称、对象类型、存储类型、逻辑表及逻辑视图的 所属板块/物理表及物理视图的 所属项目、负责人、存储量、生命周期（Hadoop集群的计算引擎不支持展示该信息）、描述、血缘来源 信息，同时您可以进行 查看血缘...
元表和字段资产详情
Dataphin数据表：为您展示表的 名称、对象类型、存储类型、逻辑表及逻辑视图的 所属板块/物理表及物理视图的 所属项目、负责人、存储量、生命周期（Hadoop集群的计算引擎不支持展示该信息）、描述、血缘来源 信息，同时您可以进行 查看血缘...
CDH/EMR/亚信/FI/CDP物理表和字段详情
Dataphin数据表：为您展示表的 名称、对象类型、存储类型、逻辑表及逻辑视图的 所属板块/物理表及物理视图的 所属项目、负责人、存储量、生命周期（Hadoop集群的计算引擎不支持展示该信息）、描述、血缘来源 信息，同时您可以进行 查看血缘...
逻辑表和字段资产详情
Dataphin数据表：为您展示表的 名称、对象类型、存储类型、逻辑表及逻辑视图的 所属板块/物理表及物理视图的 所属项目、负责人、存储量、生命周期（Hadoop集群的计算引擎不支持展示该信息）、描述、血缘来源 信息，同时您可以进行 查看血缘...
逻辑表和字段资产详情
Dataphin数据表：为您展示表的 名称、对象类型、存储类型、逻辑表及逻辑视图的 所属板块/物理表及物理视图的 所属项目、负责人、存储量、生命周期（Hadoop集群的计算引擎不支持展示该信息）、描述、血缘来源 信息，同时您可以进行 查看血缘...
StarRocks物理视图和字段详情
Dataphin数据表：为您展示表的 名称、对象类型、存储类型、逻辑表及逻辑视图的 所属板块/物理表及物理视图的 所属项目、负责人、存储量、生命周期（Hadoop集群的计算引擎不支持展示该信息）、描述、血缘来源 信息，同时您可以进行 查看血缘...
创建Hive数据源
使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。在E-MapReduce5.x Hadoop计算引擎下，若您需要使用基于OSS创建的Hive外部表进行离线集成。您需要进行相关配置后，才可以正常使用。配置说明，...
创建EMR MR节点
打开已创建的IDEA项目，添加pom依赖。groupId>org.apache.hadoop</groupId><artifactId>hadoop-mapreduce-client-common</artifactId><version>2.8.5!因为EMR-MR用的是2.8.5-></dependency><dependency><groupId>org.apache....
Spark常见问题
问题类别 常见问题 开发Spark 如何自检项目工程？在DataWorks上运行ODPS Spark节点的步骤是什么？MaxCompute Spark如何在本地进行调试？如何通过Spark访问VPC环境内的服务？如何把JAR包当成资源来引用？如何通过Spark传入参数？如何将Spark...
设置Dataphin实例的计算引擎为Hadoop
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍如何设置Dataphin系统的计算引擎为Hadoop。...
开发ODPS Spark任务
其中：spark.hadoop.odps.access.id、spark.hadoop.odps.access.key 和 spark.hadoop.odps.end.point 无需配置，默认为MaxCompute项目的值（有特殊原因可显式配置，将覆盖默认值）。您无需上传 spark-defaults.conf 文件，而是需将 spark-...
开发ODPS Spark任务
其中：spark.hadoop.odps.access.id、spark.hadoop.odps.access.key 和 spark.hadoop.odps.end.point 无需配置，默认为MaxCompute项目的值（有特殊原因可显式配置，将覆盖默认值）。您无需上传 spark-defaults.conf 文件，而是需将 spark-...
项目管理
新建项目 单击左侧导航栏的 项目空间 单击右上角的 新建项目 在新建项目对话框中，输入 项目名称 和 项目描述 单击 创建。重要 主账号可以查看该账号下的所有项目列表，RAM用户仅可以查看具有开发权限的项目列表。如需为RAM用户添加项目...
数据迁移
最佳实践合集 MaxCompute跨项目数据迁移：同一地域的MaxCompute跨项目数据迁移，详情请参见 使用CLONE TABLE实现同地域MaxCompute跨项目数据迁移 或 通过DataWorks实现MaxCompute跨项目迁移。不同地域的MaxCompute跨项目数据迁移，详情请...
通过JDBC连接Dataphin
engine session中或连接串中指定的项目的project_name的离线引擎，若为Hadoop计算源，则默认为hive。取值范围：[MaxCompute|Hologres|Hive|Impala|Inceptor|ArgoDB]。若给出的值为不支持类型，则忽略该设置，但给出告警。认证模式 Dataphin...
搭建Linux开发环境
spark.hadoop.odps.project.name=<MaxCompute_project_name>spark.hadoop.odps.access.id=<AccessKey_id>spark.hadoop.odps.access.key=<AccessKey_secret>spark.hadoop.odps.end.point=<Endpoint>#Spark客户端连接访问MaxCompute项目的...
Flink_SQL任务开发方式
重要 目前支持访问 Hologres、Hadoop、StarRocks 计算源的物理表数据。访问的物理表所在的项目已绑定支持的计算源。使用示例 若您需要将 example 项目计算源中的 test 物理表数据插入到 test_demo 物理表中。您可以参考以下示例代码：...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
安装文件系统SDK
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
搭建Hadoop环境
sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/yarn-env.sh' sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/hadoop-env.sh' 执行以下命令，测试Hadoop是否安装成功。hadoop version 返回...
使用Flink访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
使用Spark访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
利用MaxCompute External Volume处理非结构化数据
配置项 spark.hadoop.odps.cupid.volume.paths=odps:/ms_proj1_dev/volume_yyy1/spark.hadoop.odps.volume.common.filesystem=true spark.hadoop.fs.odps.impl=org.apache.hadoop.fs.aliyun.volume.OdpsVolumeFileSystem spark.hadoop.fs....
在文件存储 HDFS 版上使用Apache Flink
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
Hadoop Streaming
hadoop jar/usr/lib/hadoop-current/share/hadoop/tools/lib/hadoop-streaming-X.X.X.jar-file/home/hadoop/mapper.py-mapper mapper.py-file/home/hadoop/reducer.py-reducer reducer.py-input/tmp/hosts-output/tmp/output 参数 描述 ...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
在文件存储 HDFS 版上使用Apache Spark
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
HDFS常见命令介绍
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用hadoop fs命令来对HDFS中的文件进行操作。本文为您介绍HDFS的常见命令。背景信息 HDFS常见命令如下表所示。命令 功能 mkdir 在HDFS文件系统中创建目录。touchz 在HDFS文件系统...
开启权限认证
drwxr-x-x-emrtest hadoop 0 2022-10-21 14:08/tmp/emrtest drwxr-x-x-hadoop hadoop 0 2022-10-21 10:06/tmp/hadoop-yarn drwx-wx-wx-hive hadoop 0 2022-10-21 10:13/tmp/hive drwxr-x-x-hadoop hadoop 0 2022-10-21 10:23/tmp/kyuubi-...
更换集群损坏的本地盘
hadoop$mount_path/log/hadoop-hdfs chmod 775$mount_path/log/hadoop-hdfs mkdir-p$mount_path/log/hadoop-yarn chown hadoop:hadoop$mount_path/log/hadoop-yarn chmod 755$mount_path/log/hadoop-yarn mkdir-p$mount_path/log/hadoop-...
元数据性能测试
NNbench的jar包位于${HADOOP_HOME}/share/hadoop/mapreduce目录下，${HADOOP_HOME}为测试机器中的Hadoop 安装目录，NNbench的jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，使用方法如下。本文所有命令均在${HADOOP_HOME}/...
常见问题排查
例如：执行 hadoop 命令或者任务出现如下错误时，表明 org/apache/hadoop/fs/PathFilter 相关的类不在Hadoop的运行环境中，该类所属的Jar包为 hadoop-common-x.x.x.jar，需要您下载该Jar包的正确版本，并将其置于所有Hadoop环境下的...
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
通过HDP 2.6 Hadoop读取和写入OSS数据
client/hadoop-aliyun-2.7.3.2.6.1.0-129.jar hadoop/share/hadoop/tools/lib/sudo cp/usr/hdp/current/hadoop-client/lib/aliyun-*hadoop/share/hadoop/tools/lib/sudo cp/usr/hdp/current/hadoop-client/lib/jdom-1.1.jar hadoop/share/...
管理Hadoop回收站
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
管理Hadoop回收站
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
管理Hadoop回收站
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
测试环境
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要介绍了3种不同测试场景下的测试环境配置要求。环境配置要求 测试环境总体要求：自...
- 产品推荐
- 这些文档可能帮助您