JindoDistCp使用说明
本文为您介绍如何使用JindoDistCp。什么是JindoDistCp JindoDistCp是阿里云数据湖存储团队开发的大规模集群内部和集群之间分布式文件拷贝的工具。其使用MapReduce实现文件分发、错误处理和恢复，把文件和目录的列表作为MapReduce任务的输入...
Jindo Job Committer使用说明
本文主要介绍JindoOssCommitter的使用说明。背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job ...
Jindo Job Committer使用说明
本文主要介绍JindoOssCommitter的使用说明。背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job ...
Jindo Job Committer使用说明
本文主要介绍JindoOssCommitter的使用说明。背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job ...
Jindo Job Committer使用说明
本文主要介绍JindoOssCommitter的使用说明。背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job ...
Jindo Job Committer使用说明
本文主要介绍JindoOssCommitter的使用说明。背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job ...
FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
JindoFS FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
Spark Load
配置YARN客户端 FE底层通过执行 yarn 命令去获取正在运行的Application的状态以及终止Application，因此需要为FE配置YARN客户端，建议使用hadoop-2.5.2或hadoop-2.0以上的官方版本，下载详情请参见 hadoop下载地址。将下载好的YARN客户端...
对象存储服务路径
HDFS文件路径 基于HDFS的文件路径格式如下：HDFS:/<user_name>@[:]/path_to/file 如不指定user_name参数，会自动使用hadoop。host与port为HDFS配置文件中的RPC访问地址与接口。为保证数据导入的性能，请确保云数据库与HDFS集群在同一个VPC...
对象存储服务路径
HDFS文件路径 基于HDFS的文件路径格式如下：HDFS:/<user_name>@[:]/path_to/file 如不指定user_name参数，会自动使用hadoop。host与port为HDFS配置文件中的RPC访问地址与接口。为保证数据导入的性能，请确保云数据库与HDFS集群在同一个VPC...
在ECI中访问OSS数据
使用Hadoop、Spark等运行批处理作业时，可以选择对象存储OSS作为存储。本文以Spark为例，演示如何上传文件到OSS中，并在Spark中进行访问。准备数据并上传到OSS 登录 OSS管理控制台。创建Bucket。具体操作，请参见 创建存储空间。上传文件到...
对象存储服务路径
HDFS文件路径 基于HDFS的文件路径格式如下：HDFS:/<user_name>@[:]/path_to/file 如不指定user_name参数，会自动使用hadoop。host与port为HDFS配置文件中的RPC访问地址与接口。为保证数据导入的性能，请确保云数据库与HDFS集群在同一个VPC...
HDFS服务（JindoFS服务）元数据导出使用说明（试用）
本文为您介绍如何使用OSS-HDFS服务元数据导出功能。使用元数据导出功能，您可以将当前OSS-HDFS Bucket下的文件元数据清单导出到OSS，格式为JSON文件，方便您对元数据进行统计分析。元数据导出说明 配置Jindo命令行工具，应配置对应OSS-HDFS...
作业配置指南
设置为true时将使用标准snappy库解压，否则使用hadoop默认的snappy库解压。访问用户VPC 和 连接用户数据源 相关参数：参数名称 默认值 参数说明 spark.dla.eni.enable false 这个参数为true表示启用打通VPC功能。spark.dla.eni.vswitch.id ...
Jindo Job Committer使用说明
Hive和Presto等没有使用Hadoop的Job Committer。E-MapReduce集群中已默认打开Jindo Oss Committer的参数。在MapReduce中使用JindoOssCommitter 进入YARN服务的 mapred-site 页签。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际...
Jindo Job Committer使用说明
Hive和Presto等没有使用Hadoop的Job Committer。E-MapReduce集群中已默认打开Jindo Oss Committer的参数。在MapReduce中使用JindoOssCommitter 进入YARN服务的 mapred-site 页签。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际...
Jindo Job Committer使用说明
Hive和Presto等没有使用Hadoop的Job Committer。E-MapReduce集群中已默认打开Jindo Oss Committer的参数。在MapReduce中使用JindoOssCommitter 进入YARN服务的 mapred-site 页签。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际...
Jindo Job Committer使用说明
Hive和Presto等没有使用Hadoop的Job Committer。E-MapReduce集群中已默认打开Jindo Oss Committer的参数。在MapReduce中使用JindoOssCommitter 进入YARN服务的 mapred-site 页签。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际...
Jindo Job Committer使用说明
Hive和Presto等没有使用Hadoop的Job Committer。E-MapReduce集群中已默认打开Jindo Oss Committer的参数。在MapReduce中使用JindoOssCommitter 进入YARN服务的 mapred-site 页签。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际...
对象存储服务路径
Ganos支持基于阿里云对象存储服务（OSS）、MinIO和...如不指定user_name参数，会自动使用hadoop。host与port为HDFS配置文件中的RPC访问地址与接口。为保证数据导入的性能，请确保云数据库与HDFS集群在同一个VPC下，并使用内网地址进行访问。
动态加载UDF
如果HDFS或OSS访问失败，请尝试使用 hadoop fs-ls 命令，确认集群的每个节点能否直接访问到对应文件。如果某个Worker节点无法访问，可以在对应Worker节点的 server.log 日志文件中查找原因。操作流程 步骤一：环境准备 步骤二：增加UDF ...
DataWorks V3.0
E-MapReduce：E-MapReduce（Elastic MapReduce，简称EMR）构建在阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其它周边系统（例如Hive），来分析和处理自己的数据的大数据...
使用Flink访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
使用Spark访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
操作权限控制
使用E-MapReduce引擎时的权限逻辑说明与权限控制：逻辑说明：当前工作空间使用的是E-MapReduce引擎时，预设角色与引擎无直接关系。模式 执行环境 执行账号 原理 快捷模式 数据开发执行任务（开发环境执行任务）统一使用Hadoop账号执行 生产...
使用JindoTable实现对OSS上表或分区的归档和解冻
使用限制 该文档仅适用于使用Hive Metastore存储元数据的情况。archiveTable命令 archiveTable 命令可以对OSS上的表或分区进行归档。获取帮助信息 执行以下命令，获取帮助信息。jindotable-help archiveTable 参数说明 jindotable-...
SmartData数据读取异常修复公告
将脚本 format_cache.sh 上传到集群的Master节点，并使用hadoop用户执行以下命令。sh format_cache.sh 在EMR控制台SmartData服务的 storage 配置页，添加Key为 storage.compaction.enable，Value为 false 的配置项。在EMR控制台启动...
集群吞吐性能测试
HOME}/share/hadoop/mapreduce目录下，其中${HADOOP_HOME}为测试机器中的Hadoop安装目录，jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，您可通过执行以下命令，查看TestDFSIO的使用方法。本文所有命令均在${HADOOP_HOME}/...
元数据性能测试
NNbench的jar包位于${HADOOP_HOME}/share/hadoop/mapreduce目录下，${HADOOP_HOME}为测试机器中的Hadoop 安装目录，NNbench的jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，使用方法如下。本文所有命令均在${HADOOP_HOME}/...
测试环境
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要介绍了3种不同测试场景下的测试环境配置要求。环境配置要求 测试环境总体要求：自...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
在EMR集群运行TPC-DS Benchmark
如果您使用的是Hadoop集群，请修改文档中的节点名称为emr-header-1。步骤一：创建EMR集群和下载TPC-DS Benchmark工具 创建EMR-5.15.1集群，具体操作步骤，请参见 创建集群。在创建集群时，请关注如下配置信息：集群类型：选择 DataLake。...
- 产品推荐
- 这些文档可能帮助您