Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
通过Hadoop Shell命令访问OSS/OSS-HDFS
本文为您介绍如何通过Hadoop Shell命令访问OSS和OSS-HDFS。环境准备 EMR环境中，默认已安装JindoSDK，可以直接使用。说明 访问OSS-HDFS，需创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。非EMR环境，请先安装部署JindoSDK，详情请...
函数操作
如果您的代码通过Distributed Cache接口读取资源文件，此列表中还要包括自定义函数所读取的资源文件列表。资源列表由多个资源名组成，资源名之间用英文逗号（,）分隔，且资源列表必须用英文引号（' '）引起来。如果需要指定资源所在的项目...
计算源概述
Hadoop 计算设置为Hadoop的租户支持创建以下计算源：离线计算源 Hadoop计算源：绑定Hadoop计算源的项目，支持规范建模、即席查询、Hive SQL任务、通用脚本等功能。创建Hadoop计算源，请参见 创建Hadoop计算源。实时计算源 Flink 计算源：...
HDFS Balancer
DataLake集群 tailf hadoop-hdfs-balancer-master-1-1.c-xxx.log Hadoop集群 tailf hadoop-hdfs-balancer-emr-header-1.cluster-xxx.log 说明 命令中的 hadoop-hdfs-balancer-master-1-1.c-xxx.log 和 hadoop-hdfs-balancer-emr-header-xx....
JindoFS加速OSS文件访问
kubectl get pv,pvc 预期输出：NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE persistentvolume/hadoop 100Gi RWX Retain Bound default/hadoop 52m NAME STATUS VOLUME CAPACITY ACCESS MODES ...
使用Fluid加速OSS文件访问
Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据密集型应用，例如大数据应用、AI应用等。JindoRuntime来源于阿里云EMR团队JindoFS，是基于C++实现的支撑Dataset数据管理和缓存的执行引擎，...
Teamtnt变种攻击Hadoop集群
概述 Hadoop作为一个分布式计算应用框架，种类功能繁多，而Hadoop Yarn作为其核心组件之一，负责将资源分配至各个集群中运行各种应用程序，并调度不同集群节点上的任务执行。Hadoop Yarn未授权访问使得攻击者无需认证即可通过REST API部署...
使用CreateCluster API创建集群
高可用HA集群应用填写 选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common、ZooKeeper OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN、ZooKeeper、HDFS或者OSS-HDFS任选其一 无 Spark2 Hadoop-...
StorageDescriptor
API 解释 org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat Location string 表的物理位置 file:/tmp/table NumBuckets integer 分桶的数量，如果设置了 BucketCols 则必填 10 OutputFormat string 输出格式，具体参见 ...
StorageDescriptor
描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见CreateTable的API解释...
通过Hadoop Shell命令访问
如果您希望通过命令行的方式在开通OSS-HDFS服务的Bucket中执行上传、下载、删除等相关操作，您可以使用Hadoop Shell的方式。环境准备 您可以选择以下任意一种方式访问OSS-HDFS服务。通过阿里云EMR访问OSS-HDFS服务，确保已创建EMR-3.44.0及...
运行模式
.config("spark.hadoop.odps.access.id","<accesskey_id>").config("spark.hadoop.odps.access.key","<accesskey_secret>").config("spark.hadoop.odps.end.point","http://service.cn.maxcompute.aliyun.com/api")....
UpgradeMinorVersion
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 UpgradeMinorVersion 系统规定参数。取值：...
JindoData版本说明
JindoData 4.6.11版本 JindoData 4.6.11版本修复了以下问题：JindoSDK修复了使用JindoCommitter在Aliyun EMR Hadoop 2.8.5环境下使用老的mapred接口写数据的问题。优化了JindoTable，针对OSS上的表或分区进行解冻的功能，支持设置解冻天数...
E-MapReduce数据迁移方案
需要修改hive.properties：connector.name=hive-hadoop2 hive.metastore.uri=thrift:/E-MapReduce-header-1.cluster-500148414:9083 hive.config.resources=etc/ecm/hadoop-conf/core-site.xml,/etc/ecm/hadoop-conf/hdfs-site.xml hive....
HDFS数据源
目前插件中Hive版本为1.1.1，Hadoop版本为2.7.1（Apache适配JDK1.6］，在Hadoop 2.5.0、Hadoop 2.6.0和Hive 1.2.0测试环境中写入正常。重要 HDFS Reader暂不支持单个File多线程并发读取，此处涉及到单个File内部切分算法。离线写 使用HDFS ...
JindoDistCp常见问题
OSS上文件正常的list速度是1000个文件耗时1秒，您可以根据当前目录下文件的数量来判断该list耗时是否异常。例如，上述信息显示list 315个文件的目录需要100秒，显然是不正常的。解决方案 执行以下命令，增加客户端内存。export HADOOP_...
Iceberg数据源
基于Iceberg API创建Catalog 使用Iceberg API访问元数据的方式，支持Hadoop File System、Hive、REST、DLF等服务作为Iceberg的Catalog。Hadoop Catalog-非HA集群 CREATE CATALOG iceberg_hadoop PROPERTIES('type'='iceberg','iceberg....
CheckComponentsVersion
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CheckComponentsVersion 系统规定参数，取值：...
GetPartitions
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetPartitions 系统规定参数。取值：...
GetPartition
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetPartition 系统规定参数。取值：...
ListMetaDB
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ListMetaDB 系统规定参数。取值：ListMetaDB。...
作业启动问题
at org.apache.flink.fs.shaded.hadoop3.org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystemStore.listObjects(AliyunOSSFileSystemStore.java:506)~?at org.apache.flink.fs.shaded.hadoop3.org.apache.hadoop.fs.aliyun.oss....
创建EMR MR节点
hadoop emr hadoop dw hive hadoop dw emr 创建初始数据及JAR资源的存放目录。登录 OSS管理控制台。单击左侧导航栏的 Bucket列表 单击目标Bucket名称，进入 文件管理 页面。本文示例使用的Bucket为 onaliyun-bucket-2。单击 新建目录，创建...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
Spark是一种通用的大数据计算框架，拥有Hadoop MapReduce所具有的计算优点，能够通过内存缓存数据为大型数据集提供快速的迭代功能。与MapReduce相比，减少了中间数据读取磁盘的过程，进而提高了处理能力。本文介绍如何通过ES-Hadoop实现...
搭建Spark应用
本文介绍如何使用阿里云 ACK Serverless集群 和弹性容器实例（ECI），快速搭建Spark应用。背景信息 Apache Spark是一个在数据分析领域广泛使用的开源项目，它常被应用于众所周知的大数据和机器学习工作负载中。从Apache Spark 2.3.0版本...
常见问题
或者curl加上-v 参数，观察REST API的返回情况。在Overlord页面观察作业执行情况，如果失败，查看页面上的logs。在很多情况下并没有生成logs。如果是Hadoop作业，打开YARN页面查看是否有索引作业生成，并查看作业执行log。如果上述情况都...
使用ECI运行Spark作业
配置示例如下：sparkConf:"spark.eventLog.enabled":"true""spark.eventLog.dir":"oss:/bigdatastore/spark-events""spark.hadoop.fs.oss.impl":"org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem"#oss bucket endpoint such as oss-...
Credential Provider使用说明
使用Hadoop Credential Providers存储AccessKey信息 说明 Hadoop Credential Provider详情的使用方法，请参见 CredentialProvider API Guide。fs.jfs.cache.oss.accessKeyId、fs.jfs.cache.oss.accessKeySecret 和 fs.jfs.cache.oss....
如何统计HBase的表行数
根据表结构的不同，扫描的速度会有所差别，使用COUNT命令扫描全表的速度可以达到小于10万行每秒。执行以下语句统计table表的总行数。COUNT 'table' 执行结果如下：RowCounter会在本地启动一个伪分布式的MR任务来进行COUNT操作。默认情况下...
HBase使用OSS-HDFS服务作为底层存储
HBase是Hadoop生态中的实时数据库，有较高的写入性能。OSS-HDFS服务是阿里云新推出的存储空间类型，并兼容HDFS接口。JindoSDK支持HBase使用OSS-HDFS服务作为底层存储，同时支持存储WAL文件，实现存储与计算分离。相对于本地HDFS存储，OSS-...
CDH6数据迁移
在搜索框中输入mapreduce.application.classpath进行搜索，在搜索结果的 MR应用程序Classpath 区域中，单击 添加$HADOOP_HDFS_HOME/*配置。单击 保存更改。配置 文件存储 HDFS 版 Java SDK。下载最新的 文件存储 HDFS 版 Java SDK（aliyun-...
如何兼容Hbase 1.0以前的版本
Connection 接口 HBase 1.0.0 及以上的版本中废除了 HConnection 接口，并推荐使用 org.apache.hadoop.hbase.client.ConnectionFactory 类，创建一个实现 Connection 接口的类，用 ConnectionFactory 取代已经废弃的 ConnectionManager 和 ...
在非EMR集群中部署JindoSDK
vim/usr/local/hadoop/etc/hadoop/core-site.xml 将OSS/OSS-HDFS实现类配置到Hadoop的 core-site.xml 中。property><name>fs.AbstractFileSystem.oss.impl</name><value>...
- 产品推荐
- 这些文档可能帮助您