Dataphin集成任务同步失败报错："Operation category ...
Operation category READ is not supported in state standby.Visit https://s.apache.org/sbnn-error at org.apache.hadoop.hdfs.server.namenode.ha.StandbyState.checkOperation(StandbyState.java:88)at org.apache.hadoop.hdfs.server...
访问HBase HDFS
cluster</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property><property><name>dfs.ha.automatic-failover.enabled.hbase-cluster</name><value>true</value></property>...
通过Spark SQL读Lindorm数据
SET spark.hadoop.dfs.client.failover.proxy.provider.ld-bp1ttz8833x9c*=org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider;SET spark.hadoop.dfs.ha.automatic-failover.enabled=true;SET spark.hadoop.dfs....
公网访问API域名方法
1、查看所需访问的Ha3实例域名对应的IP 登录OpenSearch-召回引擎版控制台，找到对应的实例，查看API域名地址。登录ha3实例中配置的专有网络，登录一台ECS机器，使用ping命令ping ha3实例的API域名，获取对应的地址。2、创建公网NAT网关 ...
CDH6与文件引擎集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用 CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于...
Ambari与文件引擎集成
Ambari提供Hadoop组件的安装、运维、监控等功能，您可以使用Ambari管理您的Hadoop集群。本文介绍如何将Ambari与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于Ambari+Lindorm文件引擎构建云原生存储计算分离的开源大数据系统。前提...
通过HDFS FUSE连接并使用文件引擎
property><name>dfs.nameservices</name><value>${实例ID}</value></property><property><name>dfs.client.failover.proxy.provider.${实例ID}</name><value>org.apache.hadoop.hdfs.server.namenode.ha....
漏洞公告|Apache Hadoop FileUtil.unTar命令注入漏洞
由于Apache Hadoop的FileUtil.unTar API在传递Shell之前未对输入的文件名进行转义，攻击者可以利用该漏洞注入任意命令，从而对集群造成破坏。漏洞影响 漏洞影响的Hadoop版本：2.0.0<= ApacheHadoop<= 2.10.1 3.0.0-alpha <= ApacheHadoop...
Credential Provider使用说明
背景信息 您可以通过使用Hadoop Credential Provider将加密后的AccessKey信息存入文件，从而避免配置明文AccessKey，根据不同情况选择合适的JindoOSS Credential Provider。配置JindoOSS Credential Provider 进入SmartData服务。登录 阿里...
Credential Provider使用说明
背景信息 您可以通过使用Hadoop Credential Provider将加密后的AccessKey信息存入文件，从而避免配置明文AccessKey，根据不同情况选择合适的JindoOSS Credential Provider。配置JindoOSS Credential Provider 进入SmartData服务。登录 阿里...
SELECT INTO OUTFILE
dfs.client.failover.proxy.provider.[nameservice ID]HDFS客户端连接活跃NameNode的Java类，通常是 org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider。对于开启Kerberos认证的Hadoop集群，还需要额外设置如下...
Hudi数据源
CREATE CATALOG hudi PROPERTIES('type'='hms','hive.metastore.uris'='thrift:/172.21.0.1:7004','hadoop.username'='hive','dfs.nameservices'='your-nameservice','dfs.ha.namenodes.your-nameservice'='nn1,nn2','dfs.namenode.rpc-...
HiveMetastore
dfs.client.failover.proxy.provider.emr-cluster=org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider;dfs.ha.namenodes.emr-cluster=nn1,nn2;dfs.nameservice.id=emr-cluster;dfs.namenode.rpc-address.emr-...
文件分析
hdfs.nn2"="nanmenode02:8020","dfs.client.failover.proxy.provider.my_hdfs"="org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");返回示例+-+-+-+|c1|c2|c3|+-+-+-+|1|alice|18|2|bob|20|3|jack|24|4|...
Broker Load
在Broker Load模式下，通过部署的Broker程序，StarRocks可读取对应数据源（例如，Apache HDFS，阿里云OSS）上的数据，利用自身的计算资源对数据进行预处理和导入。本文为您介绍Broker Load导入的使用示例以及常见问题。背景信息 Broker ...
常见问题
hadoop jar<hadoop_home>/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar sleep-m 1-mt 1000-r 0 您可以在 sleep-m 之间新增配置项以指定Queue，新增的参数为-Dmapreduce.job.queuename，参数值为default。...
HAS Kerberos认证使用方法
Found 6 items drwxr-xr-x-hadoop hadoop 0 2021-03-29 11:16/apps drwxrwxrwx-flowagent hadoop 0 2021-03-29 11:18/emr-flow drwxr-x-has hadoop 0 2021-03-29 11:16/emr-sparksql-udf drwxrwxrwt-hadoop hadoop 0 2021-03-29 11:17/...
JVM内存调优
非HA集群 您可以在EMR控制台的HDFS服务的 配置 页面，在搜索区域，搜索参数 hadoop_namenode_heapsize 和 hadoop_secondary_namenode_heapsize，参数值根据实际需求进行调整。说明 配置完成后，需要重启相应的NameNode或SecondaryNamenode...
YARN高可用特性使用指南
特性说明 RM HA RM HA工作原理是在不同节点上启动多个RM进程，通过Leader选举决定有且只有1个Active RM，并由Active RM记录应用的基本信息与状态，写入Zookeeper存储中。如果Active RM进程或其所在节点存在问题，Standby RM能够基于...
访问MaxCompute数据源
SET spark.hadoop.odps.endpoint=http://service.cn-hangzhou.maxcompute.aliyun-inc.com/api;SET spark.hadoop.odps.project=spark_on_maxcompute;SET spark.adb.connectors=odps;参数名称 取值说明 spark.sql.catalog.<catalog_name>...
使用CreateCluster API创建集群
高可用HA集群应用填写 选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common、ZooKeeper OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN、ZooKeeper、HDFS或者OSS-HDFS任选其一 无 Spark2 Hadoop-...
下线DataNode
随着数据湖技术的普及，越来越多的E-MapReduce（简称EMR）用户选择把数据存放在全托管的数据存储服务中（例如，OSS-HDFS和OSS对象存储等），这样原有的Hadoop集群就不需要很多的DataNode。下线（Decommission）EMR集群的DataNode（Core节点...
UDF（地理空间）
cd spatial-framework-for-hadoop mvn clean package-DskipTests-P java-8,hadoop-2.7,hive-2.1 复制构建好的JAR包。此JAR包包含开源地理空间UDF的所有方法。命令示例如下。cp hive/target/spatial-sdk-hive-2.1.1-SNAPSHOT.jar./spatial-...
选型配置说明
生产集群建议打开高可用HA，E-MapReduce的HDFS、YARN、Hive和HBase等组件均已实现HA。生产集群建议在创建集群时开启高可用。如果创建集群时未开启高可用，则在后续使用过程中无法开启高可用功能。Master节点主要用来存储HDFS元数据和组件...
数据导入常见问题
Flink Connector 使用事务接口的exactly-once时，导入失败，该如何解决？flink-connector-jdbc_2.11 Sink到StarRocks时间落后8小时，该如何处理？为什么在Starrocks集群上部署的Kafka集群可以导入数据，其他kafka集群无法导入数据？为什么...
LIST FUNCTIONS
numpy-1.19.4-cp37-cp37m-manylinux1_x86_64.zip ST_Aggr_ConvexHull ALIYUN$@aliyun.com 2021-03-18 17:06:29 com.esri.hadoop.hive.ST_Aggr_ConvexHull esri-geometry-api.jar,spatial-sdk-hive.jar ST_Aggr_Intersection ALIYUN$@aliyun....
常见问题
或者curl加上-v 参数，观察REST API的返回情况。在Overlord页面观察作业执行情况，如果失败，查看页面上的logs。在很多情况下并没有生成logs。如果是Hadoop作业，打开YARN页面查看是否有索引作业生成，并查看作业执行log。如果上述情况都...
YARN概述
ApplicationMaster 负责应用程序相关事务。例如，ApplicationMaster负责协调来自ResourceManager的资源，并通过NodeManager进行监控和资源管理等。优势 EMR集群中的YARN优势如下：高可用集群可以自动开启YARN HA部署。便捷的运维。例如，...
SmartData常见问题
JindoFS主要是对阿里云OSS提供HCFS（Hadoop Compatible FileSystem）接口封装，并且在此基础上提供缓存加速能力和高级优化定制的功能。因为Hadoop和Spark生态组件依赖HCFS的抽象接口，所以需要使用JindoFS。JindoFS有哪些使用方式？使用...
从OSS迁移数据
建议您使用的Hadoop版本不低于2.7.3，本文档中使用的Hadoop版本为Apache Hadoop 2.7.3，修改Hadoop 配置信息，详情参见 使用开源HDFS客户端访问。在Hadoop集群所有节点上安装JDK，本操作要求JDK版本不低于1.8。在Hadoop集群安装OSS客户端...
CreateTable-新增元数据表
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM...
通过Hadoop Shell命令访问OSS/OSS-HDFS
本文为您介绍如何通过Hadoop Shell命令访问OSS和OSS-HDFS。环境准备 EMR环境中，默认已安装JindoSDK，可以直接使用。说明 访问OSS-HDFS，需创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。非EMR环境，请先安装部署JindoSDK，详情请...
函数操作
如果您的代码通过Distributed Cache接口读取资源文件，此列表中还要包括自定义函数所读取的资源文件列表。资源列表由多个资源名组成，资源名之间用英文逗号（,）分隔，且资源列表必须用英文引号（' '）引起来。如果需要指定资源所在的项目...
JindoFS加速OSS文件访问
apiVersion:v1 kind:Pod metadata:name:demo-app spec:containers:name:demo image:fluidcloudnative/serving volumeMounts:mountPath:/data name:hadoop volumes:name:hadoop persistentVolumeClaim:claimName:hadoop 执行以下命令，创建...
StorageDescriptor
API 解释 org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat Location string 表的物理位置 file:/tmp/table NumBuckets integer 分桶的数量，如果设置了 BucketCols 则必填 10 OutputFormat string 输出格式，具体参见 ...
StorageDescriptor
org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat Location string 表的物理位置 file:/tmp/table NumBuckets integer 分桶的数量，如果设置了BucketCols则必填 10 OutputFormat string 输出格式，具体参见CreateTable的API...
使用Fluid加速OSS文件访问
Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据密集型应用，例如大数据应用、AI应用等。JindoRuntime来源于阿里云EMR团队JindoFS，是基于C++实现的支撑Dataset数据管理和缓存的执行引擎，...
使用Raft-RocksDB-Tablestore作为存储后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
使用Raft-RocksDB-Tablestore作为存储后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
使用Raft-RocksDB-Tablestore作为存储后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
- 产品推荐
- 这些文档可能帮助您