通过开源HDFS客户端连接并使用文件引擎
export HADOOP_HOME=${Hadoop安装目录}/hadoop-2.7.3 执行以下命令进入 hadoop 目录。cd$HADOOP_HOME 将Java环境变量 JAVA_HOME 添加至 etc/hadoop/目录下的 hadoop-env.sh 文件中，假设Java安装在/opt/install/java。set to the root of ...
环境准备
使用Hive/HadoopMR来访问表格存储中的表前，您需要完成JDK、Hadoop环境、Hive环境、表格存储Java SDK和阿里云EMR SDK的安装。使用Hive/HadoopMR来访问表格存储中的表 通过 表格存储 及 E-MapReduce 官方团队发布的依赖包，可以直接使用Hive...
快速入门
vim${HADOOP_HOME}/etc/hadoop/core-site.xml 如果您尚未配置${HADOOP_HOME}，可以使用下面命令将您的Hadoop安装目录配置到该环境变量。export HADOOP_HOME=your/hadoop/installation/directory 在 core-site.xml 文件中，配置如下信息。...
在文件存储 HDFS 版上使用Apache HBase
执行命令 HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp` \${HADOOP_HOME}/bin/hadoop jar${HBASE_HOME}/lib/hbase-mapreduce-2.3.7.jar \ rowcounter dfs_test 返回信息 如果计算行数与写入数据一致，则表示Apache HBase配置成功。...
EMR集群JindoSDK升级流程（旧版控制台）
rw-r-1 hadoop hadoop xxxx May 01 00:00 bootstrap_jindosdk.sh-rw-r-1 hadoop hadoop xxxxxxxxx May 01 00:00 jindosdk-4.6.2.tar.gz-rw-r-1 hadoop hadoop xxxx May 01 00:00 jindosdk-patches.tar.gz 执行以下命令，制作升级包。...
Teamtnt变种攻击Hadoop集群
阿里云安全监测到Teamtnt变种，除了沿用之前攻击手法，最新利用了Hadoop Yarn未授权访问漏洞进行传播，同时使用多个域名和IP确保恶意文件落地，对脚本进行二进制化封装以对抗主机端检测。概述 Hadoop作为一个分布式计算应用框架，种类功能...
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
JindoFS权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
JindoFS权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
JindoFS权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
JindoFS权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
管理事件中心（Hadoop集群）
E-MapReduce（简称EMR）的事件中心用于记录Hadoop类型集群发生的重要事件，并将其自动同步到云监控服务。您可以在EMR控制台上查看集群的事件，并在云监控控制台上设置相应的事件告警。使用限制 当前仅展示EMR on ECS中Hadoop类型集群的事件...
CreateTable-新增元数据表
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问...
使用Hadoop作为元仓计算引擎进行元仓初始化
填写后自动生成对应的格式，例如 host=hostname,webUiPort=50070,ipcPort=8020。配置文件 上传集群配置文件，用于配置集群参数。系统支持上传core-site.xml、hdfs-site.xml等集群配置文件。若需使用HMS方式获取元数据，配置文件中必需上传...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
通过DMS管理作业
JAR作业配置模板和自定义参数说明如下：{"mainResource":"oss:/path/to/your/file.jar","mainClass":"path.to.main.class","args":["arg1","arg2"],"configs":{"spark.hadoop.fs.oss.endpoint":"","spark.hadoop.fs.oss.accessKeyId":"",...
查看Ranger日记审计信息
说明 HDFS鉴权首先会查看HDFS自带权限控制（hadoop-acl），只有自带权限控制拒绝访问时才会去检验Ranger所配置的权限（ranger-acl）。您可以根据该字段判断权限控制是被hadoop-acl允许或拒绝的，还是被ranger-acl允许或拒绝的。Agent Host ...
通过DataWorks将Hadoop数据同步到阿里云ES
当您基于Hadoop进行交互式大数据分析查询，遇到查询延迟的问题时，可以将数据同步至阿里云Elasticsearch中再进行查询分析。ES对于多种查询类型，特别是即席查询（Ad Hoc），基本可以达到秒级响应。本文介绍通过DataWorks的数据集成服务，...
YARN高安全特性使用指南
YARN服务管理权限 默认高安全配置为 yarn.admin.acl=hadoop，其中 hadoop 前有单个空格，表示授权给hadoop组（EMR的服务启动Linux用户通常都是使用hadoop组）作为服务管理员。Hadoop中用户默认的组映射来自节点操作系统的组信息。说明 yarn...
Spark常见问题
使用AccessKey鉴权，配置示例如下：val conf=new SparkConf().setAppName("jindo-sdk-demo")#配置access-key鉴权参数.set("spark.hadoop.fs.oss.accessKeyId",").set("spark.hadoop.fs.oss.accessKeySecret","<YourAccessKeySecret>")使用...
迁移HDFS数据到OSS-HDFS
如果您需要对HDFS数据进行备份、或者在HDFS存储空间不足且需要弹性扩展存储能力时，您可以通过阿里云EMR集群自动部署的Jindo DistCp工具将HDFS迁移数据到OSS-HDFS。OSS-HDFS与Hadoop生态系统兼容，将HDFS中的数据迁移到OSS-HDFS后，可以...
使用RocksDB作为元数据后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
使用RocksDB作为元数据后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
使用RocksDB作为元数据后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
使用RocksDB作为元数据后端
对比文件数量一致[hadoop@emr-header-1~]$hadoop fs-count jfs:/test/1596 1482809 25 jfs:/test/文件可正常读取(cat、get命令)[hadoop@emr-header-1~]$hadoop fs-cat jfs:/test/testfile this is a test file#查看目录[hadoop@emr-header-...
- 产品推荐
- 这些文档可能帮助您