Hadoop DistCp介绍

使用方法 Hadoop DistCp最常见的调用是集群间拷贝,例如将nn1集群的/foo/bar 目录下的数据拷贝至nn2集群的/bar/foo 目录下:hadoop distcp hdfs:/nn1:8020/foo/bar hdfs:/nn2:8020/bar/foo 更多使用说明,请参见 Hadoop社区的DistCp使用...

数据脱敏能力概述

DataWorks支持通过配置脱敏规则将敏感数据进行脱敏,保障数据查询或存储安全。当前DataWorks支持多种脱敏场景,同时您还可根据需要自定义脱敏场景,以...脱敏规则应用示例 实践示例:MaxCompute底层脱敏使用方法。数据集成脱敏规则应用配置

设备影子概览

本文主要介绍设备影子的应用场景和使用方法。什么是设备影子 设备影子是一个JSON文档,用于存储设备上报状态数据和应用程序期望状态信息。JSON数据格式的详细说明,请参见 设备影子JSON详解。每个设备有且只有一个设备影子,设备可以通过...

消息推送常见问题

请参见 代码示例 以获取代码示例以及使用方法和注意事项。关于 push ad-token(deviceId)的生成 服务端依赖 IMSI 和 IMEI 生成 deviceId。因此,建议开发引导用户获取所需的 READ_PHONE_STATE 权限。实现 PUSH 通知栏消息,对 EMUI 和华为...

FE参数配置

enable_odbc_table 默认值:false 是否可以动态配置:true 是否为Master FE节点独有的配置项:true 说明:是否启用ODBC表,默认不启用,在使用的时候需要手动配置启用,该参数可以通过:ADMIN SET FRONTEND CONFIG("key"="value")方式进行...

模板渲染速率提升详解

当您在使用VE导出自己制作的AE模板,进行渲染时发现渲染速率很慢,或者和其他产品相比渲染速率有明显差异时,可通过阅读本文,了解渲染速率慢的原因及如何提升渲染速率。模板渲染速率慢的原因 模板制作是影响渲染速率的主要原因,绝大多数...

管理Hadoop回收站

本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用(Hive等)对Hadoop FileSystem API在客户端的封装,当客户端配置或者服务端配置打开回收站功能后,Hadoop Shell会调用FileSystem的rename操作,把待删除的...

管理Hadoop回收站

本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用(Hive等)对Hadoop FileSystem API在客户端的封装,当客户端配置或者服务端配置打开回收站功能后,Hadoop Shell会调用FileSystem的rename操作,把待删除的...

管理Hadoop回收站

本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用(Hive等)对Hadoop FileSystem API在客户端的封装,当客户端配置或者服务端配置打开回收站功能后,Hadoop Shell会调用FileSystem的rename操作,把待删除的...

常见命令

您可以在已经创建好的E-MapReduce(简称EMR)集群中,直接使用Alluxio Shell命令来对Alluxio中的文件进行操作,也可以使用Hadoop Shell命令操作Alluxio中的文件。本文为您介绍Alluxio的常见命令。前提条件 已创建集群,并选择了Alluxio服务...

常见问题

本文汇总了YARN使用时的常见问题。集群问题汇总 集群有状态重启包括哪些内容?如何启用RM HA?如何检查ResourceManager服务是否正常?如何了解应用运行状况?应用问题排查流程 单任务/容器(Container)最大可用资源由哪些配置项决定?资源...

Credential Provider使用说明

使用Hadoop Credential Providers存储AccessKey信息 说明 Hadoop Credential Provider详情的使用方法,请参见 CredentialProvider API Guide。fs.jfs.cache.oss.accessKeyId、fs.jfs.cache.oss.accessKeySecret 和 fs.jfs.cache.oss....

数据湖生态接入

引擎/平台 参考文档 开源生态 Elasticsearch 将Elasticsearch的快照备份至OSS Flink 使用Flink访问OSS 开源Flink写入OSS-HDFS服务 Fluentd 使用Fluentd访问OSS Flume Flume使用JindoSDK写入OSS-HDFS服务 Hadoop 自建Hadoop使用JindoSDK访问...

使用Druid

背景信息 E-MapReduce将Druid作为单独的集群类型,主要基于以下几方面的考虑:E-MapReduce Druid可以完全脱离Hadoop使用。大数据量情况下,E-MapReduce Druid对内存要求比较高,尤其是Broker和Historical节点。E-MapReduce Druid本身资源...

最佳实践概览

ES-Hadoop使用 通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据 通过ES-Hadoop将HDFS中的数据写入Elasticsearch 通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据 日志采集与分析 日志同步分析概述 通过自建Filebeat收集MySQL日志 ...

什么是OSS-HDFS服务

引擎支持列表 生态类型 引擎/平台 参考文档 开源生态 Flink 开源Flink使用JindoSDK处理OSS-HDFS服务的数据 Flume Flume使用JindoSDK写入OSS-HDFS服务 Hadoop Hadoop使用JindoSDK访问OSS-HDFS服务 HBase HBase使用OSS-HDFS服务作为底层存储 ...

迁移Hadoop文件系统数据至JindoFS

迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景,可以直接使用Hadoop的FsShell进行同步:hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs-cp oss:/oss_bucket/README.md jfs:/emr-jfs/DistCp 对于文件较多...

Credential Provider使用说明

参数 参数说明 fs.jfs.cache.oss.bucket.XXX.credentials.provider com.aliyun.emr.fs.auth.InstanceProfileCredentialsProvider 使用Hadoop Credential Providers存储AccessKey信息 说明 Hadoop Credential Provider详情的使用方法,请...

Credential Provider使用说明

参数 参数说明 fs.jfs.cache.oss.bucket.XXX.credentials.provider com.aliyun.emr.fs.auth.InstanceProfileCredentialsProvider 使用Hadoop Credential Providers存储AccessKey信息 说明 Hadoop Credential Provider详情的使用方法,请...

文件存储 HDFS 版和对象存储OSS双向数据迁移

{HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar \ randomtextwriter \-D mapreduce.randomtextwriter.totalbytes=107374182400 \-D mapreduce.randomtextwriter.bytespermap=...

HDFS常见命令介绍

您可以在已经创建好的E-MapReduce(简称EMR)集群中,直接使用hadoop fs命令来对HDFS中的文件进行操作。本文为您介绍HDFS的常见命令。背景信息 HDFS常见命令如下表所示。命令 功能 mkdir 在HDFS文件系统中创建目录。touchz 在HDFS文件系统...

在ECI中访问HDFS数据

usr/local/hadoop-2.7.2/share/hadoop/hdfs:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/*:/usr/local/hadoop-2.7.2/share/hadoop/yarn/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/...

通过Hadoop Shell命令访问

如果您希望通过命令行的方式在开通OSS-HDFS服务的Bucket中执行上传、下载、删除等相关操作,您可以使用Hadoop Shell的方式。环境准备 您可以选择以下任意一种方式访问OSS-HDFS服务。通过阿里云EMR访问OSS-HDFS服务,确保已创建EMR-3.44.0及...

YARN高安全特性使用指南

YARN服务管理权限 默认高安全配置为 yarn.admin.acl=hadoop,其中 hadoop 前有单个空格,表示授权给hadoop组(EMR的服务启动Linux用户通常都是使用hadoop组)作为服务管理员。Hadoop中用户默认的组映射来自节点操作系统的组信息。说明 yarn...

EMR集群JindoSDK升级流程(旧版控制台)

rw-r-1 hadoop hadoop xxxx May 01 00:00 bootstrap_jindosdk.sh-rw-r-1 hadoop hadoop xxxxxxxxx May 01 00:00 jindosdk-4.6.2.tar.gz-rw-r-1 hadoop hadoop xxxx May 01 00:00 jindosdk-patches.tar.gz 执行以下命令,制作升级包。...

EMR集群JindoData升级流程(旧版控制台)

准备软件包和升级脚本 登录EMR集群的Master节点,并将下载的patch包放在Hadoop用户的HOME目录下,将patch包解压缩后,使用hadoop用户执行操作。su-hadoop cd/home/hadoop/wget ...

通过OSS SDK接入开源生态

开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区提供。使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用Logstash将日志导入OSS 使用Fluentd访问...

ZIP_WITH

将ARRAY数组 a 和 b 的元素按照位置,使用 combiner 进行元素级别的合并,返回一个新的ARRAY数组。命令格式 array<R>zip_with(array<T><a>,array<S><b>,function,S,R><combiner>)参数说明 a、b:必填。ARRAY数组。array、array中的 T、S ...

迁移开源HDFS的数据到文件存储 HDFS 版

说明 使用 hadoop distcp 命令将原集群数据迁移至 文件存储 HDFS 版 时,请注意 文件存储 HDFS 版 不支持以下参数,其它参数使用Hadoop DistCp工具官方说明文档 一致。文件存储 HDFS 版 及命令行存在限制的更多信息,请参见 使用限制。...

注册EMR集群至DataWorks

etc/ecm/hadoop-conf/core-site.xml/etc/ecm/hadoop-conf/hdfs-site.xml/etc/ecm/hadoop-conf/mapred-site.xml/etc/ecm/hadoop-conf/yarn-site.xml/etc/ecm/hive-conf/hive-site.xml/etc/ecm/spark-conf/spark-defaults.conf/etc/ecm/spark...

性能优化最佳实践

您可以通过调整core-site.xml配置、TestDFSIO配置或避免使用小文件来优化集群性能。调整core-site.xml配置 在测试集群吞吐性能之前建议在core-site.xml文件中增加或修改如下配置,同步到所有依赖hadoop-common的节点上并重启集群服务。...

CDH6数据迁移

背景信息 CDH(Cloudera's Distribution,including Apache Hadoop)是众多Hadoop发行版本中的一种,您可以使用 文件存储 HDFS 版 替换CDH6原有的本地HDFS服务,通过CDH6和 文件存储 HDFS 版 实现大数据计算在云上的存储与计算分离,应对...

Spark本地调试环境搭建

oss-><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>3.3.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-aliyun</artifactId><version...

OSS

该性能优化功能对RDD的 saveAsHadoop 前缀和 saveAsNewAPIHadoop 前缀的方法不生效。使用示例:{"args":["oss:/${oss-buck-name}/data/test/test.csv"],"name":"spark-oss-test","file":"oss:/${oss-buck-name}/jars/test/spark-examples-0...

配置OSS/OSS-HDFS Credential Provider

使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中,您可以将其以加密对方式存储至Hadoop Credential Providers文件中。使用Hadoop...

配置OSS/OSS-HDFS Credential Provider

使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中,您可以将其以加密对方式存储至Hadoop Credential Providers文件中。使用Hadoop...

产品概述

EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统(例如,阿里云OSS和RDS等)进行数据传输。阿里云EMR提供了on ...

产品简介

EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统(例如,阿里云OSS和RDS等)进行数据传输。产品介绍 阿里云EMR...

CADT命令详解

本文介绍CADT各个命令的功能和具体使用方法。创建应用 create-app 基于CADT模板创建一个可部署的应用。可以通过-f 指定(单个应用)配置文件,或者直接通过-t,-n,-i,-v,-c,-a,-r 等命令行参数直接传递。校验应用validate 对上述生成的应用...

Spark/Hive/HDFS使用JindoSDK访问OSS-HDFS服务

sudo tar zxvf jindosdk-4.5.0.tar.gz-C/usr/lib/将已下载的JindoSDK JAR包安装到class path下(所有节点都要执行)#hadoop sudo cp/usr/lib/jindosdk-4.5.0/lib/*.jar/opt/cloudera/parcels/CDH/lib/hadoop/lib/spark sudo cp/usr/lib/...
共有36条 < 1 2 3 4 ... 36 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
开源大数据平台 E-MapReduce 弹性公网IP 短信服务 人工智能平台 PAI 物联网平台 对象存储
新人特惠 爆款特惠 最新活动 免费试用