通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
本文介绍通过ES-Hadoop组件在Hive上进行Elasticsearch数据的查询和写入，帮助您将Elasticsearch与Hadoop生态组件结合起来，实现更灵活的数据分析。背景信息 Hadoop生态的优势是处理大规模数据集，但是其缺点也很明显，就是当用于交互式分析...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
es.index.auto.create true 通过Hadoop组件向Elasticsearch集群写入数据，是否自动创建不存在的index：true：自动创建 false：不会自动创建 es.resource/指定要读写的index和type。es.input.json false 输入是否已经是JSON格式：true：是...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
es.index.auto.create true 通过Hadoop组件向Elasticsearch集群写入数据，是否自动创建不存在的index：true：自动创建 false：不会自动创建 es.resource/指定要读写的index和type。es.mapping.names/表字段与Elasticsearch的索引字段名映射...
创建EMR Shell节点
通过自定义编辑Shell脚本，您能够进行数据处理、调用Hadoop组件、操作文件等高级功能。本文介绍了如何在DataWorks里配置和使用EMR Shell节点，以便您编辑和运行Shell脚本。背景信息 本节点支持使用OSS REF方式引用OSS资源，详情请参见 方案...
Ambari与文件引擎集成
Ambari提供Hadoop组件的安装、运维、监控等功能，您可以使用Ambari管理您的Hadoop集群。本文介绍如何将Ambari与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于Ambari+Lindorm文件引擎构建云原生存储计算分离的开源大数据系统。前提...
CDH6与文件引擎集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用 CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于...
常见问题
问题原因：Hadoop组件部分依赖库使用Java Logging APIs来生成日志记录，不支持使用log4j配置的日志轮转。目前这些daemon组件的stderr输出被重定向到.out 文件中，没有自动清理机制，长时间积累可能导致数据盘存储空间被占满。处理方法：...
什么是EMR on ECS
采购服务器，部署Hadoop生态组件，周期长达数周。弹性 可根据作业临时启动和销毁集群。集群资源可根据时间周期或集群负载动态自动调整。基于JindoFS计算存储分离架构，轻松分别扩展计算和存储资源。计算和存储耦合，资源相对固定，无法弹性...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行恶意命令。Hadoop作为大数据计算基础组件往往集群化部署，一旦一台主机沦陷，其整个集群都将受到威胁，其对外暴露的端口服务会...
使用回收站
Hadoop生态组件使用回收站功能 Hive、Spark和Flink等组件并不感知OSS-HDFS服务回收站功能的存在，使用FileSystem（HDFS）的Delete接口意味着立即删除。OSS-HDFS采取了跟开源Hadoop相似的策略。如果您需要使用回收站功能，需要显式地调用...
阿里云OSS-HDFS（JindoFS服务）回收站使用说明
hadoop fs-rm-skipTrash oss:/bucket/a/b/c Hadoop生态组件使用回收站功能 Hive、Spark和Flink等组件并不感知OSS-HDFS服务回收站功能的存在，使用FileSystem（HDFS）的Delete接口意味着立即删除。OSS-HDFS采取了跟开源Hadoop相似的策略。...
Teamtnt变种攻击Hadoop集群
概述 Hadoop作为一个分布式计算应用框架，种类功能繁多，而Hadoop Yarn作为其核心组件之一，负责将资源分配至各个集群中运行各种应用程序，并调度不同集群节点上的任务执行。Hadoop Yarn未授权访问使得攻击者无需认证即可通过REST API部署...
Trino扩缩容
如果您的集群是Trino与Hadoop等组件混合部署的，在扩容之前需要谨慎考虑。扩容前准备 Trino在扩容时能够同步组件本身以及绝大部分配置项。但是，新增的UDF包、手动替换的JAR包、手动升级的组件（例如JindoSDK）、自行添加的Event Listener...
在非EMR集群中部署JindoSDK
非Hadoop配置文件 在使用JindoFuse、Jindo CLI等非Hadoop生态组件时，会访问环境变量 JINDOSDK_CONF_DIR 所在的目录读取配置文件。配置文件 使用INI风格配置文件，配置文件的文件名为 jindosdk.cfg，示例代码如下：[common]logger.dir=tmp/...
YARN缺陷修复公告
缺陷影响 缺陷影响的组件：Hadoop YARN（开启了服务高可用，并且添加了Zookeeper服务）。缺陷级别：严重，建议修复，集群长时间运行重启后会导致集群不可用。缺陷发生现象：ResourceManager日志一直打印“Application should be expired,...
EMR-3.27.x版本说明
发布日期 版本 日期 EMR-3.27.0 2020年4月29日 EMR-3.27.1 2020年5月8日 EMR-3.27.2 2020年5月20日 新功能 功能 变更点 组件自定义部署 支持对Master节点上的组件进行自定义部署，目前支持以下组件：Hadoop Spark Hive Zookeeper Presto ...
Apache Impala（CDH6）查询OSS数据
CDH是Cloudera提供的包含Apache Hadoop核心组件的企业级大数据发行版，已支持Hadoop 3.0.0。本文将详解如何配置CDH6环境下的Hadoop、Hive、Spark、Impala等组件，以实现对接阿里云OSS存储服务进行数据查询操作。前提条件 已搭建CDH6 集群。...
安装文件系统SDK
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
CheckComponentsVersion
Components String 是 HBASE,HADOOP 要检查的组件：HBASE HADOOP PHOENIX SOLR THRIFT 返回数据 名称 类型 示例值 描述 RequestId String E3537EB4-1100-41CA-A147-C74CCC8BB12C 请求ID。Components Array of Component 组件是否为最新版本...
集群容灾能力
本文介绍E-MapReduce集群数据...服务容灾 Hadoop的核心组件都会进行HA部署，即有至少两个节点的服务互备，例如YARN、HDFS、Hive Server和Hive Meta。在任何一时刻，任一服务节点故障时，当前的服务节点都会自动进行切换，以保证服务不受影响。
产品概述
形态 描述 EMR on ECS EMR负责将开源Hadoop生态的组件安装部署在ECS上，并启动相应的服务。您可以在EMR控制台完成对集群ECS及服务的运维操作。关于EMR on ECS的更多介绍，请参见 什么是EMR on ECS。EMR on ACK 您需要先完成ACK集群的安装...
产品简介
形态 描述 EMR on ECS EMR负责将开源Hadoop生态的组件安装部署在ECS上，并启动相应的服务。您可以在EMR控制台完成对集群ECS及服务的运维操作。关于EMR on ECS的更多介绍，请参见 什么是EMR on ECS。EMR on ACK 您需要先完成ACK集群的安装...
在文件存储 HDFS 版上使用Apache Flink
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
在文件存储 HDFS 版上使用Apache Spark
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
HBase存算一体转存算分离
新增Jindodata服务后，需要进行以下配置才能生效，请修改Hadoop-Common组件 core-site.xml 配置文件的配置项。参数 说明 fs.xengine 修改为 jindofsx。fs.jindofsx.namespace.rpc.address 修改为 master-1-1:8101。fs.jindofsx.data.cache....
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
SmartData使用说明（EMR-3.22.0~3.25.1版本）
简单示例：Shell命令 hadoop fs-ls jfs:/your-namespace/hadoop fs-mkdir jfs:/your-namespace/test-dir hadoop fs-put test.log jfs:/your-namespace/test-dir/hadoop fs-get jfs:/your-namespace/test-dir/test.log./MapReduce作业 ...
技术支持的范围和方式
开源组件如下：Hadoop，包括HDFS、YARN和MapReduce。数据集成组件，例如，Flume和Sqoop等。数据存储组件，例如，HDFS、HBase、Kudu、Iceberg、DeltaLake、Hudi和Kafka等。计算引擎组件，例如，Spark、Hive、Tez、Druid、Flink和Phoenix等。...
UpgradeMinorVersion
Components String 是 HADOOP 要升级的组件名称，多个组件中间逗号隔开。返回数据 名称 类型 示例值 描述 RequestId String 7B8EC240-BB13-4DBC-B955-F90170E82609 请求ID。UpgradingComponents String HADOOP 成功升级的组件。示例 请求...
YARN概述
YARN是Hadoop系统的核心组件，主要功能包括负责在Hadoop集群中的资源管理，负责对作业进行调度运行以及监控。基本概念 名称 描述 ResourceManager 负责集群的资源管理与调度，为运行在YARN上的各种类型作业分配资源。非HA集群部署在EMR的...
SmartData常见问题
因为Hadoop和Spark生态组件依赖HCFS的抽象接口，所以需要使用JindoFS。JindoFS有哪些使用方式？使用场景是什么？JindoFS使用方式包括JindoFS SDK（jindo-sdk_xxx.jar）、缓存和Block模式。针对三种方式，使用场景如下：JindoFS SDK模式：...
YARN调度器
简介 Hadoop YARN的核心组件是ResourceManager，负责集群资源管理与调度，而ResourceManager组件的核心是调度器，负责统筹集群资源，满足应用的资源需求。调度器不仅需要优化整个集群的资源布局，避免热点等问题对应用的影响，最大程度利用...
EMR-3.22.x版本说明
发布日期 EMR-3.22.0 2019年7月28日 新功能 服务 变更点 Kudu 新增组件，Kudu填补Hadoop生态圈的功能空白，可提供类似HBase快速数据插入以及随机存取的功能，允许用户进行数据修改，同时还提供类似HDFS或Parquet超大规模的数据分析以及查询...
HBASE-HDFS
HBASE-HDFS服务 HDFS作为Hadoop生态系统的核心组件，提供了可靠的分布式文件存储功能。HBase-HDFS服务通过使用HDFS作为其底层数据存储解决方案，继承了HDFS的所有原生特性和优势，未对其基本架构进行修改。HDFS更多信息介绍，请参见 HDFS...
元数据性能测试
配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 NNbench是Hadoop系统自带的基准测试组件，...
集群吞吐性能测试
计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 TestDFSIO是Hadoop系统自带的基准测试组件，用于测试...
实例类型
主实例节点（Master）主实例节点是集群服务部署管控等组件的节点，例如，Hadoop YARN的 ResourceManager。当您需要查看集群上服务的运行情况时，您可以通过软件的Web UI来查看。当您需要快速测试或者运行作业时，您可以登录主实例节点，...
JindoData版本说明
在SDK与生态组件方面，提供了去Hadoop依赖的Java SDK。主要功能 JindoFS存储系统 JindoFS元数据操作性能优化，相关元数据操作性能显著提升。JindoFS完善分层存储功能，支持低频以及冷归档存储类型。JindoFS支持批量写入功能，优化大规模ETL...
HDFS服务日志
HDFS服务的日志存储在/mnt/disk1/log/hadoop-hdfs 目录下，本文介绍HDFS服务各组件对应日志的详细说明。组件 日志 说明 ZKFailoverController（ZKFC）hadoop-hdfs-zkfc-*.out ZKFC的进程启动日志，部分启动异常会显示在out文件中。hadoop-...
通过HDP 2.6 Hadoop读取和写入OSS数据
HDP（Hortonworks Data Platform）是由Hortonworks发行的大数据平台，包含了Hadoop、Hive、HBase等开源组件。HDP 3.0.1版本中的Hadoop 3.1.1版本已支持OSS，但是低版本的HDP不支持OSS。本文以HDP 2.6.1.0版本为例，介绍如何配置HDP 2.6版本...
- 产品推荐
- 这些文档可能帮助您