使用Druid
hyperUnique","fieldName":"user"}]},"tuningConfig":{"type":"hadoop","partitionsSpec":{"type":"hashed","targetPartitionSize":5000000 },"jobProperties":{"mapreduce.job.classloader":"true"} } },"hadoopDependencyCoordinates":...
Hadoop DistCp介绍
使用方法 Hadoop DistCp最常见的调用是集群间拷贝，例如将nn1集群的/foo/bar 目录下的数据拷贝至nn2集群的/bar/foo 目录下：hadoop distcp hdfs:/nn1:8020/foo/bar hdfs:/nn2:8020/bar/foo 更多使用说明，请参见 Hadoop社区的DistCp使用...
临时升配
临时升配后如果性能不够或需要延长还原时间，可以在还原时间到达之前最多再进行1次升配，此次设置的还原时间不能早于第1次。临时升配转为永久升配 如果您需要保持临时升配后的规格，在临时升配期间（集群状态为运行中），可以选择将临时升...
临时升配
临时升配后如果性能不够或需要延长还原时间，可以在还原时间到达之前最多再进行1次升配，此次设置的还原时间不能早于第1次。临时升配转为永久升配 如果您需要保持临时升配后的规格，在临时升配期间（集群状态为运行中），可以选择将临时升...
临时升配
临时升配后如果性能不够或需要延长还原时间，可以在还原时间到达之前最多再进行1次升配，此次设置的还原时间不能早于第1次。临时升配转为永久升配 如果您需要保持临时升配后的规格，在临时升配期间（集群状态为运行中），可以选择将临时升...
HDFS数据源
由于snappy目前没有统一的stream format，数据集成目前仅支持最主流的hadoop-snappy（hadoop上的snappy stream format）和framing-snappy（google建议的snappy stream format）。ORC文件类型下无需填写。否 无 parquetSchema 如果您的文件...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
异构数据源访问
etc/hadoop目录：在集成了Hadoop和Hive的安装中，也可能放在Hadoop的配置目录中，以确保Hive能够正确地与Hadoop集群进行交互。core-site.xml Hadoop核心配置项，如I/O设置和文件系统的配置等。yarn-site.xml YARN配置项，负责集群资源管理...
Hadoop生态外表联邦分析
云原生数据仓库AnalyticDB PostgreSQL版 支持通过外表访问Hadoop生态的外部数据源（包括HDFS与Hive）。注意事项 本特性只支持存储弹性模式实例，且需要 AnalyticDB PostgreSQL版 实例和目标访问的外部数据源处于同一个VPC网络。2020年9月6...
SHOW
本文为您介绍不同操作中SHOW命令的用法以及示例。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....
SHOW
本文为您介绍不同操作中SHOW命令的用法以及示例。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
作业配置指南
假设spark.dla.job.maxAttempts=3，则这个作业最多尝试3次。spark.dla.job.attemptFailuresValidityInterval-1 作业尝试追踪的有效时间间隔，默认值为-1，代表未启用作业尝试追踪。重要 如果作业尝试结束时间距离当前时间已经超过了指定的...
自助建站方式汇总
环境类型 部署方式 说明 搭建Hadoop环境 手动搭建Hadoop环境 本教程介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop伪分布式环境。更换镜像部署Windows环境 云市场镜像集成了操作系统和应用程序，您可以使用阿里云市场镜像快速部署ECS...
使用PyJindo访问阿里云OSS-HDFS
其中，Hadoop配置文件及HADOOP_CONF_DIR不是必须，仅为兼容HADOOP环境中的配置。export JINDOSDK_CONF_DIR=etc/taihao-apps/jindosdk-conf export HADOOP_CONF_DIR=etc/taihao-apps/hadoop-conf 安装和升级pip及PyJindo安装包。python3.8-m...
Spark应用配置参数说明
假设配置为3，则这个应用在一个滑动窗口期时间内最多尝试3次。spark.adb.attemptFailuresValidityInterval 否 Integer.MAX 重试计数的滑动窗口时间，单位：秒（s）。假设配置为6000，那么当一次重试失败后，系统会计算过去6000s共进行了...
数据同步
ls/tmp/cdc/staging_sales/Found 2 items-rw-r-2 hadoop hadoop 0 2019-11-26 11:11/tmp/cdc/staging_sales/_SUCCESS-rw-r-2 hadoop hadoop 93 2019-11-26 11:11/tmp/cdc/staging_sales/part-m-00000 为更新数据建立临时表，然后MERGE到...
2022年
更新说明 优化以单源最短距离算法为例的Graph作业编写。编写Graph 2022年1月更新记录 时间 特性 类别 描述 产品文档 2022-01-30 常见问题整改。更新说明 将常见问题拆解到各个模块，便于用户在遇到问题时快速查找解决措施。常见问题 2022-...
集群管理常见问题
受ECS部署集本身的限制，目前最多支持20台ECS实例加入部署集。具体操作请参见 开启部署集。扩容集群如何指定部署集？默认本地盘机型会开启部署集，其他机型关闭部署集，您可以根据需要自行调整。开启部署集的具体操作，请参见 开启部署集。...
使用Prometheus监控E-MapReduce
HDFS-HOME HDFS-NameNodes HDFS-DataNodes HDFS-JournanlNodes YARN指标 YARN是Hadoop系统的核心组件，主要功能包括负责Hadoop集群的资源管理，对作业进行调度运行以及监控。YARN指标包括HOME、Queue、ResourceManager、NodeManager、...
使用Prometheus监控E-MapReduce
HDFS-HOME HDFS-NameNodes HDFS-DataNodes HDFS-JournanlNodes YARN指标 YARN是Hadoop系统的核心组件，主要功能包括负责Hadoop集群的资源管理，对作业进行调度运行以及监控。YARN指标包括HOME、Queue、ResourceManager、NodeManager、...
Spark FAQ
如何处理Spark SQL读JSON外表（包含日志投递自建）时的报错ClassNotFoundException:org.apache.hadoop.hive.serde2.JsonSerDe？如何处理执行Spark SQL报错：Exception in thread"main"java.io.IOException:No FileSystem for scheme:oss？...
Broker Load
由于每个StarRocks集群的机器环境不同且集群并发的查询任务也不同，所以StarRocks集群的最慢导入速度需要您根据历史的导入任务速度进行推测。max_filter_ratio 导入任务的最大容忍率，默认为0容忍，取值范围是0~1。当导入的错误率超过该值...
产品优势
本文介绍 云原生多模数据库 Lindorm 与其他开源数据库的区别。背景信息 云原生多模数据库 Lindorm 兼容...生态 开源大数据生态Hadoop/Spark等、阿里云数据生态 开源大数据生态Hadoop/Spark等 易用性 免运维，维护简单 有状态服务，维护较复杂
表实用程序命令
RESTORE tableSizeAfterRestore 还原后的表大小（以字节为单位）。numOfFilesAfterRestore 还原后表中的文件数。numRemovedFiles 还原操作删除的文件数。numRestoredFiles 由于还原而添加的文件数。removedFilesSize 还原删除的文件的大小...
迁移HDFS数据到OSS
在进行数据迁移、数据拷贝的场景中，最常用的是Hadoop自带的DistCp工具。但是该工具不能很好利用对象存储OSS的特性，导致效率低下并且不能保证数据一致性。此外，该工具提供的功能选项较单一，无法很好地满足用户的需求。阿里云Jindo ...
JindoDistCp使用说明
Hadoop 2.3+版本，请下载最新版的jindo-distcp-tool-x.x.x.jar，该JAR包含在jindosdk-${version}.tar.gz内，解压缩后可在tools/目录下找到，单击进入 JindoData下载。说明 EMR-5.6.0及以上版本、EMR-3.40.0及以上版本的集群已部署...
DSW连接EMR集群
仅支持以下类型的EMR集群：DataLake集群 安装了Spark3和Hadoop的自定义集群 说明 每个DSW实例最多可以连接一个EMR集群，连接完成后不支持切换到其它集群。前提条件 已开通 EMR 并创建EMR集群，具体操作，请参见 创建集群。已创建DSW实例，...
API概览
RestoreRevision 还原历史版本 将文件的某个历史版本，还原为文件的最新版本，还原时生成一个新版本，被还原的版本不变。不支持还原最新版本。ListRevision 列举版本 列举版本信息。GetRevision 获取版本信息 获取版本详情。增量处理 API ...
JindoFS实战演示
OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问OSS这类对象存储最快的方式 访问OSS这类对象存储最快的方式 2021-05-25 JindoFS SDK是一个简单易用，面向Hadoop或Spark生态的OSS客户端，为阿里云OSS提供高度优化的HadoopFileSystem...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
测试环境
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要介绍了3种不同测试场景下的测试环境配置要求。环境配置要求 测试环境总体要求：自...
管理节点组（Hadoop、Data science和EMR Studio集群）
最多支持新增10个节点组。仅支持删除Task节点组，不支持删除Core节点组。注意事项 当待操作节点组的节点数大于0时，需要先释放节点组中的ECS实例才能删除节点组。新增节点组 进入节点管理页面。登录EMR on ECS控制台。在顶部菜单栏处，根据...
备份规则说明
bundle文件是备份文件中最核心的文件，用户可以根据bundle文件将仓库备份还原为一个Git仓库，bundle文件后缀为".bundle".list 文件：list文件为备份时刻仓库ref信息的汇总记录，对比不同的list文件，可以轻松的查看两次备份间隔仓库ref发生...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
变配VPN网关实例
临时升配支持最短的升级间隔为48小时。临时升配在到达还原时间前不支持降配，不支持退款，请妥善评估临时升配的还原时间。临时升配只支持打开IPsec-VPN或SSL-VPN功能，不支持关闭IPsec-VPN或SSL-VPN功能。警告 在到达还原时间后VPN网关实例...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
安装文件系统SDK
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
搭建Hadoop环境
sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/yarn-env.sh' sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/hadoop-env.sh' 执行以下命令，测试Hadoop是否安装成功。hadoop version 返回...
使用Flink访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
- 产品推荐
- 这些文档可能帮助您