本地盘
充分满足以Hadoop为代表的分布式计算业务类型对ECS实例存储性能、存储容量和内网带宽的多方面要求。本地盘性能 有关本地盘的性能说明，请参见 块存储性能。计费说明 本地盘的费用包括在本地盘挂载的实例的费用里。更多信息，请参见 包年...
应用场景
Serverless 应用引擎 SAE（Serverless App Engine）具有广泛的应用场景，帮助您的企业极速上云、从容应对突发性流量洪流和灵活启停应用环境，降低资源成本。应用托管 Web应用托管 提供Web应用上云的一站式快捷体验，包括免运维IaaS、自动...
Mesh 网关
同时，一些核心链路的业务如无线收银台、扫一扫等，迫切需要与其他业务隔离，避免不可预知的突发流量影响到这些高保业务的可用性。因此，2016 年下半年开始建设和推广去中心化网关。去中心化网关 去中心化网关示例 去中心化网关将原先集中...
概述
文件存储HDFS版 文件存储HDFS版（Apsara File Storage for HDFS）是一款面向阿里云ECS实例及容器服务等计算资源的文件存储服务，满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。表格存储 表格存储...
基于Hadoop集群支持Delta Lake或Hudi存储机制
在创建Hadoop集群的过程中，您需要重点关注以下配置项，其余配置项可参考EMR集群：配置区域 配置项 示例 描述 软件配置 业务场景 自定义集群 请根据实际需求选择业务场景。产品版本 EMR-3.43.0 选择基于Hadoop 2.x和Hive 2.x构建的 EMR-3.x...
访问Hive数据源
E-MapReduce集群业务场景为 新增数据湖，需具有Hadoop-Common、HDFS、YARN和Hive服务，且元数据为 自建 RDS 或 内置 MySQL。具体操作，请参见 创建集群。或已自建与AnalyticDB MySQL湖仓版（3.0）集群同地域的Hive集群。重要 元数据类型为 ...
非EMR集群接入OSS-HDFS服务快速入门
附录二：性能调优 您可以结合实际业务需求，将以下配置项添加到Hadoop的core-site.xml中。仅JindoSDK 4.0及以上版本支持以下配置项。property>!客户端写入的临时文件目录，可配置多个，每个临时文件目录需以逗号隔开。多...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明...
什么是Elasticsearch Serverless服务
使用开源Elasticsearch时，用户需要按照业务预估读写情况，配置Elasticsearch集群的CPU、内存、磁盘等时预留一定的资源，会存在以下痛点问题：在大促、发版等业务高峰场景下，出现无法提前规划的突发读写流量，导致集群宕机，业务的稳定性...
典型使用场景
典型的数据源包括：MySQL/SQL Server/PostgreSQL/Oracle等OLTP业务数据库，业务App产生的日志数据，在OSS/Hadoop上的归档数据，以及来自Kafka/Flink等系统的流式数据。在库中对ODS层数据进行加工，形成CDM（Common Data Model）和ADS...
修改ESSD AutoPL云盘突发I/O
云数据库 MongoDB 版 集成了ESSD AutoPL云盘突发I/O调整能力，您可以根据业务实际情况调整I/O的预配置大小，助您轻松应对突发或计划中的流量高峰。前提条件 实例存储类型为ESSD AutoPL云盘。使用限制 IOPS预配置性能24小时内最多可修改两次...
配置消息监控告警实现风险预警
云消息队列 RocketMQ 版 支持通过云监控配置告警规则，以便您可以实时监控实例的运行状态和关键的业务指标，并能够及时收到异常的告警通知，实现生产环境的风险预警。背景信息 云消息队列 RocketMQ 版 提供全托管的消息服务，对于每个规格...
配置消息监控告警实现风险预警
未配置风险：Topic的消息收发TPS代表业务的调用频率，如未配置该告警，流量跌零或突发暴涨不会提前预警，有可能会产生业务预期之外的风险。配置时机：建议业务上线且流量平稳后配置告警。建议阈值：业务侧上线后根据实际平稳期流量预估报警...
修改带宽策略
专属集群MyBase 支持修改带宽策略功能，当您的实例带宽不足以应对业务的流量高峰（例如限时秒杀场景）时，您可以根据需求变更实例的带宽，帮助您轻松应对突发或计划中的流量高峰，专注于业务提升。前提条件 已创建Redis 企业版性能增强型...
设置Dataphin实例的计算引擎为Hadoop
如下图所示：执行引擎 根据实际业务情况，选择计算执行引擎。包括MapReduce和Tez。单击 确认并开始数据建设。后续步骤 完成Dataphin实例计算引擎的设置后，系统支持为创建的项目空间添加相应的计算源，为项目空间提供计算和存储的资源。...
应用场景
数据分析 云服务器ECS提供了大数据类型实例规格族，支持Hadoop分布式计算、日志处理和大型数据仓库等业务场景。由于大数据类型实例规格采用了本地存储的架构，云服务器ECS在保证海量存储空间、高存储性能的前提下，可以为云端的Hadoop集群...
迁移开源HDFS的数据到文件存储 HDFS 版
背景信息 当前业界有很多公司是以Hadoop技术构建数据中心，而越来越多的公司和企业希望将业务顺畅地迁移到云上。文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云上，并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。...
容量规划
可以根据业务需求自定义云盘的预配置性能以及性能突发的能力。不同的规格和类型的存储具有不同的IOPS和吞吐量上限，客户可以根据业务需求灵活自定义选择。数据库产品 对于数据库产品的容量规划，一般在业务确定用户和量级之前就需要考虑到...
云防火墙产品选型指导
适用于业务用量经常变化、资源使用有临时性和突发性等企业场景。适用于资产数（一般公网资产10个以下）或流量较小（一般峰值带宽10 Mbps以下）的中小企业场景。包年包月版：高级版、企业版、旗舰版。包年包月是一种先付费后使用的预付费...
存储类型介绍
通用云盘 通用云盘兼容ESSD云盘的所有特性，基础能力与ESSD PL1云盘相同，且在ESSD云盘的基础上提供了IO突发能力和数据归档OSS能力，能满足更多业务需求。更多详情，请参见 什么是通用云盘、通用云盘IO突发功能、通用云盘数据归档OSS功能。...
Hadoop集群迁移至DataLake集群
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
什么是公网NAT网关
为什么选择公网NAT网关 选择公网NAT网关，您可以使业务运行具有以下特性：高性能 具有较强的突发性能，并可通过工单提升更大性能，适应高并发业务场景。高可用 支持多可用区容灾，某个可用区故障时仍能保障业务运行，实现业务高可用性。...
配置弹性伸缩（仅Hadoop集群类型）
当您的业务量需求不断波动时，建议您开启弹性伸缩功能并配置相应的伸缩规则，以便于E-MapReduce（简称EMR）可以按业务量波动增加或减少Task节点。确保作业完成的同时，可以节省成本。本文为您介绍如何在EMR控制台配置弹性伸缩。前提条件 已...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
突发性能实例计费
突发性能实例通过消耗CPU积分来维持运行性能，可以在业务平峰期积累CPU积分余额，用于在业务高峰期提高运行性能，从而节约成本。但如果实例消耗了预支CPU积分或超额CPU积分，可能产生额外费用，因此突发性能实例费用分为实例购买费用和额外...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
安装文件系统SDK
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
搭建Hadoop环境
sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/yarn-env.sh' sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/hadoop-env.sh' 执行以下命令，测试Hadoop是否安装成功。hadoop version 返回...
使用Flink访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
使用Spark访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
在文件存储 HDFS 版上使用Apache Flink
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
改写Jindo HDFS客户端路径
例如，通过将HDFS地址重写至OSS地址，方便您迁移HDFS中的数据至OSS后，无需改动业务逻辑中的数据地址，即可访问数据。使用限制 仅支持Hadoop 2.x版本，不支持Hadoop 3.x版本。开启路径改写功能 进入SmartData服务。登录 阿里云E-MapReduce...
Hadoop Streaming
hadoop jar/usr/lib/hadoop-current/share/hadoop/tools/lib/hadoop-streaming-X.X.X.jar-file/home/hadoop/mapper.py-mapper mapper.py-file/home/hadoop/reducer.py-reducer reducer.py-input/tmp/hosts-output/tmp/output 参数 描述 ...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
使用Fuse-DFS挂载文件存储 HDFS 版
vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c 执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。cd hadoop-2.8.5-src/mvn ...
在文件存储 HDFS 版上使用Apache Spark
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
米哈游
日志服务能够提供各种异构数据提取、聚合、可视化、告警、AI异常检测等功能，满足《原神》实际业务场景下需要采集分析包括业务服务监控日志，云产品运行及审计日志，游戏运营指标等多种维度数据需求。在数据采集方面，日志服务支持客户端、...
HDFS常见命令介绍
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用hadoop fs命令来对HDFS中的文件进行操作。本文为您介绍HDFS的常见命令。背景信息 HDFS常见命令如下表所示。命令 功能 mkdir 在HDFS文件系统中创建目录。touchz 在HDFS文件系统...
UDF（地理空间）
cd spatial-framework-for-hadoop mvn clean package-DskipTests-P java-8,hadoop-2.7,hive-2.1 复制构建好的JAR包。此JAR包包含开源地理空间UDF的所有方法。命令示例如下。cp hive/target/spatial-sdk-hive-2.1.1-SNAPSHOT.jar./spatial-...
Hadoop MapReduce作业配置
本文介绍如何配置Hadoop MapReduce类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
- 产品推荐
- 这些文档可能帮助您