什么是文件存储 HDFS 版
产品概述 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等...
超级计算集群概述
超级计算集群SCC（Super Computing Cluster）在弹性裸金属服务器基础上，加入高速RDMA（Remote Direct Memory Access）互联支持，大幅提升网络性能，提高大规模集群加速比。因此SCC在提供高带宽、低延迟优质网络的同时，还具备弹性裸金属...
导入自定义镜像
在云上部署业务时，您可以通过阿里云ECS控制台导入本地镜像文件，也可以通过服务器迁移中心SMC自动为您的服务器生成ECS镜像。本文介绍这两种方法的应用场景和操作步骤。前提条件 通过ECS控制台导入镜像前，请您确认已完成以下操作：阿里云...
实例元数据
cmjj01*image/market-place/charge-type 云市场镜像的计费方式。PrePaid instance-id 实例ID。i-bp13znx0m0me8cquu*mac 实例的MAC地址，如果实例存在多个网卡，则只显示eth0上的MAC地址。00:16:3e:0f:XX:XX network-type 网络类型，只支持...
特性与优势
成本优化 灵活的计费方式 云服务器ECS提供包年包月、按量付费、抢占式实例三种计费方式，满足不同应用场景需求。多种优惠机制 您还可以结合节省计划、预留实例券两种优惠方式使用，以优化资源使用成本。弹性变换计费方式 对于不同的ECS资源...
部署集概述
您可以通过部署集将ECS实例分散部署在不同的物理服务器上，以保证ECS实例上业务的高可用性和ECS实例的底层物理服务器容灾能力；或将ECS实例集中部署到同一个网络拓扑范围内，缩短ECS实例之间的通信时延。本文介绍部署集的定义、部署策略、...
ListInstancePlansModification-获取当前实例可升级的...
查询指定的轻量应用服务器可升级的套餐列表。接口说明 随着业务的发展，已购买的服务器资源可能出现不再满足业务需求的情况。您可以获取当前实例可升级的套餐列表，调用 UpgradeInstance 接口为实例升级套餐。说明 建议您在升级前为轻量...
轻量数据库服务概述
本文主要介绍轻量数据库服务的简介、应用场景、优势、计费、使用限制等信息。简介 轻量数据库服务基于阿里云自研的关系型数据库RDS（Relational Database Service），具有便捷运维、性价比高、体验极佳等优势，基于超大规模的阿里云飞天...
云服务器ECS的入网带宽和出网带宽
本文从服务器角度出发，对入网带宽和出网带宽进行说明。下表给出了入网带宽和出网带宽的具体内容。重要 按使用流量计费 模式下的出入带宽峰值都是带宽上限，不作为业务承诺指标。当出现资源争抢时，带宽峰值可能会受到限制。如果您的业务...
API概览
虚拟服务器组 API 标题 API概述 CreateVServerGroup 创建虚拟服务器组并添加后端服务器 创建虚拟服务器组并向指定的服务器组中添加后端服务器。DeleteVServerGroup 删除虚拟服务器组 删除虚拟服务器组。SetVServerGroupAttribute 修改虚拟...
选型配置说明
存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/GB/月 OSS归档型存储为0.033 元/GB/月 OSS深度归档型存储为0.015 元/GB/月 高效云盘存储为0.35 元/GB/月 SSD云盘存储为1.00 元/GB/月 云盘的具体价格信息，请参见...
什么是OSS-HDFS服务
引擎支持列表 生态类型 引擎/平台 参考文档 开源生态 Flink 开源Flink使用JindoSDK处理OSS-HDFS服务的数据 Flume Flume使用JindoSDK写入OSS-HDFS服务 Hadoop Hadoop使用JindoSDK访问OSS-HDFS服务 HBase HBase使用OSS-HDFS服务作为底层存储 ...
新功能发布记录
服务器迁移中心SMC功能更新信息请参见 SMC新功能发布记录。更多有关阿里云最新产品动态，请订阅 云产品动态。2024年 2024年3月 功能名称 功能概述 发布时间 发布地域 相关文档 共享私有池 将私有池共享给其他阿里云账号或者基于资源目录在...
基本概念
通用概念 概念 说明 ECS实例 云上的虚拟计算服务器，内含vCPU、内存、操作系统、网络、磁盘等基础组件。ECS实例规格 定义了ECS实例在计算性能、存储性能、网络性能等方面的基本属性，但需要同时配合镜像、块存储、网络等配置才能确定一台...
2021年
2021-09-14 华南1金融云（深圳）无 MaxCompute 支持访问开启Kerberos 认证授权机制的 Hadoop集群 大部分企业的Hadoop的生产集群开启了 Kerberos认证授权机制，本次功能升级能够利用MaxCompute访问开启Kerberos认证授权机制的 Hadoop集群，...
购买须知
备案须知 待备案的ECS实例需要满足购买要求，且每台实例可申请的备案服务号数量有限，更多信息，请参见 ICP备案服务器（接入信息）准备与检查。备案流程说明，请参见 ICP备案流程概述。资源升级 关于如何升级云服务器ECS，请参见 升降配...
实例概述
ECS实例是云上的虚拟计算服务器，包含vCPU、内存、操作系统、网络、磁盘等基础组件。您可以使用阿里云提供的控制台、API等管理工具创建和管理ECS实例，像使用本地服务器一样管理ECS实例的状态、应用等，还可以灵活地升级计算、存储等能力。...
UNLOAD
注意事项 UNLOAD命令本身不计费，UNLOAD命令中的查询子句需要扫描数据并使用计算资源计算结果，因此查询子句按照普通SQL作业计费。通过OSS存储结构化数据在一些场景中可以节省存储费用，但需要提前做好费用估算。MaxCompute存储费用为 0.12...
部署高可用及共享存储Web服务
1个公网负载均衡CLB：基于对流量按需分发的能力，可以将流量分发到不同的后端服务器，可消除系统中的单点故障，当某个服务器发生故障时，CLB会自动将请求分配到其他正常的服务器上，从而保证服务的连续性和稳定性。2个文件存储NAS：实现多...
ListDisks-查询一个或多个磁盘信息
SystemDisk DiskChargeType string 磁盘的计费方式。PrePaid DiskType string 磁盘类型。可能值：System：系统盘。Data：数据盘。System Category string 磁盘类型，可能值：ESSD：ESSD 云盘，性能级别 PL0。SSD：SSD 云盘。CLOUD_...
GetFileSystem-获取文件系统详细信息
HDFS 按照上一小时计费容量峰值进行计费。若您希望查询更详细的计量数据，请参见 查看消费明细。107374182400 示例 正常返回示例 JSON 格式 {"RequestId":"55C5FFD6-BF99-41BD-9C66-FFF39189*","FileSystem":{"CreateTime":"2022-04-18T06:...
传统型负载均衡CLB的审计事件
CreateVServerGroup 添加后端服务器组并向指定的后端服务器组中添加后端服务器。DeleteAccessControlList 删除访问控制策略组。DeleteCACertificate 删除CA证书。DeleteDomainExtension 删除扩展域名。DeleteLoadBalancer 删除后付费的负载...
专有宿主机DDH
您还可以获得这台物理服务器的物理属性信息，包括CPU数量（Socket数）、物理CPU核数和内存大小，并根据宿主机规格创建指定规格族的ECS实例，以实现自主规划物理资源、满足安全合规要求并降低部署成本。更多DDH信息，请参见 什么是专有宿...
基于NVMe共享盘部署集群文件系统
例如在大规模数据分析中，大量服务器需要实时并行处理海量数据，这些服务器集群可能需要频繁地对同一份数据库或数据集进行并发的读写操作，以提高整体的数据处理速度和效率。一种传统的解决方案是采用IP SAN+iSCSI协议，将一个硬盘驱动器...
准备工作
环境准备 已创建阿里云E-MapReduce的Hadoop集群。具体操作，请参见 创建集群。已下载E-MapReduce的最新 SDK，SDK包的名称格式为emr-datasources_shaded_*.jar，emr-datasources_shaded_*.jar中包含Tablestore相关的Spark批流Source和Sink。...
常见问题
一、上传游戏问题 Accesskey ID和Accesskey Secret是指什么？从哪里获取？答：Accesskey ID和Accesskey Secret是指阿里云API的密钥，具有该账户完全的权限。获取地址为 AccessKey管理。一般游戏上传需要多长时间？答：上传时间与游戏文件...
常见问题
部署游戏问题 部署游戏一般需要多久时间 部署游戏是指将游戏包体部署在指定的服务器资源上，游戏包体50G以内一般4小时内完成部署。部署游戏完成后，如何快速看到游戏运行效果 游戏部署完成后，可以使用SDK demo填入应用的appkey和appsecret...
游戏管理
游戏管理页面提供创建游戏、上传游戏、版本适配、版本测试等内容维护能力。创建游戏 登录 云游戏平台控制台，点击【游戏管理-游戏管理-创建游戏】，进入创建游戏页面。填写游戏信息，点击最下方的 创建 按钮完成创建流程。创建完成后系统将...
搭建Hadoop环境
sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/yarn-env.sh' sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/hadoop-env.sh' 执行以下命令，测试Hadoop是否安装成功。hadoop version 返回...
产品优势
阿里云游戏平台基于阿里云的技术底座，同时具备低门槛、高质量、生态支持三大优势，帮助游戏行业客户快速搭建云游戏方案，实现业务升级。低门槛 阿里云游戏平台结合云服务特性与云游戏PaaS平台开发能力，通过技术能力大大降低客户接入、...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
安装文件系统SDK
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
使用Flink访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
使用Spark访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
在文件存储 HDFS 版上使用Apache Flink
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
Hadoop Streaming
hadoop jar/usr/lib/hadoop-current/share/hadoop/tools/lib/hadoop-streaming-X.X.X.jar-file/home/hadoop/mapper.py-mapper mapper.py-file/home/hadoop/reducer.py-reducer reducer.py-input/tmp/hosts-output/tmp/output 参数 描述 ...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
使用Fuse-DFS挂载文件存储 HDFS 版
vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c 执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。cd hadoop-2.8.5-src/mvn ...
在文件存储 HDFS 版上使用Apache Spark
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
HDFS常见命令介绍
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用hadoop fs命令来对HDFS中的文件进行操作。本文为您介绍HDFS的常见命令。背景信息 HDFS常见命令如下表所示。命令 功能 mkdir 在HDFS文件系统中创建目录。touchz 在HDFS文件系统...
- 产品推荐
- 这些文档可能帮助您