Hadoop使用JindoSDK访问OSS-HDFS服务
vim/etc/profile export HADOOP_HOME=usr/local/hadoop export PATH=$HADOOP_HOME/bin:$PATH source/etc/profile 更新Hadoop配置文件中的 HADOOP_HOME。cd$HADOOP_HOME vim etc/hadoop/hadoop-env.sh 将${JAVA_HOME} 替换为实际路径。...
HAS Kerberos认证使用方法
Found 6 items drwxr-xr-x-hadoop hadoop 0 2021-03-29 11:16/apps drwxrwxrwx-flowagent hadoop 0 2021-03-29 11:18/emr-flow drwxr-x-has hadoop 0 2021-03-29 11:16/emr-sparksql-udf drwxrwxrwt-hadoop hadoop 0 2021-03-29 11:17/...
创建Serverless集群
登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 集群。在 集群 页面右上角，将鼠标悬浮在 创建集群 右侧的 图标，单击 模板化创建。在 基本配置 区域，输入集群名称和登录密码。在模板区域上方，单击，...
配置集群巡检
配置集群巡检 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 运维与监控>集群巡检。在集群列表中选择目标集群，然后单击 创建巡检。在弹出的对话框中，完成巡检配置。输入名称和描述。选择巡检执行方式...
通过HDFS Shell连接并使用文件引擎
环境配置 请参见 下载客户端 和 配置Hadoop。常用命令 数据上传 下表为将本地数据上传至文件引擎的常用命令。命令 说明 put 从本地文件系统中复制单个或多个源路径到目标文件引擎。也支持从标准输入中读取输入写入目标文件引擎。...
网络开通流程
安全组配置内容如下：配置Hadoop集群所在安全组的入方向访问规则。授权对象为ENI所在的安全组，即步骤2中创建的安全组。HiveMetaStore端口：9083。HDFS NameNode端口：8020。HDFS DataNode端口：50010。例如，当您连接在阿里云E-MapReduce...
性能基线配置
在压测开始前，您需要配置性能基线，为系统性能提供参照点，用于判断压测是否通过以及系统性能是否符合要求，帮助您评估系统在长时间运行下的可靠性和稳定性。本文介绍如何设置以及使用性能基线功能。设置性能基线 登录 PTS控制台，在左侧...
域名绑定
您可以在 高级配置 页签的 域名绑定 区域配置域名信息：选中目标域名右侧的 启用，并在 IP列表 栏填写相应的IP地址。多IP地址间用半角逗号（,）分隔。单击左下角的 保存配置，即可完成域名绑定。绑定域名后，压测时将直接压测您已配置的IP...
域名绑定
您可以在 高级配置 页签的 域名绑定 区域配置域名信息：选中目标域名右侧的 启用，并在 IP列表 栏填写相应的IP地址。多IP地址间用半角逗号（,）分隔。单击右下角的 保存配置，即可完成域名绑定。绑定域名后，压测时将直接压测您已配置的IP...
应用场景
云服务器ECS具有广泛的应用场景，既可以...推荐使用 弹性高性能计算E-HPC，弹性高性能计算可以将计算能力积聚，用并行计算方式解决更大规模的科学、工程和商业问题。更多案例 更多关于云服务器ECS的应用场景，请参见 云服务器ECS客户案例。
高主频型
小规格实例网络带宽具备突发能力 实例网络性能与计算规格对应（规格越高网络性能越强）适用场景：高网络包收发场景，例如视频弹幕、电信业务转发等 高性能前端服务器集群 大型多人在线游戏（MMO）前端 数据分析、批量计算、视频编码 高性能...
配置E-HPC集群与Windows AD域用户账号互通
部署AD域并开启SSL服务 如果您已经在Windows服务器上完成了AD域的部署且开启了SSL服务，可以跳过...在 弹性高性能计算控制台 的 用户 页面，确认是否已从AD域同步用户信息至集群。如果已自动创建与AD域中用户同名的集群用户，则表示同步成功。
安装脚本配置说明
如果您创建集群后需要安装自定义软件或者配置软件环境，可以设置安装脚本。集群所有节点启动并安装好自动部署的软件后，会自动下载并执行安装脚本。本文介绍安装脚本中配置参数说明。使用场景 使用系统镜像创建集群后，需要在创建集群后...
配置缓存模式
在添加完Tair缓存节点后，您还可以根据业务需要配置缓存模式。当前默认为强一致缓存模式...您可在 参数配置 页面，选择目标Tair缓存节点，并将 loose_innodb_polar_scc 参数设置为 OFF，即可为目标Tair缓存节点关闭全局一致性（高性能模式）。
PTS使用指引
JMeter原生压测 JMeter使用CSV参数文件 JMeter配置RPS限制 JMeter多个线程组的使用说明 施压配置 如何进行施压配置 阿里云内网压测 压力预估图 PTS更多配置 高级设置 云监控 场景SLA 创建SLA 配置场景SLA 通用SLA模板 PTS后续步骤 启动压测...
JindoFS实战演示
Spark对OSS上的OCR数据进行查询加速 Spark对OSS上的OCR数据进行查询加速 2021-07-20 当前数据湖市场规模正在飞速增长，随着数据规模的增长，基于高性能的数据湖分析场景也在逐渐增加。当前很多数据湖架构基于对象存储，相对于本地存储，其...
测试环境
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要介绍了3种不同测试场景下的测试环境配置要求。环境配置要求 测试环境总体要求：自...
实例规格族
推荐 高性能计算优化型实例规格族hpc8ae 高性能计算优化型实例规格族hpc7ip 高性能计算优化型实例规格族hpc6id 通用型超级计算集群实例规格族sccg7 计算型超级计算集群实例规格族sccc7 高主频计算型超级计算集群实例规格族scchfc6 高主频...
使用Hadoop作为元仓计算引擎进行元仓初始化
各方式获取元数据优劣势对比详情如下：元数据获取方式 优势与劣势 直连元数据库 高性能：直接连接底层的元数据库，省去了中间的HMS服务环节，客户端在获取meta（元数据）时性能更好，同时能够减少网络传输上的耗时。更开放：通过HMS服务...
内存型
提供数据和应用的使用时保护 适用场景：人工智能场景，如深度学习与训练、AI推理等 HPC等高性能科学计算场景 大中型数据库系统、缓存、搜索集群 大型在线游戏服务器 其他对性能要求较高的通用类型的企业级应用 与操作系统的兼容性说明 更多...
玄武分析型存储
玄武分析存储引擎为用户提供高可靠、高可用、高性能、低成本的企业级数据存储能力，是AnalyticDB实现高吞吐实时写入、高性能实时查询的基础支撑。高吞吐实时写入 AnalyticDB通过三层并行架构实现了极强的吞吐能力，从接入层、到存储节点层...
Hudi
说明 从Hudi 0.12.0开始支持，针对跨集群提交执行的需求，可以通过DDL指定per-job级别的hadoop配置。数据写入 Hudi支持丰富的写入方式，包括离线批量写入、流式写入等场景。支持丰富的数据类型，包括changelog以及log数据。同时支持不同的...
快速入门
文件存储 HDFS 版 兼容了标准的HadoopFS协议接口，使您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用的分布式文件系统。相比自建HDFS存储，使用 文件存储 HDFS 版 服务可以大量节约...
创建集群
计算节点：用于执行高性能计算作业的节点，其配置决定了E-HPC集群的总体性能。管控节点：用于进行作业调度和域账号管理的节点。登录节点：默认绑定弹性公网IP，您可远程登录该节点，通过命令行操作集群。展开高级配置，配置网络、存储等...
ECS选型最佳实践
场景分类 场景细分 推荐规格族 处理器与内存比 数据盘 关系型数据库 高性能，依赖应用层高可用 i系列 1:4 本地SSD存储、高效云盘、SSD云盘 中小型数据库 g系列，或其他内存占比为1:4的规格族 1:4 高效云盘、SSD云盘 高性能数据库 i、r系列 ...
JindoFS块存储模式
TEMP 表示数据仅有一个本地备份，针对一些临时性数据，提供高性能的读写，但降低了数据的高可靠性，适用于一些临时数据的存取。JindoFS提供了Admin工具设置目录的Storage Policy（默认为 WARM），新增的文件将会以父目录所指定的Storage ...
Hive连接器
如果要引用现有的Hadoop配置文件，请确保将其拷贝到任何未运行Hadoop的Presto节点上。HDFS用户名与权限 在Presto中为Hive表运行任何 CREATE TABLE 或 CREATE TABLE AS 语句之前，都需要检查Presto用于访问HDFS的用户是否有权访问Hive的仓库...
YARN高安全特性使用指南
说明 yarn.admin.acl=hadoop 配置值的通常格式为 用户 用户组，前面是用户，后面是用户组，中间使用空格分割，用户和用户组可配置多个，均使用逗号（,）分割。例如，user1,user2 group1,group2，只有用户组的情况下，必须在最前面加上空格...
性能优化最佳实践
调整core-site.xml配置 在测试集群吞吐性能之前建议在core-site.xml文件中增加或修改如下配置，同步到所有依赖hadoop-common的节点上并重启集群服务。name>alidfs.default.write.buffer.size</name><value>8388608</value>...
Impala概述
Impala为存储在Apache Hadoop中的数据，提供了高性能和低延迟的SQL查询。使用Impala，您可以通过SELECT、JOIN和聚合函数实时查询存储在HDFS或HBase中的数据。背景信息 Impala使用与Apache Hive相同的元数据、SQL语法（Hive SQL）和ODBC驱动...
Serverless Spark概述
ECI跟ECS类似，都具备规格，DLA平台对具体的ECI规格进行了屏蔽、简化，用户只需要配置small、medium、large这样的简单配置即可，平台在调度的时候会优先使用高性能计算资源。资源规格 计算资源 消耗的CU数 c.small 1Core 2GB 0.8CU small 1...
ZooKeeper的使用场景和MSE ZooKeeper的优势
基于Dragonwell进行构建，读取性能提升：MSE ZooKeeper集成阿里高性能JDK，开启协程优化能力，并对ZooKeeper的读写任务队列做出锁粒度的优化，在高并发处理的场景下，读取性能相比开源能够提升1倍左右。参数性能调优，降低GC时间：...
创建混合云集群
计算节点 用于执行高性能计算作业的节点，其配置决定了E-HPC集群的总体性能。使用代理模式 开启后，在云上创建代理节点，用于管理云上集群资源。云上代理节点 开启 使用代理模式 时，配置云上代理节点的实例规格。展开 高级配置，按需设置...
异构数据源访问
功能说明 外部数据源管理提供高性能的结构化和非结构化数据并行传输服务。其中，异构数据源访问支持通过 AnalyticDB PostgreSQL版 数据库以统一的SQL接口查询和分析存储在外部系统中的数据。提供以下功能：多种数据存储访问：支持多种数据...
Spark使用JindoSDK查询OSS-HDFS服务中的数据
相对于Hadoop社区OSS客户端，Spark使用JindoSDK查询OSS-HDFS服务中的数据时，可以获得更好的性能。前提条件 已创建ECS实例。具体步骤，请参见 选购ECS实例。已创建Hadoop环境。具体步骤，请参见 创建Hadoop运行环境。已部署Apache Spark。...
产品对比
在 Hadoop 集群等场景下，ZooKeeper 同时充当应用配置管理的角色。但是由于它是 CP（Consistency，Partition Tolerance）类应用，因此在可用性和性能上都会受到一定影响。etcd 和 ZooKeeper 类似，etcd 是一个高可用的键值存储系统，主要...
Impala使用JindoSDK查询OSS-HDFS服务中的数据
相对于Hadoop社区OSS客户端，Impala使用JindoSDK查询OSS-HDFS服务中的数据时，可以获得更好的性能。前提条件 已创建ECS实例。具体步骤，请参见 选购ECS实例。已创建Hadoop环境。具体步骤，请参见 创建Hadoop运行环境。已开通并授权访问OSS-...
配置Lindorm Spark节点
背景信息 Lindorm计算引擎是一款基于云原生多模数据库Lindorm核心能力实现的数据库内高性能、低成本、稳定可靠的分布式计算服务。关于Lindorm计算引擎的更多信息，请参见 引擎简介。费用说明 Lindorm实例的计算引擎按照计算资源实际使用量...
YARN调度器
yarn.scheduler.capacity.schedule-asynchronously.maximum-threads 不配置 异步调度：最大分配线程数，默认值：1，多个分配线程可能产生大量重复Proposal，通常1个分配线程已经具备了很高的调度性能，因此建议不配置。yarn.scheduler....
使用JindoFS作为HBase的底层存储
背景信息 HBase是Hadoop生态中的实时数据库，有很高的写入性能，E-MapReduce HBase支持使用JindoFS或OSS作为底层存储，相对于HDFS存储，使用更加灵活。说明 建议您使用EMR-3.36.0及后续版本的集群。JindoFS配置 以EMR-3.36.0版本为例，创建...
- 产品推荐
- 这些文档可能帮助您