概述
JindoSDK：为EMR各种开源计算引擎提供统一的SDK，支持Java、C、C++和Python语言，提供多种访问和API接口，包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种...
JindoFS实战演示
但是在云上访问云下HDFS数据时可能存在网络延时、带宽限制、作业突发流量导致核心集群磁盘或网络被打满等问题，为解决这些问题，必须引入HDFS缓存加速。本视频为您介绍如何在Hadoop集群上部署缓存服务，以及如何通过JindoFS SDK快速访问...
EMR Hive功能增强
本文为您介绍E-MapReduce（简称EMR）各版本对应的Hive组件版本，以及各版本中Hive相对开源增强的功能。Hive针对开源功能增强的功能如下表。EMR版本 组件版本 功能增强 EMR-5.2.1 Hive 3.1.2 修复使用DLF元数据执行 show create table 命令...
SNAPSHOT指标
5分钟 TOP_MEM_KEY 主机内存使用最高的TOP 20。IOTOP_KEY 主机IO使用最高的TOP 20。MEMORY_USAGE_KEY 主机内存剩余（MB）。DISK_SPACE_USAGE_KEY 主机磁盘占用概览。UPTIME_KEY 主机开机时间。NETSTAT_KEY 主机网络情况。IOSTAT_KEY 主机IO...
CPU拓扑感知调度
ACK基于新版的Scheduling framework实现CPU拓扑感知调度，针对CPU敏感型的工作负载提供更好的性能。本文介绍如何使用CPU拓扑感知调度。前提条件 您已创建ACK Pro版集群。具体步骤，请参见 创建ACK Pro版集群。重要 目前CPU拓扑感知调度仅...
EMR on ACK商业化公告
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。收费标准 阿里云EMR on ACK正式商业化后，将根据集群...
监控大屏使用说明
本文将会按标签顺序依次介绍监控大屏的页面布局和操作使用方法。①-监控大屏应用列表 从下拉列表中选择需要在...⑯-资源图标指标数据展示 在拓扑图的资源图标上可以看到关键的性能指标数据（默认展示产品指标列表中排序在前5位的监控信息）。
JindoFS块存储模式
能够最大限度保证执行作业时的数据本地化，减少网络传输的压力，进一步提升读取性能。配置集群 所有JindoFS相关配置都在Bigboot组件中，配置如下图所示。图 1.修改配置项 图 2.新增配置项 说明 红框中为必填的配置项。JindoFS支持多命名...
公共参数
SignatureNonce String 是 唯一随机数，用于防止网络重放攻击。用户在不同请求间要使用不同的随机数值。Format String 否 返回参数的类型。取值范围：xml json 默认值：xml。请求示例 ...
EMR Serverless StarRocks商业化发布
EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过EMR Serverless StarRocks灵活的创建和管理StarRocks实例以及数据。StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致...
RemoveThingTopo
调用该接口移除指定网关与子设备的拓扑关系，或指定子设备与其关联网关的拓扑关系。使用说明 如果传入的设备信息是网关设备，则移除该网关与其下所有子设备的拓扑关系。如果传入的设备信息是子设备，则移除该子设备与其关联网关的拓扑关系...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的>enableLDAP。...
EMR Workflow商业化公告
EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行...
管理LDAP认证
前提条件 已创建EMR-3.44.0及后续版本或EMR-5.10.0及后续版本，且选择了Impala和OpenLDAP服务的集群，详情请参见 创建集群。操作步骤 进入集群服务页面。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击目标...
子设备上线
如果网关与子设备间已存在拓扑关系，则忽略第5步。（可选）网关向物联网平台上报子设备的ProductKey和DeviceName，动态注册子设备。此步骤仅适用于网关未获取到子设备的DeviceSecret，且您已在控制台开启了子设备的动态注册功能的场景。...
性能测试
本文介绍Ganos时空服务与开源GeoMesa（HBase）、云数据库MongoDB分片集群在处理时空轨迹数据时的性能测试对比。测试环境 本次性能测试中需要准备以下测试数据库，具体配置如下表：数据库 配置说明 云原生多模数据库 Lindorm Ganos引擎（即...
连接Impala
impala-shell-i节点名称>本文中的节点名称>，您可以在EMR控制台Impala服务的 状态 页签，Impalad 拓扑列表中的节点名称列查看。例如，下图查看到的节点名称是core-1-1和core-1-2节点，连接Impala时选择其中任意一个节点名称即可。可选：...
Kerberos概述
从EMR-3.43.0和EMR-5.9.0版本开始，E-MapReduce支持创建高安全类型的集群。在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息 集群开启...
EMR-3.24.x版本说明
Hive2.3.5+Hadoop2.8.5组合发布。重启组件时不同步 hiveserver2-site.xml 中的内容至spark-conf下的 hive-site.xml。支持使用MSCK命令添加增量目录。修复Hive复用tez container时出现的bug。支持使用MSCK命令优化列目录。Bigboot 升级至2.2...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
EMR对接外部KDC
EMR-3.43.1及后续版本，EMR-5.9.1及后续版本的E-MapReduce（简称EMR）集群支持在创建集群时对接您外部自建的KDC（Key Distribution Center）。这意味着当您在EMR集群中使用Kerberos身份验证时，您可以选择使用由集群创建的KDC，也可以选择...
生命周期策略
待定 5.6.x 2022-04-21 待定 待定 5.8.x 2022-08-05 待定 待定 5.9.x 2022-10-04 待定 待定 5.10.x 2022-12-01 待定 待定 5.11.x 2023-02-28 待定 待定 5.12.x 2023-06-01 待定 待定 相关服务与通知 基于以上生命周期策略规则，我们将会：...
EMR-5.2.x版本说明
EMR-5.x系列的第一个稳定版本。本文介绍EMR-5.2.x版本的发布日期、更新内容和发行版本信息。发布日期 EMR-5.2.1 2021年7月16日 更新内容 服务 变更点 SmartData 升级SmartData至3.6.1版本。版本详情，请参见 SmartData 3.6.x版本简介。Hive...
管理拓扑关系
签名计算示例：sign=hmac_md5(deviceSecret,clientId123deviceNametestproductKey123timestamp1524448722000)signmethod String 签名方法，支持hmacSha1、hmacSha256、hmacMd5、Sha256。timestamp String 时间戳（单位：毫秒）。clientId ...
SmartData 3.1.x版本简介
功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化 支持文件的checksum功能，对齐开源HDFS checksum相关接口，支持MD5MD5CRC和COMPOSITE_CRC两种算法...
QueryAppTopology-查询拓扑图
5XX：服务器错误。200 Message string 调用失败时返回的信息。Internal error.Please try again.Contact the DingTalk service account if the issue persists after multiple retries.Data any 返回信息。Data":{"nodes":[{"data":{...
快速使用EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。本文以...
访问HBase
org/slf4j/impl/StaticLoggerBinder.class]SLF4J:Found binding in[jar:file:/opt/apps/ecm/service/hadoop/2.8.5-1.5.3/package/hadoop-2.8.5-1.5.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!org/slf4j/impl/StaticLoggerBinder...
创建EMR Studio集群
网络类型 默认专有网络。VPC 选择在该地域的VPC。如果没有可用的VPC，单击 创建VPC/子网（交换机）前往新建。重要 因为EMR Studio集群仅支持关联同一个VPC内的EMR计算集群，所以创建EMR Studio集群时需要选择与EMR计算集群相同的VPC。交换...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 TrinoMaster 操作列的>enableLDAP。在弹出...
Spark对接HBase
Spark访问HBase示例 重要 计算集群需要和HBase集群处于一个安全组内，否则网络无法打通。在E-Mapreduce控制台创建计算集群时，请选择HBase集群所在的安全组。Java代码 JavaSparkContext jsc=new JavaSparkContext(sparkConf);try { List[]>...
GetClusterCloneMeta
NetworkType string 网络类型。VPC MetaStoreType string 元数据类型。USER_RDS EmrDefaultRole string EMR 服务角色。AliyunEMRDefaultRole Applications array 集群应用。Application ApplicationConfigs array 创建集群时的服务配置项。...
基础使用
Hudi版本 EMR版本 0.6.0 EMR 3.32.0~EMR 3.35.0 EMR 4.5.0~EMR 4.9.0 EMR 5.1.0 0.8.0 EMR 3.36.1~EMR 3.37.1 EMR 5.2.1~EMR 5.3.1 0.9.0 EMR 3.38.0~EMR 3.38.3 EMR 5.4.0~EMR 5.4.3 0.10.0 EMR 3.39.1~EMR 3.40.0 EMR 4.10.0 EMR 5.5.0~...
Spark访问EMR HBase数据
Spark访问HBase示例 重要 计算集群需要和HBase集群处于一个安全组内，否则网络无法打通。在E-Mapreduce控制台创建计算集群时，请选择HBase集群所在的安全组。Java代码 JavaSparkContext jsc=new JavaSparkContext(sparkConf);try { List[]>...
新功能发布记录
2022年11月 功能名称 功能概述 发布时间 相关文档 版本升级 EMR-5.x系列：升级至EMR-5.9.1 EMR-3.x系列：升级至EMR-3.43.1 2022-11-08 EMR-5.9.x版本说明 EMR-3.43.x版本说明 管理日志 支持在EMR控制台直接查询开源组件的日志。2022-11-29 ...
使用StarRocks Console
说明 仅EMR-3.43.0~EMR-3.44.1版本（均包含），EMR-5.9.0~EMR-5.10.1版本（均包含）的集群支持该功能，如果您要使用StarRocks Manager的功能，可以使用EMR Serverless StarRocks，详情请参见 什么是EMR Serverless StarRocks。访问查询页面...
Hive元数据说明
数据湖构建具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持元数据多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与阿里云其他计算产品（例如...
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
产品优势
阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
- 产品推荐
- 这些文档可能帮助您