什么是EMR Notebook
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
Superset（仅对存量用户开放）
常见问题 问题现象：EMR-4.6和EMR-3.33之前版本的集群，使用admin用户第一次登录Superset的Web UI时，报错invalid login。解决方法：使用SSH方式登录到集群主节点，详情请参见 登录集群。重要 请使用root用户进行以下操作。执行以下命令，...
管理日志
日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已开通SLS服务，具体操作请参见 快速入门。使用限制 本文操作仅适用于数据湖（DataLake）...
产品优势
阿里云媒体处理功能丰富多样，不仅涵盖基础的转码功能，还包括视频剪辑、水印添加、截图制作以及内容审核等一系列增值服务，充分满足多元化的业务需求。同时，高度可定制化的特点让企业可以根据自身的业务场景灵活配置转码模板，打造个性化...
EMR-3.30.x版本说明
Flink 支持缓存模式写入OSS，结合Flink的Checkpoint与可重发的Source实现EXACTLY_ONCE语义。同步了Flink社区1.11.1功能，SQL支持多路输出（MULTI INSERT）。升级HAS依赖至2.0.1。Impala 支持自定义配置 catalogd.flgs、impalad.flgs 和 ...
内核发布记录
对JNI框架进行了优化，增强了对富文本内容的处理能力。新增了Frontend（FE）锁超时检测机制。对Delta Lake查询规划进行了性能优化。【问题修复】修复了Stop BE操作时可能导致的服务卡顿问题。修复了Delta Lake表查询过程中出现的异常问题。...
开源软件迁移
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
常见问题
本文汇总了DeltaLake使用时的常见问题。为什么建表失败？流式写入Delta时产生了很多的小文件怎么办？Optimize执行时间很长是什么原因？为什么Optimize失败了？应该如何处理？执行了Optimize，为什么还有很多小文件？执行了Vacuum，为什么...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
Ranger概述
进入访问链接与端口页签。登录 E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。在EMR on ECS页面，单击目标集群的集群名称。单击上方的 访问链接与端口 页签。在 访问链接与端口 页面，单击Ranger UI所在行的链接。在...
Impala概述
背景信息 Impala使用与Apache Hive相同的元数据、SQL语法（Hive SQL）和ODBC驱动程序等，为面向批处理或实时查询提供了一个熟悉且统一的平台。注意事项 如果使用Impala组件，请勿直接通过系统文件删除hive表分区目录，请使用Impala或者Hive...
查询管理与分析
EMR StarRocks Manager针对您提交的查询（Query）记录提供诊断与分析的能力。支持运行中大查询、慢查询及全部查询两种维度的查询记录展示。前提条件 已创建StarRocks实例，详情请参见 创建实例。功能介绍 运行中大查询：此功能模块着重展示...
JindoFS块存储模式
元数据操作效率高，能够与HDFS相当，能够有效规避OSS文件系统元数据操作耗时以及高频访问下可能引发不稳定的问题。能够最大限度保证执行作业时的数据本地化，减少网络传输的压力，进一步提升读取性能。配置集群 所有JindoFS相关配置都在...
概述
Apache Druid是一个分布式内存实时分析系统，用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...
EMR元数据迁移公告
数据湖元数据DLF是阿里云提供的统一元数据服务，具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与...
应用场景
适用场景 OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析 实时数仓 电商大促数据分析 教育行业的直播质量分析 物流行业的运单分析 金融行业...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的>enableLDAP。...
EMR数据开发停止更新公告
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...
EMR-5.5.x版本说明
Presto 升级Presto至社区358版本。默认增加MySQL、Iceberg、Hudi、Phoenix、Kudu和Delta连接器，并更新默认配置。支持数据湖分析。支持UDF动态加载功能。适配JindoSDK。Delta Lake 版本升级 升级至1.1.0版本，兼容Spark 3.2.0。所有商业版...
EMR旧版数据开发迁移公告
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...
SmartData 3.1.x版本简介
功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化 支持文件的checksum功能，对齐开源HDFS checksum相关接口，支持MD5MD5CRC和COMPOSITE_CRC两种算法...
登录集群
通过与集群主节点建立SSH连接，您可以使用终端上的Linux命令来管理和与集群进行交互操作。此外，您还可以使用SSH连接创建隧道，以便通过Web浏览器查看开源组件的Web页面。本文为您介绍如何在Windows和Linux环境中使用SSH方式（SSH密钥对或...
三方开源大语言模型
本文主要介绍阿里云百炼平台引入上架的三方开源大语言模型基本信息，计费情况等调用必备基础信息。基本信息 重要 三方开源大模型API调用需申请后开通体验，请点击“立即申请”，申请通过后才能调用。模型服务 模型名称 模型描述 特征 Llama...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
EMR数据开发（旧版）停止全面支持公告
2023年9月30日0点起，EMR数据开发（旧版）功能将停止全面支持，不再支持用户答疑、问题解决、SLA保障赔付等服务。2024年12月30日0点起，EMR数据开发（旧版）功能将按地域逐步下线。如果您还在使用数据开发（旧版）功能，请尽快将作业及工作...
开通EMR Doctor（Hadoop集群类型）
功能介绍 EMR Doctor是开源大数据集群的管家，提供了一站式的智能诊断和优化服务。通过EMR Doctor，您可以高效地运维大数据集群和服务，持续的优化集群的资源使用率，使集群处于健康稳定的状态，更好的为上层业务提供计算服务。EMR Doctor...
关于MSE Nacos新版本取消开源控制台登录页的公告
Nacos社区自2.2.2版本开始，如果没有开启社区默认鉴权，开源控制台的登录页将不再出现。MSE Nacos 2.2.3.0版本以后开启开源控制台，也会关闭此登录页。Nacos社区提供的开源控制台在2.2.2版本前，无论是否开启 鉴权 功能，开源控制台都会...
WATERMARK语句
WATERMARK语句在流式查询中用来处理数据乱序问题。本文介绍WATERMARK语法及相关的示例。语法 SELECT watermark(projectItem,durationSpec)as watermarkItem,projectItem[,projectItem]*FROM tableExpression WATERMARK主要是为了解决数据流...
版本特性
开源核心版本：Nacos引擎的开源版本，会随着开源版本一起更新。MSE优化版本：MSE基于开源核心版本进行优化后，提供的能力更强并且可以实现快速迭代的版本。版本类型 开源核心版本 MSE优化版本 描述 专业版/开发版 2.2.3 2.2.3.1 默认关闭...
支持倚天云服务器
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
查看服务和组件健康状态
异常 服务组件不可用，服务组件健康检查项检测出严重问题，请及时处理。无状态 无进程组件无健康状态，有进程组件在安装流程或手动停止后不进行健康检查，无需关注。未知 有进程组件无法获取服务组件健康检查项结果。如排查业务无问题，...
查看节点健康状态
存在隐患 节点运行正常，但节点健康检查项检测出隐患问题，需关注处理。异常 节点不可用，节点健康检查项检测出严重问题，请及时处理。无状态 节点在安装流程或手动停止后不进行健康检查，无需关注。未知 无法获取节点健康检查项结果。如...
管理用户
EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...
如何排查EMR Kafka服务异常
EMR Kafka集群管控页面显示Kafka相关组件异常，无法通过重启等方式恢复时，需要排查异常原因。本文介绍如何排查EMR Kafka服务异常和常见的异常处理方法。...常见服务异常的处理方法 常见服务异常的处理方法，详情请参见 Kafka常见问题。
开启Nacos开源控制台
Nacos引擎提供一个默认的控制台操作页面，即 开源控制台。由于此控制台安全能力较弱，MSE Nacos从 2.2.3.1 版本开始，将 默认关闭 开源控制台。本文介绍如何重新开启开源控制台的使用。前提条件 已 开通MSE。已创建Nacos引擎。具体操作，请...
管理用户及数据授权
通过用户管理功能，您可以对数据库进行用户权限控制，这样可以确保只有授权的用户能够管理相关的数据库。...相关文档 如需查看当前实例的SQL查询信息，分析SQL的执行计划，及时诊断和排查SQL问题，详情请参见 诊断与分析。
EMR-3.40.x版本说明
DeltaLake 修复了与Streaming SQL的兼容性问题。Hudi 升级至0.10.1版本。Iceberg 升级至0.13.1版本。YARN 增加了限制AM只运行在CORE组节点的功能配置。修复了 mareduce.map.java.opts 配置缺少taihaodoctor的问题。Zookeeper 优化了JVM的...
Impala Web UI
访问Impala Web UI 您可以通过SSH隧道和控制台两种方式访问Impala Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。说明 使用Knox访问UI的前提条件是，Master节点必须具备公网IP地址，并且只允许对Catalogd和...
HMaster服务异常提示Cannot seek after EOF
对应社区的Issue：WAL replay should ignore 0-length files。影响范围 受影响的HBase版本为2.3.4，对应的EMR集群版本：EMR-5.6.0之前版本 EMR-4.8.0至EMR-4.10.0版本（均包含）解决方法 说明 替换前请备份好JAR文件。下载 hbase-server-2....
Hive服务异常排查及处理
问题原因2：可能是客户端与HiveMetastore之间网络不通，常见于自建ECS客户端场景。解决方案：先查看两台机器能否连通，如果不能则需要解决机器网络互通的问题。HiveServer2问题 常见异常一：HiveServer2突然重启，一段时间内恢复正常 问题...
- 产品推荐
- 这些文档可能帮助您