安装HBase Java SDK
使用开源HBase客户端连接并使用Lindorm宽表引擎需要注意以下问题：开源HBase客户端不支持通过公网访问Lindorm宽表引擎。当前不支持通过开源HBase客户端访问多可用区实例。由于存在协议转换，使用开源HBase客户端直接访问Lindorm宽表引擎...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
E-MapReduce支持倚天云服务器
阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助您降低成本并提高效率。本文为您介绍倚天云服务器的特性、优势，以及在E-Mapreduce上倚天云服务器的...
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
产品优势
适配开源组件，避免开源组件之间的版本兼容性问题。基于开源组件，优化和增强阿里云部署环境，性能远高于开源版本。节约成本 通过有效弹性伸缩和数据分层存储机制，相较于传统HDFS固定集群方式，可以节省高达50%以上的费用。支持创建抢占式...
创建EMR Studio集群
说明 如果创建集群时，未开启挂载公网，您可以参见 弹性公网IP 中申请EIP的内容处理，或 技术支持 处理。密钥对 关于密钥对的使用详情，请参见 SSH密钥对。密码 设置Master节点的登录密码，密码规则：8~30个字符，且必须同时包含大写字母、...
开源RabbitMQ迁移上云
在使用开源RabbitMQ集群时，当您希望能够解决各种稳定性痛点（例如消息堆积、脑裂等问题）、实现高并发、分布式、灵活扩缩容时，您可以将开源RabbitMQ集群迁移至 云消息队列 RabbitMQ 版，本文介绍迁移上云的前提条件、操作步骤、注意事项...
扩容集群
EMR Serverless StarRocks不仅无缝兼容开源StarRocks，并且具备自动升级软件版本的功能，可省去手动管理版本的繁琐与风险。迁移方案详情，请参见 迁移StarRocks数据至EMR Serverless StarRocks。操作步骤 重要 集群扩容操作不会重启存量...
ClickHouse概述
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
Presto概述
产品优势 E-MapReduce（简称EMR）中的Presto与开源Presto比较，还具备如下优势：即买即用，快速完成上百节点的Presto集群搭建。弹性扩缩容，简单快速。与EMR软件栈完美结合，支持DLF和OSS或OSS-HDFS。无需运维，EMR提供一站式服务。基本...
Knox
cd/opt/apps/KNOX/knox-current/templates sh ldap-sample-users.sh 访问Web UI 访问Web UI的详情，请参见 访问链接与端口。常见问题 Q：Knox组件异常停止，启动Knox的时候报错 Failed to start gateway:org.apache.hadoop.gateway....
新功能发布记录
2023-03-03 Flink Table Store概述 Flink Table Store与Flink集成 Flink Table Store与Spark集成 Flink Table Store与Hive集成 Flink Table Store与Trino集成 支持导出和导入服务配置 阿里云E-MapReduce（简称EMR）提供的导出服务配置功能...
EMR-5.2.x版本说明
优化CBO（Cost-Based Optimization）、DPP（DynamicPartitionPruning）以及Z-Order等功能，性能比开源Spark 3版本提升50%。支持阿里云Log Service、DataHub和消息队列RocketMQ版（简称ONS）等数据源。Tez 优化Tez默认参数，以提升作业性能...
什么是EMR Notebook
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
Superset（仅对存量用户开放）
常见问题 问题现象：EMR-4.6和EMR-3.33之前版本的集群，使用admin用户第一次登录Superset的Web UI时，报错invalid login。解决方法：使用SSH方式登录到集群主节点，详情请参见 登录集群。重要 请使用root用户进行以下操作。执行以下命令，...
什么是EMR Serverless Spark
EMR Serverless Spark是一款云原生，专为大规模数据处理和分析而设计的全托管Serverless产品。它为企业提供了一站式的数据平台服务，包括任务开发、调试、调度和运维等，极大地简化了数据处理的全生命周期工作流程。使用EMR Serverless ...
三方开源大语言模型
本文主要介绍阿里云百炼平台引入上架的三方开源大语言模型基本信息，计费情况等调用必备基础信息。基本信息 重要 三方开源大模型API调用需申请后开通体验，请点击“立即申请”，申请通过后才能调用。模型服务 模型名称 模型描述 特征 Llama...
概述
MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 MaxCompute Spark支持...
管理日志
日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已开通SLS服务，具体操作请参见 快速入门。使用限制 本文操作仅适用于数据湖（DataLake）...
产品优势
阿里云媒体处理功能丰富多样，不仅涵盖基础的转码功能，还包括视频剪辑、水印添加、截图制作以及内容审核等一系列增值服务，充分满足多元化的业务需求。同时，高度可定制化的特点让企业可以根据自身的业务场景灵活配置转码模板，打造个性化...
创建工作空间
参数 说明 示例 地域 建议选择与您数据所在地相同的地域。华东1（杭州）付费类型 目前仅支持 按量付费。按量付费 工作空间名称 以字母开头，仅支持英文字母、数字和短划线（-），长度限制为1~60个字符。说明 同一个阿里云账号下的工作空间...
创建集群
这是一个预设的、用于定期或在特定条件下清理不再使用的PVC资源的Job任务，旨在优化存储资源管理，避免无效或冗余数据持久化导致的存储空间浪费问题。Presto：是基于内存的分布式SQL交互式查询引擎。支持多种数据源，适合PB级海量数据的...
常见问题
本文汇总了DeltaLake使用时的常见问题。为什么建表失败？流式写入Delta时产生了很多的小文件怎么办？Optimize执行时间很长是什么原因？为什么Optimize失败了？应该如何处理？执行了Optimize，为什么还有很多小文件？执行了Vacuum，为什么...
Ranger概述
进入访问链接与端口页签。登录 E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。在EMR on ECS页面，单击目标集群的集群名称。单击上方的 访问链接与端口 页签。在 访问链接与端口 页面，单击Ranger UI所在行的链接。在...
Impala概述
背景信息 Impala使用与Apache Hive相同的元数据、SQL语法（Hive SQL）和ODBC驱动程序等，为面向批处理或实时查询提供了一个熟悉且统一的平台。注意事项 如果使用Impala组件，请勿直接通过系统文件删除hive表分区目录，请使用Impala或者Hive...
查询管理与分析
EMR StarRocks Manager针对您提交的查询（Query）记录提供诊断与分析的能力。支持运行中大查询、慢查询及全部查询两种维度的查询记录展示。前提条件 已创建StarRocks实例，详情请参见 创建实例。功能介绍 运行中大查询：此功能模块着重展示...
JindoFS块存储模式
元数据操作效率高，能够与HDFS相当，能够有效规避OSS文件系统元数据操作耗时以及高频访问下可能引发不稳定的问题。能够最大限度保证执行作业时的数据本地化，减少网络传输的压力，进一步提升读取性能。配置集群 所有JindoFS相关配置都在...
概述
Apache Druid是一个分布式内存实时分析系统，用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...
EMR元数据迁移公告
数据湖元数据DLF是阿里云提供的统一元数据服务，具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与...
应用场景
适用场景 OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析 实时数仓 电商大促数据分析 教育行业的直播质量分析 物流行业的运单分析 金融行业...
大语言模型
模型简介 Qwen1.5 Qwen1.5是Qwen开源系列的下一个版本。与之前的版本相比，Qwen1.5显著提升了聊天模型与人类偏好的一致性，改善了它们的多语言能力，并具备了强大的链接外部系统能力。灵积上提供API服务的是新版本qwen模型的chat版本，在...
EMR数据开发停止更新公告
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...
EMR旧版数据开发迁移公告
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...
SmartData 3.1.x版本简介
功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化 支持文件的checksum功能，对齐开源HDFS checksum相关接口，支持MD5MD5CRC和COMPOSITE_CRC两种算法...
登录集群
通过与集群主节点建立SSH连接，您可以使用终端上的Linux命令来管理和与集群进行交互操作。此外，您还可以使用SSH连接创建隧道，以便通过Web浏览器查看开源组件的Web页面。本文为您介绍如何在Windows和Linux环境中使用SSH方式（SSH密钥对或...
免费体验Lindorm宽表性能&价格力
Lindorm宽表引擎支持千万级高并发吞吐，支持百PB级存储，吞吐性能是开源HBase（Apache HBase）的3~7倍，P99时延为开源HBase（Apache HBase）的1/10，平均故障恢复时间相比开源HBase（Apache HBase）提升10倍，支持冷热分离，压缩率比开源...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
开通EMR Doctor（Hadoop集群类型）
功能介绍 EMR Doctor是开源大数据集群的管家，提供了一站式的智能诊断和优化服务。通过EMR Doctor，您可以高效地运维大数据集群和服务，持续的优化集群的资源使用率，使集群处于健康稳定的状态，更好的为上层业务提供计算服务。EMR Doctor...
- 产品推荐
- 这些文档可能帮助您