产品优势
提高开源组织版本管理效率，快速支持业务创新 更多开源软件支持 更高软件版本支持 覆盖从边缘到AI全场景 企业级的服务支持，降低运维成本，缩短故障处理时间 来自阿里云和Cloudera的7*24小时大数据专家服务支持 快速定位使用中遇到的问题，...
SmartData 3.1.x版本简介
功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化 支持文件的checksum功能，对齐开源HDFS checksum相关接口，支持MD5MD5CRC和COMPOSITE_CRC两种算法...
扩容集群
EMR Serverless StarRocks不仅无缝兼容开源StarRocks，并且具备自动升级软件版本的功能，可省去手动管理版本的繁琐与风险。迁移方案详情，请参见 迁移StarRocks数据至EMR Serverless StarRocks。操作步骤 重要 集群扩容操作不会重启存量...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
概述
JindoSDK：为EMR各种开源计算引擎提供统一的SDK，支持Java、C、C++和Python语言，提供多种访问和API接口，包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种...
模型广场介绍
在这里您可以根据业务所需挑选通义系列大模型、行业大模型或领域大模型、第三方大模型等接入到企业解决方案中。重要 模型广场介绍列表 通义系列模型介绍请访问 通义千问 通义开源系列模型介绍请访问 通义千问开源系列 通义万相模型介绍请...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
什么是EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
OSS/OSS-HDFS概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...
什么是EMR Serverless Spark
它为企业提供了一站式的数据平台服务，包括任务开发、调试、调度和运维等，极大地简化了数据处理的全生命周期工作流程。使用EMR Serverless Spark，企业可以更专注于数据分析和价值提炼，提高工作效率。产品特性 构建企业级全托管的数据...
应用场景
EMR Serverless Spark可以满足企业级用户的多种数据处理与分析需求。本文介绍EMR Serverless Spark的应用场景以及相应的解决方案。建立数据平台 得益于其开放式架构设计，EMR Serverless Spark极大地简化并提升了在数据湖环境中对结构化和...
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
开源对比
云消息队列 RabbitMQ 版 是一款基于高可用分布式存储架构实现的AMQP 0-9-1协议的消息产品，能够兼容开源RabbitMQ客户端，与开源RabbitMQ相比，能够解决各种稳定性痛点（例如消息堆积、脑裂等问题），同时具备高并发、分布式、灵活扩缩容等...
什么是图计算服务
源于开源，胜于开源 支持开源Gremlin语法，重点算子性能优化，让计算效率更高。海量数据，灵活扩展 分布式集群架构可弹性运维，分钟级快速扩展服务和数据存储能力。大数据生态，深度对接 对接完整的阿里云大数据及AI产品生态，提供基于...
ClickHouse概述
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
Presto概述
本文介绍Presto的基本特性、系统组成和优势等信息。注意事项 EMR-3.45.0和EMR-5.11.0版本开始支持Presto，其版本号通常为0.2XX。此前各版本中的组件版本号为3XX的Presto，其内核均为PrestoSQL或Trino，相关信息请参见 Trino概述。基本特性 ...
添加开源Elastic Search数据源
通过开源Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件 已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源 登录 ...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
添加开源Elastic Search数据源
通过开源Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件 已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源 登录 ...
基本概念
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
EMR Hive功能增强
本文为您介绍E-MapReduce（简称EMR）各版本对应的Hive组件版本，以及各版本中Hive相对开源增强的功能。Hive针对开源功能增强的功能如下表。EMR版本 组件版本 功能增强 EMR-5.2.1 Hive 3.1.2 修复使用DLF元数据执行 show create table 命令...
应用场景
StarRocks可以满足企业级用户的多种分析需求。本文介绍StarRocks的应用场景及其解决方案。适用场景 OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统...
Kafka Manager
说明 当选择了Kafka服务，系统将默认安装Kafka Manager软件服务，并开启Kafka Manager的认证功能。注意事项 使用Kafka Manager进行partition reassign功能时，当前版本的Kafka Manager是没有提供限流功能的。如果需要限流，您可以通过 ...
Catalog概述
说明 本文图片和部分内容来源于开源StarRocks的 概述。Internal Catalog：内部数据目录，用于管理StarRocks所有内部数据。例如，执行 CREATE DATABASE 和 CREATE TABLE 语句创建的数据库和数据表都由Internal Catalog管理。每个StarRocks...
管理用户
EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...
快速使用EMR Notebook
EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务，同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。本文以Hive查询为例，为您介绍如何使用EMR Notebook。前提条件 已完成系统角色...
大语言模型
模型简介 Qwen1.5 Qwen1.5是Qwen开源系列的下一个版本。与之前的版本相比，Qwen1.5显著提升了聊天模型与人类偏好的一致性，改善了它们的多语言能力，并具备了强大的链接外部系统能力。灵积上提供API服务的是新版本qwen模型的chat版本，在...
创建数据开发项目
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CreateFlowProject 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：CreateFlowProject。Description String 是 这是一个项目描述 项目...
创建工作空间
开通DLF后，系统会为您选择默认的DLF数据目录，默认为UID。如果针对不同集群您期望使用不同的数据目录，则可以按照以下方式新建目录。单击 创建数据目录，在弹出的对话框中输入 目录ID，选择 目录路径，然后单击 确定。详情请参见 数据目录...
快速使用EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。本文以...
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
登录集群
此外，您还可以使用SSH连接创建隧道，以便通过Web浏览器查看开源组件的Web页面。本文为您介绍如何在Windows和Linux环境中使用SSH方式（SSH密钥对或SSH密码方式）登录集群。前提条件 已在EMR on ECS创建集群，详情请参见 创建集群。确保本地...
HDFS Web UI介绍
访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI，具体操作请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。NameNode服务地址 版本 访问地址 说明 hadoop 3.x http://${namenode_hostname}:9870${...
EMR-3.24.x版本说明
支持其他开源已有特性。Grafana 新增组件（Flink独立集群），版本6.4.2。Prometheus 新增组件（Flink独立集群），版本2.13.0。AlertManager 新增组件（Flink独立集群），版本0.19.0。TensorFlow on spark 支持TensorFlow框架置于Spark之上...
和开源产品对比
有开源产品同样可以实现分布式任务调度，本文介绍SchedulerX和开源产品的对比，帮助您更好的了解分布式任务调度和SchedulerX。产品名称 定时调度 工作流 分布式任务 白屏化任务治理 任务类型 报警监控 使用成本 Quartz Cron 不支持 不支持 ...
通过客户端方式连接StarRocks实例
使用开源MySQL客户端连接StarRocks 步骤一：下载MySQL客户端并安装数据库 下载 MySQL客户端。执行以下命令，解压缩安装包。tar-zxvf mysql-5.6.40-linux-glibc2.12-i686.tar.gz 执行以下命令，复制解压后的mysql目录到系统的本地软件目录。...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
迁移方案
由于E-MapReduce集群是在VPC网络中，而很多用户的业务系统还存在于经典网络中，为了解决此问题，阿里云推出了ClassicLink方案，您可以参见此方案进行网络互访，详情请参见 建立ClassicLink连接。VPC网络之间连通：选择新旧集群处在同一个...
- 产品推荐
- 这些文档可能帮助您