产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
配置自建RDS
DataLake和Custom集群在创建过程中会自动根据所提供的数据库连接参数初始化Hive Meta数据库，因此无需执行该步骤。步骤一：元数据库准备 创建数据库。具体操作，请参见 创建数据库 中的创建数据库。创建普通用户并授权读写权限。具体操作，...
产品简介
EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR提供了on ECS、on ACK和Serverless形态，以满足不同用户的需求。形态 描述 EMR on ECS EMR负责将开源Hadoop生态的组件安装...
什么是EMR Serverless Milvus
阿里云向量检索Milvus版是一款Serverless全托管服务，确保了与开源Milvus的完全兼容性，并支持无缝迁移。它在开源版本的基础上增强了可扩展性，能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控...
在EMR上使用Sqoop与数据库同步数据时的网络配置
如果您的E-MapReduce（EMR）集群需要和集群之外的数据库同步数据，确保网络是联通的。本文以RDS、ECS自建和云下私有数据库三种情况为例，分别介绍如何配置网络。云数据库RDS Sqoop是用map任务同步数据，可以在任意节点上运行，而Sqoop任务...
通过Quick BI连接StarRocks实例
添加StarRocks数据源用于连通StarRocks数据库与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。本文为您介绍如何通过Quick BI连接StarRocks实例。背景信息 Quick BI是由阿里云提供的一款全场景数据消费式的BI平台，无缝...
通过DMS连接StarRocks实例
背景信息 DMS是由阿里云提供的数据库管理Web终端，为您管理Windows系统和Linux系统下的数据库。您只需在数据管理控制台上录入StarRocks实例信息，即可使用数据管理功能，例如新建数据库、新建表等。更多信息，请参见 什么是数据管理DMS。...
管理数据库
本文为您介绍如何新建、编辑或删除数据库。前提条件 已创建工作空间，详情请参见 管理工作空间。已创建EMR on ECS形态下的集群或Serverless StarRocks实例，详情请参见 创建集群 或 创建实例。支持的集群类型为DataLake、Hadoop和自定义...
管理网络配置
参数 说明 专有网络 选择用于工作空间机器与待绑定的EMR集群、待添加数据库连通专有网络，需与后续添加使用的EMR集群、数据库专有网络保持一致。交换机 选择用于工作空间机器与待绑定的EMR集群、待添加数据库连通的交换机，仅支持选择特定...
Sqoop概述
Sqoop是一款Apache社区的开源软件，支持在Hadoop生态软件和结构化数据集（例如数据库）之间进行高效的批量数据传输。背景信息 常见数据传输场景如下：将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将...
快速使用EMR StarRocks Manager
操作流程 步骤一：进入StarRocks Manager页面 步骤二：新建连接 步骤三：查看数据库或数据表 步骤四：诊断与分析 步骤五：新增用户 步骤一：进入StarRocks Manager页面 您可以通过以下方式进入StarRocks Manager页面。登录EMR Serverless...
DBeaver
背景信息 DBeaver是一款免费、开源（GPL）的专门为开发人员和数据库管理员提供的通用数据库工具。DBeaver支持MySQL、PostgreSQL、Oracle、DB2、MSSQL、Sybase以及其他兼容JDBC的数据库。您可以通过DBeaver的图形界面查看数据库结构、执行...
使用限制
实例名、数据库名、表名、逻辑视图名、列名、分区名、用户名、角色名：只能由数字(0-9)、字母(a-z或A-Z)，以及下划线(_)组成。用户名(username)可以使用纯数字命名。名称长度不能超过64个字符。列名不能超过1023个字符。列名、数据库名、表...
产品优势
开源增强 100%兼容主流微服务开源项目，无缝对接K8s，支持主流开源框架Spring Cloud、Dubbo以及多语言应用。可视化 提供可视化的数据监控界面，实现服务的可见、可管、可控。低成本 节省用户自建网关、注册配置中心、微服务治理体系的人力...
DTS_BINLOG_PARSER
DTS_BINLOG_PARSER用于SELECT语句中，表示对数据传输服务（Data Transmission Service，简称DTS）传输的数据库binlog数据进行解析。背景信息 注意 当前只支持解析DTS同步的RDS binlog数据。DTS_BINLOG_PARSER解析结果是一个STRUCT类型，...
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
使用StarRocks Console
数据库功能 在数据库功能页中，会按数据库展示该数据库下的表详情和任务详情。表 展示当前数据库下的所有表（包括物化视图）单击对应的名称，可以逐层查看相关的表信息、分区信息、节点分片情况、分片信息。任务 展示当前数据库下的所有...
产品优势
阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本...
Workflow商业化发布
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...
Lindorm for Cassandra应用实践
本文介绍如何通过 云原生多模数据库 Lindorm 扩展云数据库Cassandra的性能。云原生多模数据库 Lindorm 简介 云原生多模数据库 Lindorm 是一款适用于任何规模、多种模型的云原生数据库服务，支持海量数据的低成本存储处理和弹性按需付费，...
管理工作空间
工作空间是EMR Notebook管理数据库、外部集群和笔记本的基本单元。通过工作空间，您可以创建和编辑Notebook文件，方便地上传和下载文件，与其他用户共享Notebook和数据，并灵活地管理访问权限。前提条件 已完成系统角色授权，详情请参见 ...
快速使用EMR Notebook
EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务，同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。本文以Hive查询为例，为您介绍如何使用EMR Notebook。前提条件 已完成系统角色...
HBase版本选择
云数据库HBase标准版 HBase标准版使用的是社区的开源HBase分支，并在此基础上定制部分能力，同时优化了稳定性和运维能力。这些能力主要来源包括：内部分支（增强版）的优化。开源新版本中的patch。测试及生产中发现的bug修复、体验优化。...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
TSDB开源生态概述
时间序列数据库TSDB以其强大的功能和兼容性，对于当前的一些开源解决方案实现了较好的适配。以下是TSDB与一些开源组件或开源项目对接的方法。Grafana如何对接TSDB Quick BI如何接入TSDB
通过Quick BI连接StarRocks实例
适用客户 全网用户 新增功能/规格 添加StarRocks数据源用于连通StarRocks数据库与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。本文为您介绍如何通过Quick BI连接StarRocks实例。产品文档 通过Quick BI连接StarRocks...
Presto概述
Schema：相当于一个数据库实例，一个Schema包含多张数据表。Table：数据表，与一般意义上的数据库表相同。Connector Presto通过内置的各种Connector来接入多种外部数据源。Presto提供了一套标准的 SPI 接口，您可以使用这套接口开发自己的...
什么是EMR on ECS
EMR on ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合，使得您可以更加灵活地配置和管理EMR集群，从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS，您可以快速创建、管理和运维EMR集群，同时也能够更加高效地使用计算和...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
使用DLF元数据
通过SHOW DATABASES查看指定Catalog下的数据库。SHOW DATABASES FROM hive_catalog;指定当前会话生效的数据库。USE hive_catalog.default;通过SELECT查询目标表。SELECT*FROM;相关文档 如果使用Hive MetaStore，请参见 Hive数据源、Iceberg...
Delta Lake概述
Delta数据湖方案如下：在大数据存储层之上提供了数据管理层，该数据管理层等同于数据库中的元数据管理，其元数据随着数据一起存放并对用户可见（例如 图 1 所示）。Delta基于元数据管理引入了ACID，解决了因数据导入失败而产生脏数据和数据...
DLF统一元数据
仅EMR-3.30.0及之后版本和EMR-4.5.0及之后版本，支持选择DLF统一元数据作为Hive数据库。切换元数据存储类型 您可以通过修改Hive参数的方式，切换Hive MetaStore的存储方式。说明 如果需要迁移数据库的元数据信息，请参见 EMR元数据迁移公告...
SQL Editor
SQL Editor 界面总览 区域 描述 ① 查看Catalog及其下的数据库和表，并且通过下拉列表可以切换不同Catalog。② 单击 图标，创建SQL查询。首次进入SQL Editor，也可以单击 图标。③ 单击 运行，运行整个SQL脚本或批处理，即执行SQL编辑器...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
管理笔记本
SQL 当程序代码为SQL时，需要提前配置数据库，并在SQL单元格中，选择合适的目标数据库。配置数据库的具体操作，请参见 管理数据库。PySpark 当程序代码为PySpark时，需要提前添加外部集群，详情请参见 管理外部集群。如果您绑定的集群，...
数据源中心
数据库名 是 输入连接HIVE/IMPALA的数据库名称。j dbc连接参数 否 用于数据源连接的参数设置。格式为 {"key1":"value1","key2":"value2".}。测试连通性 否 添加数据源时支持使用调度资源组测试连通性。说明 如果工作流中使用了该数据源，...
数据同步概述
对于数据库类数据：Hologres与DataWorks数据集成（DataX和StreamX）深度集成，支持通过 Hologres Writer 和 Hologres Reader，实现方便高效地将多种数据库数据离线、实时、整库同步至Hologres中，满足各类企业数据同步迁移的需求。...
授权信息
本文为您介绍 开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...
Hive元数据基本操作
删除库 重要 删除数据库之前，必须删除数据库下所有的表。进入元数据管理页面。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 元数据管理 页签。在 表管理 页面的中间区域，单击已创建的...
- 产品推荐
- 这些文档可能帮助您