JindoTable使用说明
jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db]功能 展示指定数据库中的所有表。不指定[-db]时默认展示default库中的表。示例：展示default库中的表。jindo table-listTables 列出...
JindoTable使用说明
jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db]功能 展示指定数据库中的所有表。不指定[-db]时默认展示default库中的表。示例：展示default库中的表。jindo table-listTables 列出...
JindoTable使用说明
jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db]功能 展示指定数据库中的所有表。不指定[-db]时默认展示default库中的表。示例：展示default库中的表。jindo table-listTables 列出...
AI开源项目
阿里云开源的AI及大数据相关开源项目，如用于全自动分布式深度学习系统TePDist、NLP 开发和应用工具包EasyNLP等，您可以根据需要选择AI及大数据开源项目。PAI相关的开源项目信息请前往 阿里云大数据&AI开源项目。
Sqoop概述
Sqoop是一款Apache社区的开源软件，支持在Hadoop生态软件和结构化数据集（例如数据库）之间进行高效的批量数据传输。背景信息 常见数据传输场景如下：将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将...
DBeaver
背景信息 DBeaver是一款免费、开源（GPL）的专门为开发人员和数据库管理员提供的通用数据库工具。DBeaver支持MySQL、PostgreSQL、Oracle、DB2、MSSQL、Sybase以及其他兼容JDBC的数据库。您可以通过DBeaver的图形界面查看数据库结构、执行...
SmartData常见问题
JindoFS Block模式的元数据的更新支持异步备份至阿里云Tablestore数据库上，在确保生产集群停止更新，所有修改同步至Tablestore后，可以停掉JindoFS集群，此时，所有数据在OSS和Tablestore上。重建集群时，恢复OSS和Tablestore上数据至重建...
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
支持倚天云服务器
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
什么是EMR Serverless Milvus
企业级运维及易用性 云上全托管的向量数据库服务，不仅极大地缩减了集群维护成本，而且开箱即用，内置配置管理、安全管理等功能，并通过云原生架构实现高性能、可扩展性，支持按需节点化伸缩能力；同时，还提供了全面可视化的监控告警链路...
Lindorm for Cassandra应用实践
Lindorm 是一款适用于任何规模、多种模型的云原生数据库服务，支持海量数据的低成本存储处理和弹性按需付费，提供宽表、时序、搜索、文件等多种数据模型，兼容HBase、Cassandra、Phoenix、OpenTSDB、Solr、SQL等多种开源标准接口，...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
快速使用EMR Notebook
EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务，同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。本文以Hive查询为例，为您介绍如何使用EMR Notebook。前提条件 已完成系统角色...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明...
TSDB开源生态概述
时间序列数据库TSDB以其强大的功能和兼容性，对于当前的一些开源解决方案实现了较好的适配。以下是TSDB与一些开源组件或开源项目对接的方法。Grafana如何对接TSDB Quick BI如何接入TSDB
EMR Serverless StarRocks服务等级协议更新
《开源大数据平台E-MapReduce Serverless服务等级协议》已于2024年02月02日修订，并将于2024年03月01日生效。当前服务等级协议详情，请在 服务等级协议 中查看。变更生效时间 2024年03年01日 变更范围 EMR Serverless StarRocks（标准版）...
Workflow商业化发布
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
授权信息
操作 API 访问级别 资源类型 条件关键字 关联操作 暂无数据 资源（Resource）开源大数据平台 E-MapReduce（EMR）不支持在RAM权限策略语句的 Resource 中指定资源ARN。如果要允许对 开源大数据平台 E-MapReduce（EMR）的访问权限，请在策略...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
Delta Lake概述
Delta数据湖方案如下：在大数据存储层之上提供了数据管理层，该数据管理层等同于数据库中的元数据管理，其元数据随着数据一起存放并对用户可见（例如 图 1 所示）。Delta基于元数据管理引入了ACID，解决了因数据导入失败而产生脏数据和数据...
E-MapReduce Serverless服务等级协议（SLA）
2023年6月1日起，E-MapReduce Serverless服务等级协议（SLA）生效。详情请参见 开源大数据平台E-MapReduce Serverless服务等级协议。
Kafka兼容说明
例如数据库default中一个名为t1的流表，对应的Kafka Topic的名称为-LINSTREAM-default.t1。重要 如果Database或流表名称中含有下划线（_），则需要将下划线替换为短横线（-）。将流表中的数据写入Kafka Topic。具体操作，请参见 通过开源...
什么是云原生多模数据库Lindorm
本文介绍 云原生多模数据库 Lindorm 的产品概要。产品介绍 Lindorm是面向物联网、互联网、车联网等设计和优化的云原生多模超融合数据库，支持宽表、时序、文本、对象、流、空间等多种数据的统一访问和融合处理，并兼容SQL、HBase/Cassandra...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
功能特性
查询管理与分析 用户和权限管理 通过用户管理功能，您可以对数据库进行用户权限控制，这样可以确保只有授权的用户能够管理相关的数据库。管理用户及数据授权 元数据管理 元数据管理功能主要为您展示当前实例的所有数据库，数据表，分区及...
Iceberg数据源
通过Iceberg Catalog，您可以直接查询Iceberg中的数据。...查看 Iceberg 表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Iceberg更多介绍，请参见 Iceberg概述。
通过客户端方式连接StarRocks实例
使用开源MySQL客户端连接StarRocks 步骤一：下载MySQL客户端并安装数据库 下载 MySQL客户端。执行以下命令，解压缩安装包。tar-zxvf mysql-5.6.40-linux-glibc2.12-i686.tar.gz 执行以下命令，复制解压后的mysql目录到系统的本地软件目录。...
EMR Doctor概述
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...
配置连接器
连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...
引擎简介
云原生多模数据库 Lindorm 消息引擎是Lindorm面向IoT、车联网、日志等流式数据提供的数据接入服务，支持业务原始数据高吞吐写入，并基于流引擎的实时处理能力，业务只需做简单开发，即可快速实现数据的ETL并入库到Lindorm宽表引擎。...
查看账单
在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 开源大数据平台E-MapReduce，产品明细为 EMR StarRocks Serverless按量 或 EMR StarRocks Serverless包年包月。您还可以通过 统计项 和 统计周期 选择账单的展示内容。账单详细...
Paimon数据源
通过Paimon Catalog，您可以直接查询Paimon中的数据。本文为您介绍如何创建和查看...查看Paimon表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Paimon更多介绍，请参见 Paimon概述。
性能测试
Lindorm Ganos引擎在大部分查询中的耗时都比较低，耗时约为开源GeoMesa（HBase）的1/3，约为云数据库MongoDB分片集群的1/2，测试结果如下：时间和空间范围的查询耗时 在时间范围和空间范围查询场景中，Lindorm Ganos引擎的查询耗时都比较低...
概述
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
EMR Workflow商业化公告
EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行...
Paimon数据源
StarRocks从3.1版本开始支持Paimon Catalog。Paimon Catalog是一种External ...查看Paimon表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Paimon更多介绍，请参见 Paimon概述。
使用独立的Trino集群
dlf.catalog.id 数据库分类命名空间。需要绑定的DLF数据目录（Catalog），默认值是阿里云账号的账号ID。dlf.catalog.region DLF服务的地域名。详情请参见 已开通的地域和访问域名。说明 请和 dlf.catalog.endpoint 选择的地域保持一致。dlf...
配置连接器
连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...
- 产品推荐
- 这些文档可能帮助您