基于TairGIS实现同城购业务
本文介绍通过 云原生内存数据库Tair 的GIS结构，实现同城购业务。背景说明 随着同城购业务的兴起，品牌商家在其众多门店中判断出距离消费者最近门店的场景越来越流行。商家通常会对每一个门店设置可销售的范围，可能是以行政区划分，也可能...
ClickHouse概述
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
数据共享
返回信息如下时，表示当前使用的数据库为db02：current_database-db02(1 row)订阅Share，并设置Share的本地别名。IMPORT DATASHARE s01 AS s01a FROM DATABASE";为步骤3中查询到的目标库db01的UUID。在目标库db02中查询源库db01共享的数据...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
EMR元数据迁移公告
阿里云EMR团队发现部分用户在EMR集群上，仍然使用本地MySQL和统一meta数据库（旧版功能）作为生产环境的Hive元数据存储。我们强烈建议您尽快迁移到数据湖构建DLF中，原因如下：本地MySQL是单机部署，无法保证服务高可用，容易造成服务中断...
快速使用EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。本文以...
管理标量Indexes
与传统关系型数据库中的索引作用相似，Milvus中的标量字段索引旨在加速对非向量属性的查询筛选过程，提升数据检索效率。前提条件 已在本地客户端成功安装了PyMilvus库，并将其更新至当前最新版本。如果您尚未在本地客户端安装PyMilvus库，...
StarRocks概述
StarRocks介绍 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，致力于构建极速和统一分析体验。StarRocks兼容MySQL协议，可使用MySQL客户端和常用BI工具对接StarRocks来分析数据。StarRocks采用分布式架构：对...
在EMR集群运行TPC-DS Benchmark
重要 如果Hive数据库tpcds_bin_partitioned_orc_$SF已经存在，需要执行下面的命令清理数据库，否则后续流程会报错。如果不存在，则跳过该步骤。hive-e"drop database tpcds_bin_partitioned_orc_$SF cascade"配置Hive服务地址。tpcds-setup...
使用Hive查询JindoFS上的数据
例如，创建名为database_on_jindofs，location为 jfs:/emr-jfs/warehouse/database_on_jindofs 的Hive数据库。CREATE DATABASE database_on_jindofs LOCATION 'jfs:/emr-jfs/hive/warehouse/database_on_jindofs';修改Database的Location到...
EMR旧版数据开发迁移公告
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态。如果您还在使用旧版控制台的数据开发功能，请尽快迁移至EMR Worflow。本文为您介绍数据开发模块迁移至EMR Workflow的流程。EMR Workflow是一个全托管的...
EMR数据开发停止更新公告
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态，会影响创建项目、新建和运行作业、工作流、数据开发运维等功能。如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据...
创建工作空间
工作空间是Serverless Spark的基本单元，用于管理任务、成员、角色和权限。所有的任务开发都需要在具体的工作空间内进行。因此，在开始任务开发之前，您需要先创建工作空间。本文将为您介绍如何在EMR Serverless Spark页面快速创建工作空间...
DBeaver
背景信息 DBeaver是一款免费、开源（GPL）的专门为开发人员和数据库管理员提供的通用数据库工具。DBeaver支持MySQL、PostgreSQL、Oracle、DB2、MSSQL、Sybase以及其他兼容JDBC的数据库。您可以通过DBeaver的图形界面查看数据库结构、执行...
Hive元数据说明
从可用性、可靠性和性能等方面对比，自建RDS要优于内置MySQL，详情请参见 RDS与自建数据库对比优势。DLF统一元数据和自建RDS的区别 对比项 DLF统一元数据 自建RDS 易用性 EMR集群开箱即用（需提前开通DLF产品）。EMR集群开箱即用（需提前...
EMR Hive功能增强
本文为您介绍E-MapReduce（简称EMR）各版本对应的Hive组件版本，以及各版本中Hive相对开源增强的功能。...EMR-3.23.0之前版本 Hive 2.x 外部统一数据库保存至Hive Meta，所有使用外部Hive Meta的集群共享同一份Meta信息。
什么是EMR Notebook
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
访问链接与端口
通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce集群，详情请参见 创建集群。背景信息 ...
EMR元数据迁移到数据湖构建（DLF）
登录数据湖构建控制台，查看是否存在数据库dlf_test_db。登录 数据湖构建控制台。在左侧导航栏，选择 元数据>元数据管理。在 数据库名称 中输入dlf_test_db，单击回车。在EMR集群执行以下命令，删除创建的数据库。drop database dlf_test_...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
使用独立的Trino集群
dlf.catalog.id 数据库分类命名空间。需要绑定的DLF数据目录（Catalog），默认值是阿里云账号的账号ID。dlf.catalog.region DLF服务的地域名。详情请参见 已开通的地域和访问域名。说明 请和 dlf.catalog.endpoint 选择的地域保持一致。dlf...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
授权信息
访问控制（RAM）是阿里云提供的管理用户身份与资源访问权限的服务。使用RAM可以让您避免与其他用户共享阿里云账号密钥，并可按需为用户授予最小权限。RAM中使用权限策略描述授权的具体内容。本文为您介绍 开源大数据平台 E-MapReduce（EMR...
管理工作空间
参数 说明 地域 地域指数据中心所在的地理区域，建议选择与您数据所在地相同的地域，创建完成后不支持更改地域。名称 工作空间名称。描述 该工作空间的详细描述、用途、功能或其他相关信息。单击 创建工作空间。删除工作空间 警告 删除工作...
Catalog概述
例如，执行 CREATE DATABASE 和 CREATE TABLE 语句创建的数据库和数据表都由Internal Catalog管理。每个StarRocks实例有且只有一个Internal Catalog名为 default_catalog。External Catalog：外部数据目录，用于连接外部MetaStore。在...
JindoFS实战演示
AI训练加速 文档链接 视频链接 视频发布时间 描述 Fluid+JindoFS对OSS上的数据进行训练加速 Fluid+JindoFS对OSS上的数据进行训练加速 2021-07-06 Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的...
什么是EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
SmartData常见问题
JindoFS Block模式的元数据的更新支持异步备份至阿里云Tablestore数据库上，在确保生产集群停止更新，所有修改同步至Tablestore后，可以停掉JindoFS集群，此时，所有数据在OSS和Tablestore上。重建集群时，恢复OSS和Tablestore上数据至重建...
GIS
TairGis是一种使用R-Tree做索引，支持地理信息系统GIS（Geographic Information System）相关接口的数据结构。Redis的原生GEO命令是使用GeoHash和Redis Sorted Set结构完成的，主要用于点的查询，TairGIS在此基础上还支持线、面的查询，...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
产品优势
阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本...
使用Hive在EMR集群中创建OSS表
在OSS指定Bucket路径上创建名为test_db的数据库。test_bucket为示例路径，实际使用时替换成真实的路径。USE test_db;CREATE TABLE test_table(id INT,name STRING,age INT);INSERT INTO test_table values(1,"ab",12);SELECT*FROM test_...
选型配置说明
Flink、Kafka、YARN OLAP 数据分析场景，其中核心组件ClickHouse是一个面向联机分析处理（OLAP）的开源的面向列式存储的DBMS，与Hadoop和Spark相比，ClickHouse更轻量级。ClickHouse支持线性扩展，简单方便，具有高可靠性和高容错。...
Kafka兼容说明
例如数据库default中一个名为t1的流表，对应的Kafka Topic的名称为-LINSTREAM-default.t1。重要 如果Database或流表名称中含有下划线（_），则需要将下划线替换为短横线（-）。将流表中的数据写入Kafka Topic。具体操作，请参见 通过开源...
管理工作空间
工作空间管理员可以加入成员至工作空间，并赋予工作空间管理员、数据分析、数据开发或访客角色，以实现多角色协同工作。本文为您介绍工作空间的基本操作。前提条件 已开通数据湖构建DLF并创建数据目录，详情请参见 快速入门 和 数据目录。...
SmartData 3.1.x版本简介
文件透明压缩功能，支持对目录设置压缩策略，对目录下新写入的文件数据块进行压缩后存储到OSS后端存储上，对于一些高压缩比的数据，可以大幅节省存储空间以及读写数据量。支持写文件flush语义，调用flush接口后能够保证文件数据持久化到...
JindoFS块存储模式
TEMP 表示数据仅有一个本地备份，针对一些临时性数据，提供高性能的读写，但降低了数据的高可靠性，适用于一些临时数据的存取。JindoFS提供了Admin工具设置目录的Storage Policy（默认为 WARM），新增的文件将会以父目录所指定的Storage ...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
JindoTable使用说明
jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db][dbName]功能 展示指定数据库中的所有表。不指定[-db]时默认展示default库中的表。示例：展示default库中的表。jindo table-listTables...
- 产品推荐
- 这些文档可能帮助您