使用须知
了解开源Spark SQL 通过开源Spark SQL访问数据库的数据分为以下三个级别：Catalog：用来标识用户不同的数据源。Namespace：与数据库中的Database或者Schema相对应。Table：与数据库中的表相对应。了解Lindorm计算引擎SQL 根据您已开通的...
网络游戏：厦门真有趣信息科技有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍厦门真...
概述
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
Lindorm for Cassandra应用实践
本文介绍如何通过 云原生多模数据库 Lindorm 扩展云数据库Cassandra的性能。云原生多模数据库 Lindorm 简介 云原生多模数据库 Lindorm 是一款适用于任何规模、多种模型的云原生数据库服务，支持海量数据的低成本存储处理和弹性按需付费，...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
HBase版本选择
云数据库HBase标准版 HBase标准版使用的是社区的开源HBase分支，并在此基础上定制部分能力，同时优化了稳定性和运维能力。这些能力主要来源包括：内部分支（增强版）的优化。开源新版本中的patch。测试及生产中发现的bug修复、体验优化。...
Sqoop概述
Sqoop是一款Apache社区的开源软件，支持在Hadoop生态软件和结构化数据集（例如数据库）之间进行高效的批量数据传输。背景信息 常见数据传输场景如下：将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将...
按量计费
E-MapReduce（简称EMR）支持包年包月和按量付费两种付费模式。本文为您介绍按量计费模式的详情。特性 说明 计费说明 按量付费是一种先使用后付费的计费方式。通过按量付费，您可以按需开通和释放资源，无需提前购买大量资源。适用场景 按量...
通过DMS连接StarRocks实例
背景信息 DMS是由阿里云提供的数据库管理Web终端，为您管理Windows系统和Linux系统下的数据库。您只需在数据管理控制台上录入StarRocks实例信息，即可使用数据管理功能，例如新建数据库、新建表等。更多信息，请参见 什么是数据管理DMS。...
引擎简介
云原生多模数据库 Lindorm 消息引擎是Lindorm面向IoT、车联网、日志等流式数据提供的数据接入服务，支持业务原始数据高吞吐写入，并基于流引擎的实时处理能力，业务只需做简单开发，即可快速实现数据的ETL并入库到Lindorm宽表引擎。...
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
基本概念
一个任务的CU使用量取决于输入任务的计算复杂度，以及所依赖的数据分布情况。您可以在任务列表中查看一个任务实例的CU消耗情况。计算资源（Compute）Compute是EMR Serverless Spark工作空间中可用的计算资源，能够与队列相关联，并为用户...
什么是EMR on ECS
EMR on ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合，使得您可以更加灵活地配置和管理EMR集群，从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS，您可以快速创建、管理和运维EMR集群，同时也能够更加高效地使用计算和...
使用Kerberos认证
Kerberos是一种基于对称密钥技术的身份认证协议，可以为其他服务提供身份认证功能。本文为您介绍Hive在开启Kerberos的情况下，如何访问Hive Client。前提条件 已创建集群，且在 软件配置 页面的 高级设置 区域中，打开了 Kerberos身份认证 ...
产品计费
一个计算任务的CU使用量取决于该任务的实际处理的数据量、计算复杂程度，以及处理的数据分布情况。您可以根据业务规模和数据量合理评估需要的资源数据。基础版工作空间1 CU的处理能力如下表所示。处理场景 处理能力 简单的数据处理。例如，...
管理向量Indexes
db_name="default"#待连接的数据库名称，本文示例为默认的default。schema=MilvusClient.create_schema(auto_id=False,enable_dynamic_field=True,)schema.add_field(field_name="id",datatype=DataType.INT64,is_primary=True)schema.add_...
计费项
本文为您介绍E-MapReduce的计费项和计费方式，以便您对支付的费用组成...数据湖构建：收费详情请参见 计费模式。创建EMR集群后，如果您想使用Workflow进行工作流构建和任务调度，将会产生Worflow费用。Workflow相关费用详情请参见 产品计费。
Workflow商业化发布
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...
Iceberg概述
Iceberg是一种开放的数据湖表格式。您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决...
SmartData 2.6.0-2.7.2版本简介
各方案详情请参见：使用Tablestore作为存储后端 使用Raft-RocksDB-Tablestore作为存储后端 使用RocksDB作为元数据后端 使用模式优化 支持块存储模式和缓存模式两种使用模式：块存储模式（Block）：详情请参见 JindoFS块存储模式使用说明。...
Paimon概述
Apache Paimon是一种流批统一的湖存储格式，支持高吞吐的写入和低延迟的查询。目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS...
快速使用EMR Notebook
EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务，同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。本文以Hive查询为例，为您介绍如何使用EMR Notebook。前提条件 已完成系统角色...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明...
与开源PostgreSQL性能对比
简介 相较于开源PostgreSQL 14，PolarDB for PostgreSQL 14在以下几方面进行了优化，提升了整体性能：采用了领先硬件技术，包括使用3DXpoint存储介质的Optane存储卡、NVMeSSD和RoCE RDMA网络等。基于新的硬件，实现了一整套在用户态运行的...
数据共享
返回信息如下时，表示当前使用的数据库为db02：current_database-db02(1 row)订阅Share，并设置Share的本地别名。IMPORT DATASHARE s01 AS s01a FROM DATABASE";为步骤3中查询到的目标库db01的UUID。在目标库db02中查询源库db01共享的数据...
湖仓一体
本章节介绍如何通过 云数据库SelectDB 提供的联邦查询技术，对数据湖、数据库、远端文件等外部数据源进行联邦分析。为您提供简单、快速的数据分析体验。概述 云数据库SelectDB 提供多源数据目录功能（Multi-Catalog或Catalog），支持对接...
概述
JDBC Channel：缓存到关系型数据库中。Kafka Channel：通过Kafka来缓存数据。Sink 从Channel中获取Event，并将以事务的形式Commit到外部存储中。一旦事务Commit成功，该Event会从Channel中移除。常见Sink如下：Logger Sink：用于测试。Avro...
管理工作空间
工作空间是EMR Notebook管理数据库、外部集群和笔记本的基本单元。通过工作空间，您可以创建和编辑Notebook文件，方便地上传和下载文件，与其他用户共享Notebook和数据，并灵活地管理访问权限。前提条件 已完成系统角色授权，详情请参见 ...
Flink SQL参考
操作 文档 关键字 关键字 创建数据视图 创建数据视图 DML数据操作语句（INSERT INTO）INSERT INTO语句 CREATE TABLE AS（CTAS）语句 CREATE DATABASE AS（CDAS）语句 AUTO OPTIMIZE语句 DQL数据查询语句 Queries语句 双流JOIN语句 维表JOIN...
Presto概述
Schema：相当于一个数据库实例，一个Schema包含多张数据表。Table：数据表，与一般意义上的数据库表相同。Connector Presto通过内置的各种Connector来接入多种外部数据源。Presto提供了一套标准的 SPI 接口，您可以使用这套接口开发自己的...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
使用StarRocks Console
数据库功能 在数据库功能页中，会按数据库展示该数据库下的表详情和任务详情。表 展示当前数据库下的所有表（包括物化视图）单击对应的名称，可以逐层查看相关的表信息、分区信息、节点分片情况、分片信息。任务 展示当前数据库下的所有...
Presto
背景信息 EMR数据开发的Zeppelin在以下两方面做了增强：在多个EMR集群中动态切换。无需配置，所有配置都是自动完成。Zeppelin的Presto解释器提供以下主要功能：支持任何Presto SQL语句（包括DDL和DML等）。支持多行SQL，每条SQL语句以分号;...
DataX
目标源实例 选择在 数据源中心 中创建的目标数据源，以同步数据。目标表 选择同步数据的表。目标库前置SQL（preSql）SQL语句执行前，执行前置SQL。目标库后置SQL（postSql）SQL语句执行完成后，执行后置SQL。限流（字节数）限制查询结果...
数据格式描述文件
本文介绍索引数据的描述文件（Ingestion Spec文件）。Ingestion Spec（数据格式描述）是Druid对要索引数据的格式以及如何索引该数据格式的一个统一描述，它是一个JSON文件，一般由三部分组成。{"dataSchema":{.},"ioConfig":{.},...
Delta Lake概述
Delta Lake是DataBricks公司推出的一种数据湖方案。Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。...
Catalog概述
例如，执行 CREATE DATABASE 和 CREATE TABLE 语句创建的数据库和数据表都由Internal Catalog管理。每个StarRocks实例有且只有一个Internal Catalog名为 default_catalog。External Catalog：外部数据目录，用于连接外部MetaStore。在...
EMR on ACK商业化公告
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。收费标准 阿里云EMR on ACK正式商业化后，将根据集群...
Streaming SQL作业配置
以下列出了Spark Streaming SQL提供的数据源依赖包的版本信息和使用说明，建议使用最新版本。库名称 版本 发布日期 引用字符串 详细信息 datasources-bundle 2.0.0（推荐）2020/02/26 sharedlibs:streamingsql:datasources-bundle:2.0.0 ...
EMR元数据迁移到数据湖构建（DLF）
在EMR集群执行以下命令，删除创建的数据库。drop database dlf_test_db;常见问题 Q：如果同一个元数据迁移任务，多次运行是什么结果？A：元数据迁移任务以RDS或MySQL元数据为基准，可以保证DLF元数据与源库中元数据的最终一致性，不会影响...
- 产品推荐
- 这些文档可能帮助您