大数据的计算引擎-大数据的计算引擎文档介绍内容-阿里云

查看连接地址

不同类型的计算引擎连接地址如下表：连接地址类型连接方式服务类型网络类型参考文档 JDBC地址通过SQL连接计算引擎（连接地址为图示中①）Lindorm Lindorm Serverless版专有网络公网 JDBC开发实践 JAR地址通过计算引擎提交JAR作业...

基于Flink+Hologres搭建实时数仓

方案架构实时计算Flink版是强大的流式计算引擎，支持对海量实时数据高效处理。Hologres是一站式实时数仓，支持数据实时写入与更新，实时数据写入即可查。Hologres与Flink深度集成，能够提供一体化的实时数仓联合解决方案。本文基于Flink+...

配置自定义任务参数

背景信息自定义任务参数用于指定计算引擎的某些参数，避免由于企业的计算引擎特异性导致的引擎适配问题，同时提高了逻辑表任务的效率。操作步骤在Dataphin首页，单击顶部菜单栏的管理中心。按照下图操作指引，进入自定义任务参数页签...

配置自定义任务参数

背景信息自定义任务参数用于指定计算引擎的某些参数，避免由于企业的计算引擎特异性导致的引擎适配问题，同时提高了逻辑表任务的效率。操作步骤在Dataphin首页，单击顶部菜单栏的管理中心。按照下图操作指引，进入自定义任务参数页签...

羲和分析计算引擎

理解数据和感知存储作为完整数据仓库的一部分，羲和分析计算引擎，相比单纯的计算引擎，具备感知数据的优势。比如：利用数据分布，直接进行基于特定数据的计算，避免分布式系统中数据和命令流交互的开销。利用数据存储的能力，下推谓词、...

参数化视图

本文为您介绍MaxCompute SQL引擎支持的参数化视图功能。功能介绍 MaxCompute传统的视图（VIEW）中，底层封装一段逻辑复杂的SQL脚本，调用者可以像读普通表一样调用视图，无需关心底层的实现。传统的视图实现了一定程度的封装与重用，因此被...

整体架构

计算引擎 计算引擎具备分布式MPP和DAG融合执行能力，结合智能优化器，可支持高并发和复杂SQL混合负载。同时借助云原生基础设施，计算节点实现了弹性调度，可根据业务需求做到分钟级甚至秒级扩展，实现了资源的有效利用。存储引擎存储引擎...

空间函数

支持的计算引擎 AnalyticDB PostgreSQL(ADB_PG)、POLAR_PG、POSTGRESQL。ST_CONTAINS 函数说明当几何A包含几何B时返回true，否则返回false。当且仅当几何B的所有点都不位于几何A的外部，并且几何B内部至少一个点位于几何A的内部时，几何A...

基本概念

引擎引擎的全称为隐私计算引擎，是在节点中执行隐私计算协议或算法逻辑的软件。作为已编排的应用，能够完成机构之间的数据隐私计算。引擎包含分析、训练、预测和联邦学习引擎。可以根据您的需求，在一个节点中集成多种不同的引擎。不同...

选择付费方式

您可通过输入上传和下载的数据大小以及需要的计算资源自动地计算月成本。CostSQL方法：适用按量计费方式。您在实际生产环境中，即正式上线一个分析SQL前，可以通过Cost SQL命令估算该SQL作业的费用。详情请参见计量预估。如果您使用的开发...

Iceberg概述

您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...

访问JDBC外表

前提条件已开通Lindorm实例的计算引擎服务，具体操作请参见开通与变配。确保外部数据源已开通访问权限，并且外部数据源与Lindorm实例处于同一个专有网络。参数配置外部数据源映射为Lindorm计算引擎中的Catalog（用来标识不同的数据源）...

基本概念

项目是指用户创建的一组具备相关性数据的计算实例的集合。实例实例是指用户创建的针对多个数据进行同一类型AI计算所创建的一个计算任务。设备设备指IPC、NVR等能产生视频数据的相关设备，该设备同时符合GB/T28181-2016、GA/T1400协议，...

查看作业运行历史

前提条件已开通云原生多模数据库 Lindorm 实例的计算引擎服务，具体操作请参见开通与变配。计费方式按照Lindorm实例占用资源和时长计费。Lindorm实例占用资源为1CU（1CU=1核4 GB），1CU的单价为0.364元/小时。开通History Server后无论...

Quick引擎概述

多模式BI计算引擎 Quick引擎作为Quick BI的计算底座，是一个多模式的BI计算引擎，支持数据库直接连接、抽取加速、查询缓存、维值加速等多种计算模式，为不同用户提供最适合自身场景的高效计算方案。Quick引擎架构图从Quick BI产品使用链路...

JDBC开发实践

已开通Lindorm实例的计算引擎服务，具体操作请参见开通与变配。已安装Java环境，要求使用JDK 1.8及以上版本。JDBC连接地址查看Lindorm计算引擎连接地址的具体步骤请参见查看连接地址。使用Beeline访问JDBC服务下载 Spark发布包。解压...

访问Hive数据

前提条件已开通Lindorm实例的计算引擎服务，具体操作请参见开通与变配。开通步骤登录 Lindorm管理控制台。在页面左上角，选择实例所属的地域。在实例列表页，单击目标实例ID或者目标实例所在行操作列的管理。在左侧导航栏，选择 ...

Transaction Table2.0概述

针对这些问题近几年大数据开源生态也推出了各种解决方案，最流行的就是Spark/Flink/Presto开源数据处理引擎，深度集成开源数据湖Hudi、Delta Lake和Iceberg三剑客，践行统一的计算引擎和统一的数据存储思想来综合提供解决方案，解决Lamdba...

谓词完全下推

PolarDB MySQL版会将谓词下推到引擎层进行计算，极大的减少性能开销，提升查询性能。前提条件集群版本需为 PolarDB MySQL版 8.0版本且修订版本需满足如下条件：8.0.1.1.5或以上。8.0.2.2.0 或以上。如何查看集群版本，请参见查询版本号...

访问CDC数据

云原生多模数据库 Lindorm 计算引擎提供Lindorm CDC（Change Data Capture）数据源，您可以通过该数据源使用Spark SQL查询Lindorm实例其他引擎变更的数据。前提条件 Lindorm实例已开通LTS（Lindorm Tunnel Service）服务，具体请参见购买...

基于混合负载的查询优化

混合计算引擎 提供Interactive与Batch计算模式，同时提供低延迟实时分析能力与大数据的高吞吐批计算能力，分别满足交互式查询与复杂离线计算场景。Interactive模式：采用MPP计算架构，调度粒度为整个查询所有任务，计算过程中pipeline流式...

CREATE CQ

连续查询（Continuous Query，简称CQ），对Lindorm流引擎中的实时数据进行计算（过滤、转换、增强、聚合），并将计算结果写入到另一个数据流表或者外表中，直到用户执行终止连续查询操作才会停止计算。本文介绍创建连续查询任务的语法。...

函数

自定义函数（UDF）：为MaxCompute提供了高度的灵活性，允许您根据具体业务逻辑进行定制化的数据计算和分析。自定义函数（UDF）可以进一步分为标量值函数（UDF）、自定义聚合函数（UDAF）和自定义表值函数（UDTF）三种类型。您在开发完成UDF...

创建通用项目

如果您选择的Dataphin的计算引擎为星环TDH，且数据研发过程中需要使用规范建模、即席查询、Inceptor SQL计算任务等功能，则在创建项目空间前需要完成TDH Inceptor计算源的创建。具体操作，请参见创建TDH Inceptor计算源。如果您选择的...

列存索引

使用列存索引创建列存索引可以增强宽表海量数据的分析计算能力，您可以在SELECT查询语句中指定Hint/*+_use_ldps_*/，将查询请求路由至计算引擎执行并使用列存索引加速查询，从而提升大数据计算的效率。示例一：大数据统计 SELECT/*+_use_...

支持的云服务

MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力，并支持SQL、MapReduce、Graph等多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，保障数据安全。更多DataWorks...

冷数据归档

本文介绍时序引擎的冷数据归档功能的使用方法。功能概要在时序数据库持续写入的场景下，早先写入的时序数据会随着时间推移，查询频度逐渐降低。这样的数据通常被称为“冷数据”，与之相对的概念被称为“热数据”。随着冷数据体量的不断变...

数据质量评估标准

一致性一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要保持一致...

整体架构

Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...

开通指南

LindormDFS存储容量在同一Lindorm实例内共享，同时LindormDFS也是多模引擎数据的共享存储，关于多模引擎数据存放路径的详细信息，请参见 LindormDFS目录结构说明。控制台开通警告开通文件存储服务后，多模引擎数据变为可见。使用文件引擎...

使用MaxCompute控制台（离线）

查看上传记录提交上传后，若数据量较大，需要耗费一些时间，您无需在提交页面一直等待，可后续通过单击数据上传页面右上角的查看上传记录查看通过该功能上传数据的详情记录。说明通过该页面的查看上传记录查询到的记录详情也包含...

导入导出表数据

MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...

数据传输费用（公网下载）

本文介绍MaxCompute中数据下载计费规则。MaxCompute仅对公网的下载数据进行收费，并按照下载的数据大小按量计费。MaxCompute会在第二天给出您的下载费用账单，您可以进入费用中心查看。下载计费规则如下。计费公式价格说明一次下载...

引擎简介

Lindorm计算引擎是一款基于云原生多模数据库 Lindorm 核心能力实现的数据库内高性能、低成本、稳定可靠的分布式计算服务，满足用户在云原生多模数据库 Lindorm 支撑场景下的数据生产、交互式分析、机器学习和图计算等场景中的计算需求...

使用限制

研发工作台数据处理不支持项目所属的计算引擎源在跨集群的情况下读取数据。非Dataphin创建的表，Dataphin中元数据可能无法获取或者更新相关信息。研发工作台即席查询逻辑表查询时，必须使用业务板块的英文名作为前缀。跨项目物理表使用...

存储费用

MaxCompute会对存储的数据（例如表或资源）及备份的数据，按照数据容量大小进行计费。本文为您介绍存储费用的计费规则。背景信息 MaxCompute数据的压缩比一般在5倍左右，因此多数情况下，您上传的数据文件大小与实际存储在MaxCompute的大小...

MaxCompute近实时增全量一体化架构介绍

在大数据开源生态领域，针对这些问题已经出现了一些典型的解决方案，其中最典型的是Spark、Flink、Trino等开源数据处理引擎，它们深度集成了Hudi、Delta Lake、Iceberg、Paimon等开源数据湖，并以开放统一的计算引擎和数据存储理念为基础，...

创建通用项目

如果您选择的Dataphin的计算引擎为MaxCompute，且数据研发过程中需要使用规范建模、即席查询、MaxCompute SQL计算任务等功能，则在创建项目空间前需要完成MaxCompute计算源的创建。具体操作，请参见新建MaxCompute计算源。Dataphin支持...

如何选择文件引擎规格

但随机读能力较弱，适用于大数据计算场景。文件引擎节点规格选择文件引擎节点负责承担读写带宽，管理Block数据块，提供HDFS通信协议支持。可以从两个维度确定您的场景需要的文件引擎节点数量：数据量维度：每个文件引擎节点可支撑10TB～50...

大数据的计算引擎

新品推荐