基于混合负载的查询优化
Batch模式：采用批计算架构，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘，适用于计算量大，吞吐高的复杂分析场景。资源池混合负载隔离 AnalyticDB MySQL版弹性版本支持资源池多租户隔离。通过一个实例...
CORR
计算两列数据的皮尔逊系数（Pearson Correlation Coefficien）。此函数为MaxCompute 2.0扩展函数。命令格式 double corr(,)参数说明 col1、col2：必填。...相关函数 CORR函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
什么是边缘流数据分析
流数据分析是一种使用流的方法快速实时处理数据的计算方式。边缘计算中的流数据分析，继承了物联网平台的流数据分析能力。在数据分析控制台创建 流数据分析任务，并将该任务下发到边缘端，通过边缘设备实时运行。运行结果可以存储在边缘端...
支持的连接器
MySQL√流模式 SQL和DataStream 是 云数据库RDS MySQL版×流模式和批模式 SQL 是 大数据计算服务MaxCompute√流模式和批模式 SQL和DataStream 不支持更新和删除结果表数据，只支持插入数据。数据总线DataHub√流模式和批模式 SQL和...
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
产品简介
多方安全建模控制台作为多方安全建模的可视化操作平台，提供了一站式端到端的数据安全计算服务，服务包括安全计算环境安装、数据连接、数据探查、数据分析、模型研发、模型投产和模型监控，同时可根据您的业务需求配置安全策略。...
产品架构
这些物理执行单元直接在指定的BE节点上执行，实现了数据计算的本地化，避免了不必要的数据传输和复制，从而极大的提升了查询性能。尽管存算一体架构在查询性能上具有显著优势，但也存在一些局限性：成本高：为了确保数据的可靠性，BE节点...
基于Delta lake的一站式数据湖构建与分析实战
数据湖计算与分析 相比于数据仓库，数据湖以更开放的方式对接多种不同的计算引擎，如传统开源大数据计算引擎Hive、Spark、Presto、Flink等，同时也支持云厂商自研的大数据引擎，如阿里云MaxCompute、Hologres等。在数据湖存储与计算引擎...
基础版Spark全密态计算引擎使用示例
本文 以云数据库RDS MySQL例，介绍使用基础版Spark全密态计算引擎加密数据，计算和分析密态数据，解密计算结果的完整过程。前提条件 AnalyticDB MySQL 湖仓版（3.0）集群与OSS存储空间位于相同地域。已创建数据库账号。如果您是通过阿里云...
羲和分析计算引擎
相对于传统的以数据为中心的计算方式，面向算子为中心的计算方式对现代CPU计算更友好：缓存友好的同时，利用乱序执行扩大了CPU的指令并发，利用SIMD又扩大CPU的数据并发，充分挖掘了现代CPU的算力。面向混合负载的查询执行 羲和分析计算...
客户案例
客户需求 海量数据处理效率下降，离线数据计算时长不稳定。实时计算不开发维护代价大，希望对数仓进行综合治理。价值体现 基于飞天大数据平台产品，快狗打车不仅机器成本节约30%以上，数据开发效率提升100%。从Java Storm迁移到Flink SQL使...
参考：渐进式计算
背景信息 渐进式计算能够处理增量数据并维护中间结果数据，提高了在计算资源消耗、执行时间调度、查询延迟、数据处理粒度等方面的灵活性。例如在范围查询（Range Query）场景下（即查询一段时间范围内的数据），使用传统批处理方式和渐进式...
什么是Dataphin
自动化编码：高效且自动化的编码：基于函数化理念，对通用数据计算逻辑进行组件化定义，并可自由组建统计指标，从而实现自助化建模研发，系统自动生成代码执行数据生产。智能计算优化：支持从业务视角进行逻辑建模。逻辑模型发布后，系统...
计算巢按量付费服务云市场上报数据说明
计算巢服务上架云市场且设置为按量付费后，需要上报服务实例资源或数据以便云市场计算费用。本文介绍如何上报数据和修改数据的上报方式。背景信息 数据上报是指计算巢将云市场购买的计算巢服务实例中使用的资源数据推送至云市场，云市场在...
访问数据库
本文介绍函数计算访问VPC内数据库的机制，并提供访问数据库的示例。访问机制 在函数计算中，运行函数的实例由函数计算动态分配，IP地址不固定，因此无法通过添加函数实例的IP地址到数据库白名单的方式来访问数据库。此外，基于最小权限原则...
选择付费方式
您可通过输入上传和下载的数据大小以及需要的计算资源自动地计算月成本。CostSQL方法：适用按量计费方式。您在实际生产环境中，即正式上线一个分析SQL前，可以通过Cost SQL命令估算该SQL作业的费用。详情请参见 计量预估。如果您使用的开发...
连续查询
连续查询是一种简化的流计算能力，能够定期执行SQL查询，将查询结果存储在指定的数据表中，可用于预降采样和预计算，实现数据降精度长期存储以及查询性能提升。本文介绍Lindorm时序引擎连续查询的概念、使用方法和常见场景。背景信息 在...
引擎简介
云原生多模数据库 Lindorm 时序引擎是一款 高性能、低成本、稳定可靠 的在线时序数据库引擎服务，提供高效读写、高压缩比存储、时序数据聚合计算、数据库内机器学习等能力。核心能力 高性能：时序引擎支持高写入吞吐，通过自研的时序引擎，...
资源规划及规格选型
计算资源 资源充足，且无浪费，能够满足所有计算作业的资源需求。不同优先级的作业可以互不干扰，优先保证高优先级的作业获取到足够的计算资源。当某些作业需要处理庞大的数据量且耗费计算资源较多时，可以同时确保其他作业能获取到计算...
表设计规范
降低计算成本 规范化的表设计可以帮助您优化数据的读取，从而减少计算过程中的冗余读写和计算，提升计算性能，降低计算成本。降低维护成本 规范化的表分层设计能够直接体现业务的特点。例如，在规范化设计表的同时对数据通道中的数据采集...
计算费用（按量付费）
当您购买按量付费规格后，MaxCompute会对SQL、MapReduce、Lightning（交互式分析）、Spark、Mars（数据科学）和MCQA（查询加速SQL）计算类型按量付费。本文为您介绍不同计算类型下的计费规则。背景信息 MaxCompute是以作业的执行情况作为...
调优集群性能
UPDATE SQL 如果单个UPDATE WHERE语句命中了较多行数据，计算引擎需要计算出所有命中行的主键，并更新其对应的字段值，然后再逐个下发给存储节点进行标记旧行以及追加（Append）新行的操作。一个UPDATE SQL操作步骤可能会放大很多倍，从而...
功能简介
数据查询为用户提供对云计算资源中物理表基本情况的概览能力，帮助用户直观了解物理表基础信息、字段内容分布等情况，建立对数据表的宏观理解，为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。数据导入 支持512 MB...
什么是云数据库ClickHouse
产品架构 企业版架构 云数据库ClickHouse 企业版采用云原生存储与计算资源分离架构打造，支持进行独立的存储和计算资源的扩容，存储和计算资源Serverless 模式按需弹性使用。具体特点如下：存储资源采用多分片（Shard）和副本（Replica）的...
计费常见问题
购买MaxCompute后，如果您没有执行外网数据下载、数据存储（MaxCompute项目无数据）或计算操作，不会产生费用。如果MaxCompute项目中已有数据，但未执行外网数据下载或计算操作，会产生存储费用。MaxCompute会存储三个副本，如何计费？只...
设置数据时效
数据时效说明 此处设置的数据时效的计算不是对数据自身带入的时间戳为基准进行计算，而是基于数据实际写入到数据库的时间为基准进行计算。数据在数据库中的时间超过设置的数据时效后并不会立刻失效，而是会由数据库后台慢慢自行清理。数据...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，...在混合云架构下，机密数据在专有云内完成，云端的大规模数据的计算则通过MaxCompute完成，定位数据的播发在公共云上完成。
公共规范
在调用可累加类指标计算时，CDM汇总层尽量优先调用已经产出的粗粒度汇总层，以避免大量汇总直接从海量的明细数据层计算。CDM明细层累计快照事实表优先调用CDM事务型事实表，以保持数据的一致性产出。避免应用层过度引用和依赖CDM层明细数据...
数据倾斜诊断
不恰当的分布键 上图示例中，选择了gender字段作为分布键，由于gender字段只有true和false两个值，导致仅有两个计算节点上有数据，其他节点没有数据，从而导致了数据的倾斜。查看数据倾斜 智能诊断功能的诊断信息存储在 adbpg_toolkit.diag...
功能特性
计算引擎访问宽表数据 宽表引擎 动态列 Lindorm宽表引擎支持动态列功能，用于在实际业务中动态写入数据并执行查询，减少了数据结构设计的复杂性。动态列 二级索引 Lindorm宽表引擎提供了Tabular模型下的二级索引功能。在非主键匹配的查询...
数据查询
大范围的时间查询 预降采样 通过存储引擎将写入的数据降低精度后单独存储，查询时按查询条件中指定的降采样精度自动查询最接近预降采样精度的数据，然后再对查询的数据进行聚合计算，减少实时查询的计算数据量，降低访问延迟。预降采样是一...
CREATE CONTINUOUS QUERY
其中：d：天 h：小时 m：分 s：秒 window STRING 否 用于指定持续查询的计算窗口，即每次计算所覆盖的数据的时间范围。若不指定，则计算窗口与执行间隔（interval）相同。例如，`interval`='10m',`window`='20m' 表示计算任务每隔10分钟...
就绪检测节点
运行属性 运行属性 用于设置数据检测节点的云计算资源和所要检测的数据表，关键参数说明如下：参数 说明 云计算资源类型 节点的云计算资源类型。必须与下游节点的云计算资源类型相同。数据结构 数据模型指代您已经在云资源中创建的物理表。...
功能简介
数据查询为用户提供对云计算资源中物理表基本情况的概览能力，帮助用户直观了解物理表基础信息、字段内容分布等情况，建立对数据表的宏观理解，为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。如果数据表格存储的是...
就绪检测节点
运行属性 运行属性 用于设置数据检测节点的云计算资源和所要检测的数据表，关键参数说明如下：参数 说明 云计算资源类型 节点的云计算资源类型。必须与下游节点的云计算资源类型相同。数据结构 数据模型指代您已经在云资源中创建的物理表。...
基本概念
数据表 数据表是多方安全计算中存储在节点的原始数据，并且只能在节点本地使用。数据授权 在项目使用机构数据前，由机构管理员将数据表、特征组等数据授权到项目内使用的操作称为数据授权。特征 用户离线样本的信息维度。特征服务 提供特征...
产品概述
专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。PolarDB-X 1.0 核心能力采用标准关系型数据库技术实现，配合完善的...
功能概览
VCS提供从视频采集、存储、到多视觉算法融合计算、数据分析的全过程，向企业、开发商和个人提供能够快速构建基于实时视频数据、图片数据等进行智能分析应用的服务。VCS功能如下 接入服务 支持仅国标GB/T28181-2016版协议的设备（包含NVR、...
DAS Auto Scaling弹性能力
数据库自治服务DAS的Auto Scaling是以数据库实例的实时性能数据作为输入，由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议，使数据库服务具备自动扩展存储和计算资源的能力。背景信息 为业务应用选择一个合适的数据库计算...
- 产品推荐
- 这些文档可能帮助您