Quick BI的即席分析拖入字段会触发计算，数据量大的...
概述 本文主要描述了Quick BI的即席分析拖入字段会触发计算，数据量大的情况下需要等待很久，如何将各个字段配置完以后再触发计算的方法。详细信息 可以先切换到模型，将字段都拖拽好以后。再切换到数据，这样就只有一次取数了。适用于 ...
数据存储量如何计量
存储空间的计算公式：单行数据量=主键列的数据量+所有属性列的数据量 其中：主键列的数据量=主键列的名字长度之和+主键列的值的数据量之和 属性列的数据量计算方式，请参考本文档中关于行及表的数据量计算示例的具体说明。值的数据量的计算...
数据存储量
存储空间的计算公式：单行数据量=主键列 的数据量+所有 属性列 的数据量 主键列的数据量=主键列的名字长度之和+主键列的值的数据量之和 属性列的数据量计算方式，请参考本文档中关于行及表的数据量计算示例的具体说明。值的数据量的计算...
基于混合负载的查询优化
Batch模式：采用批计算架构，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘，适用于计算量大，吞吐高的复杂分析场景。资源池混合负载隔离 AnalyticDB MySQL版弹性版本支持资源池多租户隔离。通过一个实例...
计算费用（按量付费）
MaxCompute按照压缩后的数据量计算数据扫描量。查询分区表时，您可以应用分区过滤条件，减少数据扫描量并提升查询性能。华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）和西南1（成都）区域已开通MCQA作业...
新建资源组
基于纯内存的快速交互式查询类型，查询性能好，但计算数据量超出机器处理能力情况下查询会失败。资源量 根据实际情况选择分配给该资源组的资源量。单击 确定 完成新建资源组。修改资源组 资源组创建完成后，可以对资源组的查询类型或资源量...
整体架构
BSP模式，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘。羲和计算引擎提供自动切换能力，即当查询使用MPP模式无法在一定耗时内完成时，系统会自动切换为BSP模式进行执行。湖仓版新增的开源Spark计算引擎...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
查询执行模式
适用场景：适用于执行时间长、计算数据量大的查询。例如：清洗类查询（Extract-Transform-Load）。默认执行模式 版本 产品系列 默认执行模式 是否支持Batch模式 数仓版（3.0）预留模式集群版 Interactive 否 弹性模式集群版（新版）是 切换...
数据查询
大范围的时间查询 预降采样 通过存储引擎将写入的数据降低精度后单独存储，查询时按查询条件中指定的降采样精度自动查询最接近预降采样精度的数据，然后再对查询的数据进行聚合计算，减少实时查询的计算数据量，降低访问延迟。预降采样是一...
资源组介绍
云原生数据仓库AnalyticDB ...Batch查询类型的资源组：适用于执行时间长、计算数据量大的查询。例如：清洗类查询（Extract-Transform-Load）。Interactive查询类型的资源组：适用于对延迟敏感的实时分析查询。相关文档 指定执行查询的资源组
配置跨库Spark SQL节点
系统在计算数据量过大且缺失主键的表时，会导致内存溢出或内存耗尽（OOM）。周期调度节点最近一次运行成功后，若连续运行失败10次及以上，离线集成任务直接执行失败，且不会再提交Spark任务。此时，您需要手动运行成功该任务节点。应用场景...
VALUES
如果需要向表中插入少量数据，您可以通过 insert…values 或 values table 操作向数据量小的表中插入数据。执行 insert into 操作前需要具备目标表的修改权限（Alter）及源表的元信息读取权限（Describe）。授权操作请参见 授权。本文中的...
计算巢按量付费服务云市场上报数据说明
计算巢将在上报时刻统计存储量作为上报值，如目前服务实例一共有10台ECS，计算得到10台存储量为200 GB，则上报数量为200 GB，不论过去一段时间存储量如何变化，均以上报时刻的存储量为准。服务实例删除时，计算巢会在资源删除前最后上报...
存储空间分析
总数据量 表的总数据量。计算方法如下：方法一：总数据量=热数据量+冷数据量。方法二：总数据量=表记录+普通索引+主键索引+其他。热数据量 表所有热分区的数据量（包含 表记录、普通索引、主键索引 和 其他）。冷数据量 表所有冷分区的数据...
DescribeTableStatistics-查询表统计信息
计算公式 1：总数据量=热数据量+冷数据量，计算公式 2：总数据量=表记录数据量+普通索引数据量+主键索引数据量+其他。1577 HotDataSize long 热数据量，单位：Byte。1048576 OtherSize long 其他，单位：Byte。1048576 示例 正常返回示例 ...
长周期指标的计算优化方案
本文为您介绍如何对长周期指标的计算进行优化。实验背景 电子商务公司在电商数据仓库和商业分析场景中，经常需要计算最近N天...计算老买家数量时，判断最近一次购买时间是否在30天之内，从而最大程度上的数据关系对去重，减少计算输入数据量。
数据校验计费方式
本文介绍DTS数据校验任务的计费方式和计费标准。计费方式 全量数据校验任务当前仅支持按量付费（后付费）的计费方式。说明 按表行数进行校验 的校验模式不收费，按抽样比例...校验的数据量如何计算？校验的数据量是指源库中待校验数据的大小。
如何支持超大事务
通过x来控制拉取的数据量，即CN需要计算的数据量。当x=0，会拉取所有的数据到CN做hash join，此时CN总共需要处理约32 GB的数据，并且单个CN节点的内存只有16 GB。测试结果 测试结论 单个事务导致CN端的计算压力较大、计算量较多时（比如...
资源规划及规格选型
说明 计存比是计算资源和实际存储数据量（单位为TB）的比值，即 计存比=计算资源/实际存储数据量。例如项目的计算资源为50 CU，实际存储数据量为10 TB，则计存比为 50 CU/10 TB=5。规格选型建议 如果您的项目处于开发测试阶段，推荐选择 ...
实例扩缩容
随着您的数据量和计算量的动态增长，一些计算资源如CPU、磁盘、内存以及数据处理节点数量将成为数据处理速度的瓶颈。为了支持实例的动态扩展，AnalyticDB PostgreSQL版 提供在线变更实例规格的功能。本教程以Serverless版本为例，带您体验...
避免下盘
数据倾斜导致的算子下盘 数据倾斜也是一种常见的会导致算子下盘的因素，数据倾斜会导致单个Segment上的数据量和计算量远远超过其他Segment，导致可用内存不够算子下盘。对于数据倾斜的检测和消除，请参见 数据倾斜诊断。
自动化治理-物化视图
重要 如果您MaxCompute项目的配额（Quota）为按量付费模式，则：总节约计算量=计算输入数据量×SQL复杂度。MaxCompute SQL作业按照 计算量×单价 收取费用。您可以单击 物化视图 列的物化视图标识，查看物化视图详情。您可以单击 操作 列的...
产品计费
一个计算任务的CU使用量取决于该任务的实际处理的数据量、计算复杂程度，以及处理的数据分布情况。您可以根据业务规模和数据量合理评估需要的资源数据。基础版工作空间1 CU的处理能力如下表所示。处理场景 处理能力 简单的数据处理。例如，...
排序加速计算
查询时间受到数据量、计算资源、网络状况等多个因素影响，请以实际为准。ORDER BY加速 排序加速前（未排序）排序加速后 GROUP BY加速 排序加速前（未排序）排序加速后 JOIN加速 排序加速前（未排序）排序加速后 说明 JOIN排序加速需要关闭...
MaxCompute账单用量明细分析
说明 一次标准版SQL计算费用=计算输入数据量×SQL复杂度×单价（0.3元/GB）一次SpotSQL计算费用=计算输入数据量×SQL复杂度×单价（0.1元/GB）通过Excel分析：分析 用量明细 中数据分类为 ComputationSql 的数据。对SQL作业费用进行排序，...
按量付费闲时版
计费说明 类型 计费公式 价格 SpotSQL作业（指计算配额为os_SpotQuota的普通SQL或查询加速SQL作业）SpotSQL作业当日总费用=计算输入数据量×SQL复杂度×单价 计费单价如下：公共云：0.1元/GB 金融云：0.19元/GB 引用外部表的SpotSQL作业...
计算节点变配
当数据量和计算量动态增长，计算资源（CPU、磁盘、内存以及数据处理节点数量）成为数据处理速度的瓶颈时，您可以对实例动态扩展，在线变更实例规格和计算节点。目前 AnalyticDB PostgreSQL版 不同的 实例资源类型 对计算节点变配的支持程度...
适用场景
传统企业级应用因业务发展导致计算量与数据量呈爆发式增长，急需具备更强计算能力的在线事务型数据库场景。按容量选择 在OLTP业务领域，数据库的容量通常关注并发度、数据存储、复杂SQL响应时间这3个维度。若当前数据库中任意一个维度出现...
产品计费
MaxCompute按量付费实例计算费用=计算输入数据量*SQL复杂度*SQL价格。例如，识别的数据量（即计算输入量）为10 GB，SQL复杂度为1.5，SQL价格为0.3元/GB，则MaxCompute收取的数据识别费用为10*1.5*0.3=4.5元。重要 如果您的云产品使用的是...
公告
该地域项目的存储、下载后付费账单归属的 产品明细 将从 大数据计算服务MaxCompute（包月）变成 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute（按量付费）。当您使用的包年包月...
MaxCompute后付费消费突增排查
说明 一次SQL计算费用=计算输入数据量×SQL复杂度×单价（0.3元/GB）。示例中的 task_type='SQL' 表示SQL作业；task_type='SQLRT' 表示SQL查询加速作业。查看消费较高SQL作业的 SKYNET_ID（DataWorks调度任务ID）。如果有ID，请在DataWorks...
UDT示例
聚合操作 UDT实现聚合的原理是，先用内建函数 COLLECT_SET 或 COLLECT_LIST 将数据转变成List，之后对该List应用UDT的标量方法计算数据的聚合值。示例如下，计算BigInteger的中位数（由于数据是 java.math.BigInteger 类型的，所以不能直接...
通过实时计算Flink集成向量数据
云原生数据仓库AnalyticDB PostgreSQL版 支持通过flink-adbpg-connector集成向量化数据。本文以将Kafka数据导入至 AnalyticDB PostgreSQL版 为例，介绍如何将向量数据导入 AnalyticDB PostgreSQL版。前提条件 已创建 AnalyticDB PostgreSQL...
通过实时计算Flink集成向量数据
云原生数据仓库AnalyticDB PostgreSQL版 支持通过flink-adbpg-connector集成向量化数据。本文以将Kafka数据导入至 AnalyticDB PostgreSQL版 为例，介绍如何将向量数据导入 AnalyticDB PostgreSQL版。前提条件 已创建 AnalyticDB PostgreSQL...
我的程序要并发访问大量共享数据，该如何设计？
如果有大量共享数据需要并发访问，可以把数据存放在阿里云 OSS 或者 NAS 上，并且用InputMapping 的方式挂载访问。BatchCompute 会在访问的节点间自动建立起分布式缓存，可以大幅提升 OSS 和 NAS 的并发访问效率。
Tablestore外部表
因此如果批量写入数据量太大，也可以分行写入。将数据批量写入时请注意不要有重复行，否则可能产生如下报错。ErrorCode:OTSParameterInvalid,ErrorMessage:The input parameter is invalid 详细描述请参见 使用BatchWriteRow一次提交100条...
资产全景
机器学习PAI模型训练绑定的MaxCompute项目的数据量、外部项目计算源的数据量的不纳入计算。仅统计生产项目（包括 prod 和 basic 项目），T+1 更新。总数据表数：生产环境所有物理表和逻辑表总数，实时更新。总项目数：生产项目数（包括prod...
计费常见问题
SQL作业的费用计算方式为 输入数据量×复杂度×单价，因此在复杂度和单价不变情况下，输入数据量越大费用越高。MaxCompute作业跑失败了会收费吗？MaxCompute有两种计费模式：按量计费：如果作业是按照按量计费进行运行的，当运行失败后，...
常见问题
开通MaxCompute服务时，如何根据本身数据存储量以及计算任务评估开通哪些产品规格？创建MaxCompute项目 创建MaxCompute项目时，报错ODPS-0410051，如何解决？新建RAM用户 新建RAM用户无法访问MaxCompute，如何解决？准备环境及安装工具 ...
- 产品推荐
- 这些文档可能帮助您