计费概述
适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。说明 若您的业务量波动较大且频繁，每个月甚至每周都可能要变更集群配置，推荐您购买按量付费集群并搭配资源包使用。按计算资源付费（CU版计费...
扫描量版本与CU版本的差异
扫描量版本 DLA默认版本，适用于查询频率低、查询数据量较小的场景，使用扫描量版本您只需要为实际扫描的数据量付费，当您不使用时是不付费的。费用详情请参见 按扫描量付费。CU版本 适用于查询频率高、查询数据量较大的场景，同时也能够给...
批量更新、删除或插入数据
查询数据量 SELECT COUNT(*)FROM tbl1;返回结果 count-10000(1 row)方式二：使用VALUES(),(),.();示例语句-向tbl1表中批量插入数据 INSERT INTO tbl1(id,info,crt_time)VALUES(1,'test',NOW()),(2,'test2',NOW()),(3,'test3',NOW());查询...
新建资源组
支持中间数据结果落磁盘，大数据量情况下查询性能有所降低，但计算节点不会因为查询数据量太大而失败。Interactive：适用于延迟要求高的实时分析查询。基于纯内存的快速交互式查询类型，查询性能好，但计算数据量超出机器处理能力情况下...
功能特性
适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。创建虚拟集群 元数据管理 可视化全局管理视图，可以进行元数据的操作，例如创建Schema、查看库表信息、查询数据等。查询Schema详情 元信息发现...
查询账单
本文介绍如何查看在使用DAS过程中产生的费用明细。消费类型说明 账单中存在两种消费类型，下表列出两种消费类型包含的具体费用，详细的费用说明，请参见 产品计费。...在 计费项 为 查询数据量 的消费明细中，查看数据查询的费用。
使用流程
操作流程概览如下：开通云原生数据湖分析服务 可选：创建虚拟集群：CU版适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。推荐您使用CU版本来进行数据分析与计算。说明 如果您使用系统默认的...
表数据格式
此特性也有助于提升数据查询效率，如果过滤条件为Bucket数据列，也可有效地进行Bucket裁剪，减少查询的数据量。并且如果GroupBY或者Join的Key列和Bucket数据列相同，则可直接进行Local Join或者GroupBy操作，减少Shuffle，节省计算资源和...
性能优化
当查询数据量大时，您可以指定查找数据的范围（特定的label，查询属性的起始范围、终止范围、迭代次数等）。示例：推荐方案（将过滤属性限制在10~30内）g.V().hasLabel("person").has("age",P.gt(10).and(lt(30))).limit(5)普通方案 g.V()....
加速服务
通过使用加速服务，您可以在调用API时提高数据查询的速率和性能。本文为您介绍两种加速方案的使用方法。背景信息 DataWorks数据服务的加速方案有两种：加速服务 和 MCQA，您可以 点击这里 加入DataWorks用户钉群进行咨询。两种方案的对比...
PolarDB HTAP实时数据分析技术解密
PolarDB 并行查询突破CPU瓶颈 PolarDB团队开发的并行查询框架（Parallel Query)，在查询数据量到达一定阈值时，会自动启动并行执行。在存储层将数据分片至不同的线程，多个线程并行计算。并将结果流水线汇总到总线程。最后，总线程做些简单...
列存索引技术架构介绍
PolarDB并行查询突破CPU瓶颈 并行查询框架（Parallel Query）可以在查询数据量到达一定阈值时，自动启动并行执行。在存储层将数据分片到不同的线程上，由多个线程并行计算，并将结果流水线汇总到总线程。最后，总线程做简单归并返回给用户...
2020年
2020-12-07 所有区域 消费监控告警 查询编辑器支持查询加速提升数据分析能力 MaxCompute数据分析查询模式原先是离线模式，此次发布查询模式支持MaxCompute查询加速，对于中、小数据量查询作业将执行时间从分钟级缩减至秒级，即查速度上提升...
Query级别诊断结果
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
时序引擎应用开发简介
4.数据查询 时序引擎提供标准的SQL访问能力，并根据时序特性扩展了SQL时序特性，支持降采样、聚合、最新值查询等时序特性的查询能力。5.连续查询 连续查询应用于大数据查询的场景。通过创建连续查询对新写入的数据预聚合处理，减少实时查询...
API概览
DescribeDatabaseInstanceMetricData 查询数据库实例监控信息 查询数据库实例监控信息。DescribeDatabaseInstanceParameters 查看轻量数据库实例的参数信息 查看轻量数据库实例的参数信息。DescribeDatabaseInstances 查看轻量数据库实例...
冷数据归档
如下所示：对于数据量最大的冷数据，时序引擎会自动根据用户设置的基于业务时间戳的冷热分界线自动将冷数据归档到冷存储中。当需要查询冷数据时，用户可以无感知地按正常查询的方式进行冷数据查询。开通冷存储 时序引擎实例创建后本身就...
收钱吧订单查询&搜索
数据量庞大，查询响应时间要求亚秒级。每日新增数据量至少75GB，当前总数据量百TB级别，同时由于移动支付的特殊性，数据需要永久保存，存储成本高昂。解决方案 云数据库Lindorm全文索引方案，通过LTS实现Lindorm宽表引擎与Lindorm搜索引擎...
风险识别管理（新版）
批量查询大量敏感数据 数据访问风险 中 单次查询数据量大于10000时命中该规则。批量导出大量敏感数据 数据导出风险 高 单次导出数据量大于10000时命中该规则。非工作时间导出大数据量敏感数据 数据导出风险 高 如下时间段导出数据量大于...
存储空间分析
您可以在 AnalyticDB for MySQL 空间总览页面查看集群和表的总数据量、冷数据量、热数据量、索引数据量、分区数量、节点的磁盘使用率等指标。查看集群级别的数据量 通过 空间总览 可以查看当前集群的 总数据量、热数据量、冷数据量、以及 ...
计算费用（按量付费）
MaxCompute按照每条查询作业扫描的数据量（每条查询至少10 MB）计费。对于取消的查询作业，按实际扫描的数据量计费。不查询不产生任何费用。MaxCompute默认对数据进行列式存储和数据压缩。MaxCompute按照压缩后的数据量计算数据扫描量。...
常见问题
单个Shard（分片）的数据量通常控制在3千万到1亿条之间（一般在30 GB以内），实际数据量控制需要根据实际业务情况确定。分片数对查询或写入性能的影响，请参见 分片数量对查询和写入性能有什么影响？如果单表数据量超过10亿，或查询RT和...
列存索引（IMCI）发布说明
PolarDB MySQL版 重磅推出的列存索引（In-Memory Column Index，简称IMCI）面向OLAP场景大数据量复杂查询。通过列存索引，PolarDB MySQL版 实现了一体化的实时事务处理和实时数据分析的能力，成为一站式HTAP数据库产品解决方案。通过一套...
列存索引如何实现高效数据过滤
当进行数据查询时，minmax索引可以根据查询范围的最小值和最大值快速定位数据块，从而减少对不相关数据的访问。以下图为例，A、B列包含3个DataPack，条件 A>15 and B结合minmax索引，最终RowGroup2与RowGroup3可跳过，只需访问RowGroup1，...
概述
PolarDB MySQL版 重磅推出的列存索引（In-Memory Column Index，简称IMCI）面向OLAP场景大数据量复杂查询。通过列存索引，PolarDB MySQL版 实现了一体化的实时事务处理和实时数据分析的能力，成为一站式HTAP数据库产品解决方案。通过一套...
慢日志
对于大数据量复杂查询，推荐使用列存索引（IMCI）提升查询性能。在 慢日志明细 区域，单击目标SQL 操作 列的 优化 和 限流，也可对目标SQL进行 SQL诊断优化 和 SQL限流。常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的...
新功能发布记录
逻辑数仓 数据归档新增归档至 AnalyticDB MySQL版 链路 迭代 定时将大表的数据归档至OSS、Lindorm、AnalyticDB MySQL版 数据库，解决了由于线上数据量增多影响表的查询性能与业务运作的问题。数据归档至AnalyticDB MySQL 3.0 03月 功能名称...
慢日志分析
对于大数据量复杂查询，推荐使用列存索引（IMCI）提升查询性能。在 慢日志明细 区域，单击目标SQL 操作 列的 优化 和 限流，也可对目标SQL进行 SQL诊断优化 和 SQL限流。查看全局慢日志 若您有多个数据库实例，您可以在 全局慢日志趋势 ...
深度解析PolarDB数据库并行查询技术
如何将查询并行起来 对于一个类OLAP的查询，它通常是对大批量数据的查询，数据量大意味着数据远大于数据库的内存容量，大部分数据可能无法缓存到数据库的缓冲区中，而必须在查询执行时才动态加载到缓冲区中，这样就会造成大量IO操作，而IO...
API概览
DescribeColumnsV2 查询数据资产表中列的数据V2 调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。DescribeOssObjects 查询OSS的存储对象列表 调用本接口查询连接授权的OSS的存储对象列表。...
数据存储
数据分区 云数据库SelectDB所有的数据模型都支持两层的数据分区：第一层是Partition分区，支持Range和List的划分方式，典型场景下按照时间进行Range分区，方便数据查询裁剪和过期清理等。SelectDB支持简单易用的动态分区方式，简化分区管理...
Slowly Changing Dimension
保存离线的基础表，每个业务时刻的增量数据独立保存，在查询数据时合并基础表和增量表。查询性能差。其中按T保留全量数据的解决方案如下图所示。为了解决上述两个解决方案存在的问题，阿里云E-MapReduce团队基于Delta Lake提供了G-SCD的...
查看监控报表
BE查询扫描数据量 执行查询过程中读取的字节数。BE的Tablet数量 分布在各个BE节点上的Tablet总数。导入任务数 显示已提交的加载作业和已完成的加载作业的计数器。如果加载提交是常规操作，则两条记录的任务数量变化趋势将表现为大致平行的...
BI分析模式数据面板功能介绍
具体功能操作如下：功能 说明 设置返回数据量 单击 查询结果 输入框，自定义输入从数据集中获取并返回的数据条数，即可设定可查询数据的数量上限值。刷新返回数据 单击 图标，可刷新绑定的字段获取返回数据的内容，可保证获取数据的新鲜...
新建SQL查询
查询数据 支持项目数据和数据源。项目数据：即查询当前项目计算源的数据。数据源：即查询数据源的数据。包括MySQL和Oracle数据源。查询数据源数据需要选择对应数据源。若无可选数据源，可以单击+新建数据源 进行新建。单击 确定，完成SQL...
新建SQL查询
查询数据 支持项目数据和数据源。项目数据：即查询当前项目计算源的数据。数据源：即查询数据源的数据。包括MySQL和Oracle数据源。查询数据源数据需要选择对应数据源。若无可选数据源，可以单击+新建数据源 进行新建。单击 确定，完成SQL...
时序引擎版本说明
功能优化 优化大量数据点查询遍历的性能问题。修复列数据类型相同的两张时序表无法结合的问题。3.4.9 2022年02月14日 新特性 DESCRIBE TABLE语法支持返回PRIMARY KEY。SQL语句区分大小写。SQL语句支持写入NULL的数据源（tag）或者数据内容...
数据变更最佳实践
本文介绍了更新、删除和导入的方法。...说明 导入数据到 AnalyticDB MySQL版 时，导入任务使用 AnalyticDB MySQL版 中的资源，如果查询数据期间需要导入数据，建议在QPS（Query Per Second，每秒查询率）较低时进行导入操作。
8.0.1和8.0.2版功能对比
支持 支持 HTAP&复杂/分析查询 列存索引 面向OLAP场景大数据量复杂查询。通过列存索引，PolarDB for MySQL 版实现了一体化的实时事务处理和实时数据分析的能力，成为一站式HTAP数据库产品解决方案。通过一套数据库系统，即可满足业务的OLTP...
数据模型
这意味着Aggregate模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据量和查询的计算量，非常适合报表类统计分析场景。该模型对 count(*)查询不友好，因为固定了Value列上的聚合方式，在进行其他类型的聚合查询时，需要考虑语义正确...
- 产品推荐
- 这些文档可能帮助您