2021年
创建了物化视图后，执行查询操作时，MaxCompute SQL查询改写能力会自动匹配到最优物化视图，并直接从物化视图中读取数据，从而大大提高查询效率，您不需要修改已有查询。2021-08-06 全部地域 物化视图操作 2021-07 功能名称 功能描述 发布...
2021年
无 DBLink 默认开启Unsafe Collate下推和ALL/ANY下推，从而极大提高查询性能。可通过 polar_enable_pushable_unsafe_collate_remote 与 polar_enable_pushable_all_any_remote 参数进行关闭。使用DBLink跨库查询数据 Rownum 对Rownum进行了...
2021年
无 2021年5月 时空数据库（V3.7）类别 名称 描述 相关文档 发布时间 新增 时空并行查询 支持空间索引并行查询，提升查询效率。开启时空并行查询 2021年5月 优化 栅格图像处理 ST_SubRaster函数支持栅格像元类型转换以及像元值拉伸。支持多...
慢查询日志
在一些业务场景中，用户会向TSDB发起高流量的查询，造成较高的负载，从而使TSDB的整体...当用户通过慢查询日志定位到可疑的查询后，可以结合 如何减少查询命中时间线提升查询效率 或者 如何减少查询数据点提高查询效率 等方法来优化查询性能。
CREATE TABLE
例如在上述二级HASH分区中，查询数据时同时输入storeId列和goodsId列的过滤信息会确定在一个分区中进行数据检索，减少数据的扫描范围从而提高查询效率。使用二级HASH分区时，一级分区键（Lindorm搜索表的第一列即storeId列）必须设置加盐...
CREATE TABLE
普通表能够充分利用分布式系统的查询优势，提高查询效率。普通表可存储的数据量较大，通常可以存储千万条甚至千亿条数据。DISTRIBUTED BY BROADCAST，定义表为维度表。维度表会在集群的每个分片存储一份数据，因此建议每个维度表中的数据量...
计算下推
PolarDB MySQL版 支持多存储引擎（InnoDB/X-Engine/.)，为了提高查询的执行效率，在执行层我们引入了计算下推的能力，将尽可能多的操作在各个存储引擎层内部完成而不需要返回到计算层，减少了不必要的函数调用开销和格式转换开销，可以大幅...
离线同步并发和限流之间的关系
为了提高数据同步的效率，可以适当调整任务的并发数，以缩短数据搬迁需要的时间。在产品中配置位置如图所示：文件类型（OSS、FTP、HDFS、S3）数据读取，主要基于文件粒度并发读取，待读取的文件数量少于任务配置并发数。上面任务期望最大...
方案设计
合理的表结构设计可以提高查询效率，在设计表data时，使用四个主键列：主键 说明 GridDataSetId 数据集Id，唯一标记这个数据集。Variable 变量名，即五维模型中的第一维。Time 时间，即五维模型中的第二维。Z 高度，即五维模型中的第三维。...
PolarDB HTAP实时数据分析技术解密
列式存储同样能提高CPU在处理数据时的执行效率。首先，列存的紧凑排列方式可提升CPU访问内存效率，减少L1/L2 Cache miss导致的执行停顿。其次，在列式存储上可以使用SIMD技术进一步提升单核吞吐能力，这也是现代高性能分析执行引擎的通用...
概述
PolarDB PostgreSQL版 分区表的查询优化可以让它相比于同样数据量的普通表性能更加优异，特别是面临超大数据量场景时，合理的使用分区，可以有效地提高查询效率。PolarDB PostgreSQL版 支持分区修剪技术和分区wise-join技术，这两种技术在...
概述
PolarDB PostgreSQL版（兼容Oracle）分区表的查询优化可以让它相比于同样数据量的普通表性能更加优异，特别是面临超大数据量场景时，合理的使用分区，可以有效地提高查询效率。PolarDB PostgreSQL版（兼容Oracle）支持分区修剪技术和分区...
概述
PolarDB PostgreSQL版（兼容Oracle）分区表的查询优化可以让它相比于同样数据量的普通表性能更加优异，特别是面临超大数据量场景时，合理的使用分区，可以有效地提高查询效率。PolarDB PostgreSQL版（兼容Oracle）支持分区修剪技术和分区...
设置数据冷热存储策略
冷热分离可以有效提高热数据的查询效率，减少冷数据的存储成本。本文介绍通过开源HDFS客户端设置冷热数据存储策略的方法。前提条件 已开通冷存储功能。具体操作，请参见 开通冷存储。操作步骤 通过开源HDFS客户端访问文件引擎，具体操作，...
使用MongoDB存储日志数据
查询所有访问/apache_pb.gif的请求：q_events=db.events.find({'path':'/apache_pb.gif'})说明 如果这种查询非常频繁，可以针对path字段建立索引，提高查询效率。如：db.events.createIndex({path:1})查询某一天的所有请求：q_events=db....
性能监控最佳实践
混合模式是指将统计数据通过公网统一上报，进行集中处理（数据量小，精度要求高），而链路数据采用跨云查询方式进行检索（数据量大，查询频率低）。仅透传模式是指每个云环境之间仅保证链路上下文能够完整透传，链路数据的存储与查询独立...
Range Clustering
背景信息 哈希聚簇（Hash Clustering）表有以下优点：对于等值的列条件查询，可以利用Hash算法直接定位到对应的哈希桶（Bucket Pruning），如果桶内数据排序存储，还可以进一步利用索引定位，从而减少数据扫描量，提高查询效率。...
表结构设计
普通表（即分区表）能够充分利用分布式系统的查询优势，提高查询效率。普通表可存储的数据量较大，通常可以存储千万条甚至千亿条数据。选择分布键 如果业务明确有增量数据导入需求，创建普通表时可以同时指定分布键和分区键，来实现数据的...
Spark应用性能诊断
AnalyticDB for MySQL 湖仓版（3.0）推出Spark应用诊断功能，若您提交的Spark应用存在性能问题，您可以根据诊断信息快速定位和分析性能瓶颈问题，优化Spark应用，提高问题解决效率。本文主要介绍如何进行Spark应用性能诊断以及性能诊断的...
列存索引如何实现高效数据过滤
该技术可以在过滤数据时，提前过滤掉不需要访问的DataPack，从而减少数据访问量，提高查询效率。具体实现方式是通过访问分区信息和统计信息，结合特定的过滤条件，在查询之前就把不符合条件的数据剪去。这样就可以减少对存储的扫描次数，...
避免下盘
由于磁盘操作相对内存访问缓慢，避免查询执行过程中的算子下盘有助于提高查询效率。算子下盘常见原因 在数据量较大的表上执行SORT、JOIN、HASH等操作时，可能由于内存不足导致临时结果落盘。您通过观察执行计划（explain analyze）可以辨认...
跨库查询
当需要查询分散在不同数据库中的数据时，您可以使用 云原生数据仓库 AnalyticDB PostgreSQL 版 的跨库查询功能方便地将数据聚合在一起，进行高效查询，提高数据访问效率。功能介绍 Database是PostgreSQL生态下数据库的最高级别，同一个实例...
数据标准
导入数据标准 为了提高数据标准的添加效率，建议借助Excel的形式批量导入数据标准到平台中。可以参照数据标准模版中的信息项填写数据标准的主题、中文名称、英文名称等信息。进入【数据标准】模块，点击【批量导入】按钮。定位到本地磁盘中...
StarRocks概述
无需人工干预，就可以通过统计信息合理估算执行成本，生成更优的执行计划，大大提高了AdHoc和ETL场景的数据分析效率。联邦查询 StarRocks支持使用外表的方式进行联邦查询，当前可以支持Hive、MySQL、Elasticsearch、Iceberg和Hudi类型的...
互联网、电商行业离线大数据分析
DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商网站数据看板。全国、全球业务的态势分析。互联网、金融行业的风险数据监控。方案介绍 实现互联网、电商行业离线大数据分析的...
SQL处理优化
在查询效率上，跟查询普通表最大的不同在于，读取源表数据文件时，可能会涉及大量 DeltaFile 的合并以及数据历史中间状态的消除，详情可参见 TimeTravel 查询设计，从而极大影响读取效率，因此对于查询频率和效率要求比较高的业务场景，...
快速入门
操作流程 从创建时空数据表到根据时空范围查询轨迹，您需要完成以下操作：创建时空数据表并写入数据 创建时空索引提高查询效率 查询指定时空范围的轨迹点数据 创建时空数据表并写入数据 通过Lindorm-cli连接宽表引擎并写入数据 连接Lindorm...
列存索引技术架构介绍
最后，总线程做简单归并返回给用户，以提高查询效率。并行查询突破了单核执行性能的限制，利用多核CPU的并行处理能力，使得部分SQL查询耗时成指数级下降。PolarDB列式存储 并行执行框架突破了CPU扩展能力的限制，带来了显著的性能提升。...
加速服务
数据服务支持对部分数据源表的查询提供加速能力，加速能力包含DataWorks数据服务提供的加速能力和MaxCompute本身支持的加速方案（MCQA）。通过使用加速服务，您可以在调用API时提高数据查询的速率和性能。本文为您介绍两种加速方案的使用...
索引优化
压缩表或者适合使用稀疏索引的范围查询：索引可以提高压缩的AO/AOCS表的查询效率，尤其是在进行范围查询时使用稀疏索引，可以有效地避免加载无效的数据，从而优化I/O效率。同理，更少的数据加载意味着更少的数据解压缩，可以有效地降低解压...
查询优化（Query Optimizer)
优化器的功能是否强大是决定数据库性能是否高效稳定的核心因素，尤其在具有混合负载的场景下（包括一定复杂分析查询），优化器对于大数据量复杂查询的执行效率至关重要。本章节将介绍 PolarDB MySQL版 查询优化器组件在多个方面的功能，...
Github实时数据同步与分析
本文以使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析为例，为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。教程...
技术原理
扩展性原理 扩展性本质在于分而治之，PolarDB-X 1.0 计算资源通过水平拆分（分库分表）和垂直拆分，将数据分散到多个存储...避免数据异步传输，满足全局数据查询一致性，提升业务实时分析效率。资源链路隔离，确保在线核心业务链路稳定性。
HTAP中的行列混存查询优化
谓词重排序：单表扫描中存在多个谓词的情况，例如 t1.c2 LIKE '%cat%' AND t1.c1=5，其中 t1.c1=5 执行的代价较低，且选择率较低，通过重排这两个谓词的顺序，让 t1.c1=5 先执行，可以显著地减少更重的 LIKE 操作，提高查询效率。...
表数据格式
数据存储分桶 为了进一步优化读写效率，Transactional Table 2.0支持按照BucketIndex对数据进行切分存储，BucketIndex数据列默认复用PK列，bucket数量可通过配置表属性 write.bucket.num 指定，因此对同一张表或分区的数据，写入数据会按PK...
高维向量相似度搜索（pgvector）
为了提高相似度的查询效率，pgvector支持为向量数据建立索引，执行如下语句，为embedding字段建立索引。CREATE INDEX ON items USING ivfflat(embedding vector_cosine_ops)WITH(lists=100);各参数说明如下：参数/取值 说明 items 添加索引...
Superset（仅对存量用户开放）
使用Superset访问Hive数据库 Superset提供了SQLAlchemy以多种语言支持各种各样的数据库，包括MySQL、Oracle、PostgreSQL和Microsoft SQL Server等关系型数据库，以及Hive、Presto和Druid等大数据查询引擎。这里以E-MapReduce Hadoop集群...
索引介绍
使用宽表模型的表引擎查询数据时存在依赖主键以及根据属性查询效率低的问题，表格存储提供了二级索引和多元索引用于解决宽表模型的数据查询问题。您也可以为数据表创建映射关系后，像使用传统数据库一样使用SQL查询表中数据。表引擎 宽表...
混合负载HTAP
执行计划的好坏很大程度上决定了查询效率，查询优化对于AP（Analytical Processing）类分析型查询至关重要。读写分离 当在线业务流量比较多时，对 PolarDB-X 主实例压力比较大。此种场景下，PolarDB-X 建议您购买只读实例，按照预先设置好...
风险识别管理（新版）
规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五：22:00～24:00。周六至周日：00:00～24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...
- 产品推荐
- 这些文档可能帮助您