小版本升级
2.1.26 2020年10月9日 功能优化 优化小规格实例中BucketCache的内存overhead的问题。2.1.25 2020年09月30日 功能优化 减少了Reverse Scan时取回的冗余数据量。2.1.23 2020年09月22日 功能优化 优化小内存机型的内存管理问题。2.1.21 2020年...
数仓性能优化
针对数仓的性能优化，主要是针对表和数据分布的优化。表设计的最佳实践请参见 表设计最佳实践。Hash Clustering Hash Clustering表的优势在于可以实现Bucket Pruning优化、Aggregation优化以及存储优化。在创建表时，使用 clustered by ...
数仓性能优化
针对数仓的性能优化，主要是针对表和数据分布的优化。表设计的最佳实践请参见 表设计最佳实践。Hash Clustering Hash Clustering表的优势在于可以实现Bucket Pruning优化、Aggregation优化以及存储优化。在创建表时，使用 clustered by ...
宽表引擎版本说明
2.1.26 2020年10月9日 功能优化 优化小规格实例中BucketCache的内存overhead的问题。2.1.25 2020年09月30日 功能优化 减少了Reverse Scan时取回的冗余数据量。2.1.23 2020年09月22日 功能优化 优化小内存机型的内存管理问题。2.1.21 2020年...
统计聚合
query=TermQuery('age',18)agg=Count('score',name='count')search_response=client.search(table_name,index_name,SearchQuery(query,next_token=None,limit=2,aggs=[agg]),columns_to_get=ColumnsToGet(return_type=ColumnReturnType.ALL...
统计聚合
distinct_count','type'=>AggregationTypeConst:AGG_DISTINCT_COUNT,'body'=>array('field_name'=>'boolean','missing'=>false)),),)),'columns_to_get'=>array('return_type'=>ColumnReturnTypeConst:RETURN_ALL_FROM_INDEX,),);...
Windows客户端和macOS客户端
V5.1.0-2022年8月 变更类型 变更说明 优化 优化应用安装包大小 优化 优化偏好设置窗口的交互界面 新增 新增云电脑帧率设置 新增 新增云电脑画质选择 新增 新增“Ctrl+Alt+Del”快捷操作的功能。新增 新增云盘使用域账号登录的功能。错误...
高性能Flink SQL优化技巧
id)as UV1,COUNT(distinct case when is_wireless='y' then visitor_id else null end)as UV2 优化写法 COUNT(distinct visitor_id)as UV1,COUNT(distinct visitor_id)filter(where is_wireless='y')as UV2 TopN优化技巧 TopN算法 当TopN的...
SQL性能问题
id)as UV1,COUNT(distinct case when is_wireless='y' then visitor_id else null end)as UV2 优化写法 COUNT(distinct visitor_id)as UV1,COUNT(distinct visitor_id)filter(where is_wireless='y')as UV2 TopN优化技巧有哪些？...
数据查询最佳实践
在 云原生数据仓库AnalyticDB MySQL版 中编写和优化SQL时，需要充分考虑其分布式特性，本文汇总了SQL编写和优化时的经验和技巧供您参考。经验总结 编写和优化SQL的经验总结如下：SQL编写原则为追求简单 一般情况下，数据库性能会随SQL复杂...
OSS Foreign Table使用技巧
本文介绍OSS Foreign Table相关的使用技巧，例如查看执行计划、收集统计信息、切分大文件以及查看OSS文件信息。查看执行计划 AnalyticDB PostgreSQL版 支持通过EXPLAIN查看OSS Foreign Table查询语句的执行计划。查看执行计划的示例语句...
偏分析场景的实践和优化
依据上述对分析场景的归纳，分析场景做性能优化除了要沿用TP数据库的优化思路，还会有自身不一样的优化思路。主要体现在 结构设计 和 查询优化 两个方面。结构设计 结构设计主要包括如何选择表类型、分区键、主键以及聚簇索引，使表的性能...
APPROX_COUNT_DISTINCT
背景信息 Count Distinct优化时，Aggregate节点的State需要保存所有Distinct Key信息。当Distinct Key数目过大时，State的读写开销太大，因此Count Distinct优化存在性能瓶颈。但在很多场景，完全精确的统计并不那么必要。如果您希望牺牲...
UNIQ
从Hologres V2.1版本开始，Hologres针对COUNT DISTINCT场景做了非常多的性能优化（包括单个COUNT DISTINCT、多个COUNT DISTINCT、数据倾斜、SQL没有GROUP BY字段等场景），无需再手动改写成UNIQ实现，即可实现更好的性能。详情请参见 Count...
CreateQualityRule
Action=CreateQualityRule&BlockType=0&EntityId=15224&Comment=验证&Checker=9&ExpectValue=0&Trend=abs&MethodName=count/table_count&Operator=>&ProjectName=autotest&Property=table_id&PropertyType=bigint&RuleType=0&...
JOIN
MapJoin优化 将小表加载到内存中，提高运行速度。取值：不优化：正常访问不优化。优化左表：将左表作为小表加载到内存中，提高访问速度。优化右表：将右表作为小表加载到内存中，提高访问速度。关联条件 仅支持等式，可手动添加或删除关联...
使用EXPLAIN阅读查询计划
查询优化器使用数据库的数据统计信息来选择具有最小总代价的查询计划，查询代价通过磁盘I/O取得的磁盘页面数作为单位来度量。可以使用EXPLAIN和EXPLAIN ANALYZE语句发现和改进查询计划。EXPLAIN的语法如下：EXPLAIN[ANALYZE][VERBOSE]...
倒排索引
当您需要快速检索 云数据库 SelectDB 版 中的大量文本数据时，本文档将指导您如何创建和使用倒排索引，以支持您的文本检索应用，并提高检索速度。背景信息 倒排索引，是信息检索领域常用的索引技术。通过将文本分割成一个个词然后构建索引...
无影魔方AS05
优化 优化1080p分辨率下鼠标流畅度 优化了1080p分辨率下鼠标使用流畅度。优化 优化云电脑资源状态提示 鼠标悬停在云电脑卡片左上角的状态文案后，将浮现详细状态说明，包括资源是否在计费中、开机、关机和重启的预计时间。优化 终端的 设置...
新功能发布记录
10-20 升级内核小版本 优化 Serverless实例 创建或配置RDS MySQL Serverless实例时，RCU的选择范围从原来的[0.5,16]变更为[0.5,32]，最大可支持32RCU。10-18 配置Serverless实例 新增 弹性型（特惠版）节省计划 RDS MySQL新增弹性型（特惠...
Logtail发布历史
1.8.6 发布时间：2024.01.30 优化 Golang插件指标数据和上报逻辑优化，指标统一通过C++指标模块上报 修复 修复开启高精度时间戳开关后Golang模块误加载问题 1.8.5 发布时间：2024.01.24 修复 修复标签数据多线程处理导致Golang插件模块异常...
容器服务Kubernetes版（新版）
Count node.filesystem.limit userId、cluster、node Value 节点文件系统使用 Count node.filesystem.usage userId、cluster、node Value 节点内存可分配额 Byte node.memory.allocatable userId、cluster、node Value 节点缓存内存使用量 ...
新功能发布记录
无 优化 JOIN调优 优化Hash Join表关联时过滤器的应用场景和传递效率，支持小表为子查询。无 Parquet向量化读取优化 提升Parquet数据格式的查询效率。无 Aggregation算子优化 优化String分组列和多个分组列场景下Aggregation算子的执行效率...
PolarDB MySQL版8.0.2版本发布日志
8.0.2.2.22.1 类别 说明 发布时间 新增功能和性能优化 优化了将冷数据从OSS导回至InnoDB引擎的报错信息内容。支持在SQL Trace中配置跟踪慢查询的执行信息。2024-04-17 问题修复 修复Statement Outline和Concurrency Control等功能在执行...
DISTRIBUTED MAPJOIN
语法示例-推荐，指定shard_count（replica_count默认为1）/*+distmapjoin(a(shard_count=5))*/-推荐，指定shard_count和replica_count/*+distmapjoin(a(shard_count=5,replica_count=2))*/-distmapjoin多个小表/*+distmapjoin(a(shard_...
DISTRIBUTED MAPJOIN
语法示例-推荐，指定shard_count（replica_count默认为1）/*+distmapjoin(a(shard_count=5))*/-推荐，指定shard_count和replica_count/*+distmapjoin(a(shard_count=5,replica_count=2))*/-distmapjoin多个小表/*+distmapjoin(a(shard_...
不兼容SQL重写
正确改法 select cnt,s,s/cnt avg from(select count(c1)cnt,sum(c1)s from t1 group by c2 having count(c1)>1)tmp;order.by.no.limit 说明：MaxCompute默认 order by 后需要增加 limit 限制数量，因为 order by 是全量排序，没有 limit ...
JindoData版本说明
在性能优化方面，JindoFS存储系统通过存量以及增量的方式优化Du和Count性能，显著提升Du和Count操作性能。对于JindoSDK而言，JindoSDK 4.6.x版本支持文件以及数据块级别的校验，提高JindoSDK写入链路的稳定性。此外，JindoSDK还支持多路径...
EMR-3.23.x版本说明
添加支持多个count distinct字段的数据倾斜处理优化。解决join不同bucketversion的表时丢数据的问题。Flink 升级至1.8.2。Bigboot 更新小文件工具。更新OSS JAR，解决非daemon线程问题。Kafka 新增感知Deploymen Set特性。去掉fastjson依赖...
时序引擎版本说明
重要 系统会自动检测实例的时序引擎版本，如果 小版本升级 按钮不存在，表示该实例的时序引擎版本已经是最新的。由于各地域版本发布进度可能有所差异，时序引擎版本发布情况以当前控制台显示为准。3.4.17~3.4.x 3.4.38 发布日期 类型 说明 ...
Delta连接器
目前支持Parquet自身的优化和Data Skipping的优化。执行优化后，Delta会按文件粒度统计各个字段的最大和最小值，该统计信息用于直接过滤数据文件。Trino的Delta连接器可以读取到这些统计信息。对于使用OPTIMIZE和ZORDER BY命令优化过的...
优化内部表的性能
使用Runtime Filter 从V2.0版本开始，Hologres开始支持Runtime Filter，通常应用在多表Join（至少2张表），尤其是大表Join小表的场景中，无需手动设置，优化器和执行引擎会在查询时自动优化Join过程的过滤行为，使得扫描更少的数据量，从而...
MYSQL深潜-剖析Performance Schema内存管理
} }/轮询所有Page后没有分配成功，如果没有达到上限的话，开始扩容page while(current_page_count< m_max_page_count){/因为是并发访问，为了避免同时去创建新page，这里有一个把同步锁，也是整个PFS内存分配唯一的锁 native_mutex_lock(&m_...
功能发布记录
Hologres V2.1版本（2023年10月）2023年10月正式发布Hologres V2.1版本，新增功能如下：引擎能力增强 针对单条以及多条 COUNT DISTINCT 在运行时自动性能优化，显著提升 COUNT DISTINCT 场景的查询效率，详情见 Count Distinct优化。...
如何分析及优化慢SQL
如果涉及到的慢SQL是典型的大小表关联，并且小表的数据为量不大且变化频率不高的，那么可以把小表做成广播表，这样任何表和广播表做关联，都会被优化成可下推的物理SQL；如果关联涉及到的表分片策略无法变更，可以以Join Key为表创建全局二...
向量计算使用指南
Analyze是收集统计信息，用于优化器QO（Query Optimizer）生成较优的执行计划，提高查询性能。analyze;向量查询。Hologres支持精确和近似向量查询，其中以 pm_开头的UDF都为精准查询，以 pm_approx_开头的UDF都为近似查询。只有以 pm_...
Range Clustering
不仅仅可以优化等值查询，也可以优化区间查询。例如对于一个简单的查询条件 id，先在优化器里面将查询条件抽取出来，并转化成值域空间(-∞,3)。这个时候就可以利用Global Index做Bucket Pruning，把不在这个区间的Bucket 2和Bucket 3都去掉...
Left join优化改写为Right join
这时如果右表过大也会对性能有影响，因此，建议在left join左表较小，右表较大的场景下进行优化。较小、很大的概念是相对的，和关联列、集群资源等都有关系。在实践中，我们可以通过 Explain analyze 查看执行计划的相关参数，通过关注...
Proxima向量计算
Analyze是收集统计信息，用于优化器QO（Query Optimizer）生成较优的执行计划，提高查询性能。analyze;向量查询。Hologres支持精确和近似向量查询，其中以 pm_开头的UDF都为精准查询，以 pm_approx_开头的UDF都为近似查询。只有以 pm_...
Explain和Explain Analyze
当SQL查询性能不佳或查询结果不符合预期时，Hologres提供了Explain和Explain Analyze命令用于分析查询语句执行计划，可以帮助您了解Hologres如何执行查询语句，以便您对查询语句或数据库结构进行调整优化。本文介绍在Hologres中通过Explain...
- 产品推荐
- 这些文档可能帮助您