Hash Join的并行加速

Hash Join是社区版MySQL 8.0版本中引入的新Join方式,可以大幅提升分析型查询的执行性能。PolarDB MySQL版 8.0版本提供了对Hash Join的并行执行支持,并不断丰富其并行执行策略。本文介绍如何在 PolarDB 的并行查询中使用Hash Join功能。...

RANGE-HASH

本文档介绍了创建RANGE-HASH分区表的方法。语法 创建RANGE-HASH分区表。一级分区是RANGE[COLUMNS]类型,二级分区是HASH/KEY类型。CREATE TABLE[schema.]table_name table_definition PARTITION BY RANGE {(expr)|COLUMNS(column_list)} ...

何时选择HASH分区

对于分布规则不明显的数据,并没有明显的范围查找等特征,可以使用HASH分区,将数据分区列的值按照HASH算法打散到不同的分区上,将数据随机分布到各个分区。使用HASH分区的目的如下:使分区间数据分布均匀,分区间可以并行访问;根据分区键...

STR_HASH

本文将介绍STR_HASH函数使用方式。描述 STR_HASH函数通过指定字符串的开始位置下标与结束下标,以截取拆分键的字符串的某段子串,然后将其作为字符串(或整数)输入进行分库分表的路由计算具体的物理分片,函数如下所示:STR_HASH(shardKey...

STR_HASH

本文将介绍STR_HASH函数使用方式。注意事项 使用STR_HASH做拆分的表仅适用于点查场景,如果在业务中范围查询,则会接直接触发全表扫描导致慢查询。使用限制 拆分键的数据类型需为字符串类型(CHAR或VARCHAR)。不支持在建表完成后再调整STR...

RANGE_HASH

本文将介绍RANGE_HASH函数的使用方式。描述 根据任一拆分键后N位计算哈希值,然后再按分库数取余,完成路由计算。N为函数第三个参数。例如,RANGE_HASH(COL1,COL2,N),计算时会优先选择COL1,截取其后N位进行计算。COL1不存在时再选择COL2...

并行查询和Hash Join的并行执行

更多关于并行查询和Hash Join的并行执行的文字说明,请参见 并行查询(Parallel Query)和 Hash Join的并行执行。

何时使用Range-Hash分区

Range-Hash分区是一级分区为Range分区,二级分区为Hash分区的组合分区类型。Range-Hash分区对于存储历史数据的大表很常见,并且经常与其他大表连接。对于这些类型的表(典型的数据仓库系统),组合Range-Hash分区提供了在Range级别进行分区...

RANGE_HASH

本文将介绍RANGE_HASH函数的使用方式。适用场景 适用于需要有两个拆分键,并且查询时仅有其中一个拆分键值的场景。使用限制 拆分键的类型必须是字符类型或数字类型,两个拆分键类型必须保持一致。两个拆分键皆不能修改。折分键暂时不支持做...

何时选择LIST DEFAULT HASH分区

本文主要介绍了选择LIST DEFAULT HASH分区的场景。如果您想用LIST规则进行分区,但是分区键字段无法全部枚举,或者枚举值非常多,而对应的数据量很少。数据分布符合二八原则,20%的分区键值包含了80%的数据量,剩余80%的分区键值包含了20%...

LIST DEFAULT HASH

本文介绍了创建和修改LIST DEFAULT HASH分区表的方法。背景信息 PolarDB 在同一级别支持两种分区类型:LIST和HASH。前面是普通的LIST分区,不符合LIST分区规则的数据会放在DEFAULT分区里,DEFAULT分区如果有多个分区则根据HASH规则计算。...

数仓性能优化

在创建表时,使用 clustered by 指定 Hash Key 后,MaxCompute将对指定列进行Hash运算,按照Hash值分散到各个Bucket里。Hash Key值的选择原则为选择重复键值少的列。Hash Clustering表的使用方法详情请参见 修改表的Hash Clustering属性。...

分区索引

建议使用 多级HASH分区(高级用法),对Lindorm宽表的多个列组合进行HASH分区(即二级HASH分区或者三级HASH分区)。自定义分区键的值有以下限制:分区键值不可更改。分区键值不能为空。时间范围分区 对于一些时间序列的数据,可以按照时间...

CREATE TABLE

语法 CREATE TABLE[IF NOT EXISTS]table_name '(' column_definition(',' column_definition)*[',' PRIMARY KEY '(' primary_key ')']')'[PARTITION BY RANGE TIME '(' time_partition_key=value ')'][PARTITION BY HASH '(' hash_...

数仓性能优化

在创建表时,使用 clustered by 指定 Hash Key 后,MaxCompute将对指定列进行Hash运算,按照Hash值分散到各个Bucket里。Hash Key值的选择原则为选择重复键值少的列。Hash Clustering表的使用方法详情请参见 表操作。如何转化为Hash ...

hash(计算CRC64或MD5)

hash 命令用于计算本地文件的MD5或CRC64。重要 本文各命令行示例均基于Linux 64位系统,其他系统请将命令开头的./ossutil64 替换成对应的Binary名称。详情请参见 命令行工具ossutil快速入门。命令格式./ossutil64 hash localfile[-type=]...

存证交易模型

交易哈希:getTxHash()模型不存储 hash,该方法对交易序列化后计算 hash。Payload 类型 Payload 目前仅支持存证模型,已支持的 Payload 子类如下:ContentOnlyNotaryPayloadDO HashOnlyNotaryPayloadDO LinkNotaryPayloadDO ...

维表JOIN语句

SELECT/*+SHUFFLE_HASH(D1,D2)*/FROM src AS T LEFT JOIN dim1 FOR SYSTEM_TIME AS OF PROCTIME()AS D1 ON T.a=D1.a LEFT JOIN dim2 FOR SYSTEM_TIME AS OF PROCTIME()AS D2 ON T.b=D2.b REPLICATED_SHUFFLE_HASH 使用效果 在维表Join中...

子分区模板

创建子分区模板3(仅适用于分区和子分区都是HASH分区类型的情况)CREATE TABLE hash_sub_template(deptno NUMBER,empname VARCHAR(32),grade NUMBER)PARTITION BY HASH(deptno)SUBPARTITION BY HASH(empname)PARTITIONS 4 SUBPARTITIONS 3;...

普通表索引

index_clause|XMLIndex_clause }]global_partitioned_index:GLOBAL PARTITION BY { RANGE(column_list)(index_partitioning_clause)|HASH(column_list){ individual_hash_partitions|hash_partitions_by_quantity } } local_partitioned_...

自定义分区

指定 hash 一级分区数量 指定 hash 一级分区数量 hash_partitions_by_quantity 的语法如下:PARTITIONS hash_partition_quantity[STORE IN(tablespace[,tablespace].)][table_compression|index_compression][OVERFLOW STORE IN(tablespace...

规约分区

规约分区用于减少HASH分区的数量。概述 规约分区是针对于HASH分区的行为,用于减少HASH分区的数量,减少的过程中会使部分HASH分区的数据重新分布。在一致性HASH分区算法下,每次规约会固定影响两个分区的数据分布。语法-drop partition ...

概述

List Default[Hash]分区类型 支持List Default[Hash]分区 LIST DEFAULT HASH 支持List Default[Hash]分区下面做二级分区 二级分区支持List Default分区 支持通过reorganize从default[Hash]分区分离出List分区 支持通过reorganize List分区...

8.0.2版本发布说明

分区表能力增强 支持更多的分区表类型 组合分区(分区+子分区)支持更多的分区表类型RANGE-RANGE、RANGE-LIST、LIST-RANGE、LIST-LIST、HASH-HASHHASH-KEY、HASH-RANGE、HASH-LIST、KEY-HASH、KEY-KEY、KEY-RANGE、KEY-LIST、LIST ...

RDS MySQL引擎表索引方式更改为Hash无效的原因说明

概述 本文主要介绍RDS MySQL引擎表索引方式更改为Hash无效的原因说明。详细信息 阿里云提醒您:如果您对实例或数据有修改、变更等风险操作,务必注意实例的容灾、容错能力,确保数据安全。如果您对实例(包括但不限于ECS、RDS)等进行配置...

COALESCE PARTITION

本文档介绍了减少基于HASH和KEY分区的分区数和对应分区的所有子分区,并将数据合并到其他分区和子分区中的方法。语法 ALTER TABLE…COALESCE PARTITION 命令用于减少基于HASH和KEY分区的分区数和对应分区的所有子分区,并将数据合并到其他...

HINT

执行计划对比 未开启Hint的执行计划 QUERY PLAN-Gather(cost=0.00.10.07 rows=1000 width=4)->Hash Join(cost=0.00.10.05 rows=1000 width=4)Hash Cond:(t1.a=t2.a)->Redistribution(cost=0.00.5.01 rows=1000 width=4)Hash Key:t1.a->...

子分区使用模版

SUB_TEMPLATE|4|PG_DEFAULT|PolarDB|HASH_SUB_TEMPLATE|A1|1|PG_DEFAULT|PolarDB|HASH_SUB_TEMPLATE|B1|2|PG_DEFAULT|PolarDB|HASH_SUB_TEMPLATE|C1|3|PG_DEFAULT|PolarDB|HASH_SUB_TEMPLATE|D1|4|PG_DEFAULT|(8 rows)

指定partition查询

功能介绍 在对文档建索引的过程中,引擎会对文档中某个可配置字段的值进行Hash操作,根据得出的hash值(范围为[0~65535])将文档归类到不同的partition当中。例如一篇描述商品的文档中,用户将“类型”字段配置为需要进行hash的字段,那么...

查询接口

函数原型 public QueryBlockHeaderResponse queryBlockHeader(Hash hash)请求参数 参数 必选 类型 说明 hash true Hash 区块 hash 返回字段 返回字段 字段类型 说明 response QueryBlockHeaderResponse 查询区块头的响应 ...

一级分区

hash 分区 hash 分区的语法如下:PARTITION BY HASH(column[,column].){ individual_hash_partitions|hash_partitions_by_quantity } individual_hash_partitions:(PARTITION[partition][read_only_clause][indexing_clause][partitioning_...

指定partition查询

功能介绍 在对文档建索引的过程中,引擎会对文档中某个可配置字段的值进行Hash操作,根据得出的hash值(范围为[0~65535])将文档归类到不同的partition当中。例如一篇描述商品的文档中,用户将“类型”字段配置为需要进行hash的字段,那么...

Sharding 功能介绍

语法 CREATE[TEMPORARY]TABLE tbl_name[(create_definition,.)][table_options][dbshard by hash([id,str])shards N][tbshard by hash([id,str])shards N]使用限制 单库单表:在单库单表中执行 Sharding 语句创建分库分表时,会被拦截。...

查询接口

函数原型 public QueryBlockHeaderResponse queryBlockHeader(Hash hash)请求参数 参数 必选 类型 说明 hash true Hash 区块 hash 返回字段 返回字段 字段类型 说明 response QueryBlockHeaderResponse 查询区块头的响应 ...

Kudu连接器

by_second_hash_buckets=3)说明 该示例定义了两组Hash分区,第一组Hash分区按照列col1对数据行分布到2个分区,第二组Hash分区按照列col2对数据行分布到3个分区,因此该表会有共计2*3=6个分区。Range分区 kudu表最多可以有一个Range分区,...

cluster子句

一些例子:#查询hash字段内容为123,456对应的分片的内容 {"cluster":{"hash_field":["123","456"]} }#查询hash字段内容为abc对应的分片的内容 {"cluster":{"hash_field":["abc"]} } 指定分片ID查询 {"cluster":{"part_ids":[]} } 如果知道...

cluster子句

一些例子:#查询hash字段内容为123,456对应的分片的内容 {"cluster":{"hash_field":["123","456"]} }#查询hash字段内容为abc对应的分片的内容 {"cluster":{"hash_field":["abc"]} } 指定分片ID查询 {"cluster":{"part_ids":[]} } 如果知道...

计划加速

hash a(cost=0.00.1.00 rows=1 width=4)(actual time=152.305.152.306 rows=0 loops=1)(Iteration partition number 10000)Scan Partitions:part_hash_sys0102,part_hash_sys0103,part_hash_sys10198,part_hash_sys10199,part_hash_sys...

计划加速

hash a(cost=0.00.1.00 rows=1 width=4)(actual time=152.305.152.306 rows=0 loops=1)(Iteration partition number 10000)Scan Partitions:part_hash_sys0102,part_hash_sys0103,part_hash_sys10198,part_hash_sys10199,part_hash_sys...

添加分区和子分区

desc].|list_subpartition_desc[,list_subpartition_desc].|individual_hash_subparts[,individual_hash_subparts].})|hash_subparts_by_quantity][update_index_clauses]add_system_partition_clause:[table_partition_description]...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据管理 弹性公网IP 短信服务 人工智能平台 PAI 金融分布式架构 对象存储
新人特惠 爆款特惠 最新活动 免费试用