为什么Redis内存报警与监控的内存使用率不一致
检查是否使用了Hash Tag 如果使用了Hash Tag，请根据业务实际情况，评估将一个Hash Tag拆分为多个Hash Tag，使数据更加均匀地分布在不同的数据分片节点上。扩容实例规格 扩容实例规格，可以增加实例每个分片的内存，是改善内存倾斜的临时...
Hash Clustering
整体测试结果表明，在使用了Hash Clustering之后，总CPU时间减少了约 17.3%，总的Job运行时间减少了约 12.8%。需要注意到是TPC-H里并不是所有的Query都可以利用到Clustering属性，特别是两个耗时最长的Query没有办法利用上，所以从总体上的...
PolarDB处理TPC-H查询的挑战和机遇
MySQL 8.0后引入了hash join，但社区版本存在很多的局限性，具体如下：hash join的选用完全是基于规则，将优化器选择的BNL硬替换为hash join。因此如果有index，则完全不考虑hash join，即使其执行更优；无index时，由于join ordering的...
优化MaxCompute外部表的查询性能
创建MaxCompute表时，如果使用 Clustered By 指定了Hash Key，则MaxCompute对指定列进行Hash运算，并分散Hash值至各个Bucket中。请选择重复键值少的列作为Hash Key。如果没有指定Hash Key，则使用如下语句指定。ALTER TABLE table_name...
模型特征配置
如果配置了 hash_bucket_size，则组合之后的特征值会hash到 hash_bucket_size 个桶里。Lookup Feature lookup feature，是从一组kv中匹配到自己需要的结果。lookup feature 依赖 map 和 key 两个字段，map是一个多值string(MultiString)...
Explain和Explain Analyze
Final HashAggregate(cost=0.00.7793.27 rows=3 width=76)Group Key:l_returnflag,l_linestatus->Redistribution(cost=0.00.7792.95 rows=1881 width=76)Hash Key:l_returnflag,l_linestatus->Partial HashAggregate(cost=0.00.7792.89 ...
重要参数说明
启动 作业后，在 状态总览 页签下，您可以看到Sink节点和上游节点的并发度都为2，并且数据连接方式变成了HASH。table.exec.mini-batch.size 该参数控制了相关的计算节点进行微批操作所缓存的最大数据条数，达到该值后触发最终的计算和数据...
排查Redis实例内存使用率高的问题
检查是否使用了Hash Tag 如果使用了Hash Tag，请根据业务实际情况，评估将一个Hash Tag拆分为多个Hash Tag，使数据更加均匀地分布在不同的数据分片节点上。扩容实例规格 扩容实例规格，可以增加实例每个分片的内存，是改善内存倾斜的临时...
发现并处理大Key和热Key
TairHash是一种可为field设置过期时间和版本的HASH数据类型，它不但和Redis Hash一样支持丰富的数据接口和高处理性能，还改变了Hash只能为Key设置过期时间的限制，可以为field设置过期时间和版本。这极大地提高了HASH数据类型的灵活性，...
发现并处理Redis的大Key和热Key
TairHash是一种可为field设置过期时间和版本的Hash数据类型，它不但和Redis Hash一样支持丰富的数据接口和高处理性能，还改变了Hash只能为Key设置过期时间的限制，可以为field设置过期时间和版本。这极大地提高了HASH数据类型的灵活性，...
Tair扩展数据结构概览
Hash增强 exHash 无 TairHash支持为field设置过期时间和版本，提高了Hash数据结构的灵活性，简化了很多场景下的业务开发工作。该数据结构已开源，更多信息请参见 TairHash。最佳实践：基于TairHash实现用户多设备登录管理。Zset增强 exZset...
Tair命令概览
Hash增强 exHash 无 TairHash支持为field设置过期时间和版本，提高了Hash数据结构的灵活性，简化了很多场景下的业务开发工作。该数据结构已开源，更多信息请参见 TairHash。最佳实践：基于TairHash实现用户多设备登录管理。Zset增强 exZset...
2023年
由于大表执行HASH算子性能较差，系统优化了HASH JOIN左右表的代价参数，避免ORCA优化器产出大表在右表的计划。在ORCA优化器中，修改了Broadcast（数据广播）的代价惩罚界限，可以让优化器更准确地判断是否需要使用包含Broadcast Motion算子...
基于TairHash实现用户多设备登录管理
TairHash支持为Field设置过期时间和版本，提高了Hash数据结构的灵活性，简化了复杂场景下的业务开发工作。背景信息 您可基于Redis String轻松实现用户单设备登录管理，但对于用户多设备登录管理场景，基于String实现则需要将用户ID与设备...
内存型
Hash增强 exHash 无 TairHash支持为field设置过期时间和版本，提高了Hash数据结构的灵活性，简化了很多场景下的业务开发工作。该数据结构已开源，更多信息请参见 TairHash。最佳实践：基于TairHash实现用户多设备登录管理。Zset增强 exZset...
代码仓库加密是如何实现的？
因为他们使用了 Git 进行代码维护，对于 Linux 内核代码将近40000个文件来说，每个文件都做了 hash 来确保唯一性，因此很难在不引起注意情况下，更改旧的版本。虽然Git可以解决开源社区关心的 源码篡改 问题，却解决不了企业担心的 数据...
exHash
TairHash（exHash）是一种可为field设置过期时间和版本的Hash类型数据结构，提高了Hash数据结构的灵活性，简化了很多场景下的业务开发工作。TairHash简介 TairHash不但和Redis Hash一样支持丰富的数据接口和高处理性能，还改变了hash只能为...
EmbeddingVariable
支持将原始特征值传入Embedding Lookup，省略了Hash等ID化操作，从而实现特征的无损训练。支持Graph的Inference、Back Propagation及变量的导入导出，模型训练中通过Optimizer自动更新EmbeddingVariable。tf.get_embedding_variable 接口...
优化内部表的性能
更新统计信息 如上述查看统计信息中，参与Join的表如果未及时更新统计信息，可能会导致数据量大的表做了Hash表，从而导致Join效率变低。因此可以通过更新表的统计信息，提升SQL性能。analyze;选择合适的分布列（Distribution Key）分布列...
何时使用Range-Hash分区
Range-Hash分区是一级分区为Range分区，二级分区为Hash分区的组合分区类型。Range-Hash分区对于存储历史数据的大表很常见，并且经常与其他大表连接。对于这些类型的表（典型的数据仓库系统)，组合Range-Hash分区提供了在Range级别进行分区...
更换集群损坏的本地盘
在 EMR控制台 上单击坏盘所在集群，在 集群服务 页签找到对该坏盘有读写操作的EMR服务，通常包括HDFS、HBase和Kudu等存储类服务，选择目标服务区域的>停止 完成服务停止操作。您也可以在该节点通过 sudo fuser-mv$device_name 命令查看占用...
DBMS_CRYPTO
有三种可使用的HASH函数形式：HASH(src IN RAW,typ IN INTEGER)RETURN RAW HASH(src IN CLOB,typ IN INTEGER)RETURN RAW 参数 参数名称 描述 src 指定将要产生的哈希值。您可以指定一个RAW、BLOB或CLOB值。typ 指定HASH函数类型。PolarDB ...
Hash Join的并行加速
Hash Join是社区版MySQL 8.0版本中引入的新Join方式，可以大幅提升分析型查询的执行性能。PolarDB MySQL版 8.0版本提供了对Hash Join的并行执行支持，并不断丰富其并行执行策略。本文介绍如何在 PolarDB 的并行查询中使用Hash Join功能。...
HASH-HASH
示例 HASH-HASH类型的使用示例：CREATE TABLE sales_hash_hash(dept_no INT,part_no INT,country varchar(20),date DATE,amount INT)PARTITION BY HASH(dept_no)PARTITIONS 9 SUBPARTITION BY HASH(part_no)SUBPARTITIONS 3;
HASH
本文档介绍了创建HASH分区表的方法。语法 创建HASH分区表。把数据按照哈希规则打散到不同的分区上，支持表达式来对分区列的值进行处理。CREATE TABLE.PARTITION BY[LINEAR]HASH(expr)[PARTITIONS number](PARTITION partition_name1,...
HASH-KEY
本文档介绍了创建HASH-KEY分区表的方法。语法 创建一个或多个HASH-KEY分区表，其中每个分区可能有一个或一个以上的子分区：CREATE TABLE[schema.]table_name table_definition PARTITION BY[LINEAR]HASH(expr)[PARTITIONS num]SUBPARTITION...
HASH-LIST
本文档介绍了创建HASH-LIST分区表的方法。语法 创建一个或多个HASH-LIST分区表，其中每个分区可能有一个或一个以上的子分区：CREATE TABLE[schema.]table_name table_definition PARTITION BY[LINEAR]HASH(expr)SUBPARTITION BY LIST(expr)...
Ingress诊断
使用session-cookie-hash 使用了 nginx.ingress.kubernetes.io/session-cookie-hash，该注解已在0.24.0版本废弃。确认当前Ingress Controller版本，移除该注解或使用其他注解代替。使用nginx.com/nginx.org注解 检查Ingress上是否使用了...
Ingress诊断
使用session-cookie-hash 使用了 nginx.ingress.kubernetes.io/session-cookie-hash，该注解已在0.24.0版本废弃。确认当前Ingress Controller版本，移除该注解或使用其他注解代替。使用nginx.com/nginx.org注解 检查Ingress上是否使用了...
Ingress诊断
使用session-cookie-hash 使用了 nginx.ingress.kubernetes.io/session-cookie-hash，该注解已在0.24.0版本废弃。确认当前Ingress Controller版本，移除该注解或使用其他注解代替。使用nginx.com/nginx.org注解 检查Ingress上是否使用了...
HASH-RANGE
本文档介绍了创建HASH-RANGE分区表的方法。语法 创建一个或多个HASH-RANGE分区表，其中每个分区可能有一个或一个以上的子分区：CREATE TABLE[schema.]table_name table_definition PARTITION BY[LINEAR]HASH(expr)SUBPARTITION BY RANGE...
Range Clustering
Range Clustering作为一种新的数据切分方式，提供了一个全局有序的数据分布，一是可以避免Hash Clustering可能造成的数据倾斜问题；二是在数据有序分布的前提下，创建两级索引（Index），支持对Clustering Key的区域查询以及多键的组合查询...
实时存储引擎
为了避免Hash的开销，AnalyticDB MySQL版 采用了 Swizzling Pointer 的实现方案，以64 bit存储Page的唯一标识。当Page在内存中时：头部第一个bit标记为0；其余bit用来表征Page的物理地址。当Page在磁盘中时：头部第一个bit标记为1；第2~7个...
通过本地缓存或预加载降低卡顿
对此情况，播放器SDK提供了URL Hash回调（setCacheUrlHashCallback），播放器会使用回调返回的值来区分视频，该回调返回的值可以认为是视频的唯一ID。例如：带有鉴权参数的URL：http://*.mp4?authKey=aaa，回调中可以使用 http://*.mp4 的...
使用本地缓存或预加载提升播放体验
对此情况，播放器SDK提供了URL Hash回调（setCacheUrlHashCallback），播放器会使用回调返回的值来区分视频，该回调返回的值可以认为是视频的唯一ID。例如：带有鉴权参数的URL：http://*.mp4?authKey=aaa，回调中可以使用 http://*.mp4 的...
隔离损坏的本地盘
背景信息 隔离损坏的本地盘仅支持大数据型实例，隔离损坏的本地盘系统事件包括以下事件：本地磁盘出现损坏告警（Disk:ErrorDetected）因系统维护隔离坏盘（SystemMaintenance.IsolateErrorDisk）因系统维护重启实例并隔离坏盘...
PolarDB MySQL版8.0.2版本发布日志
修复使用polar_abbrev_sort_key_size参数控制排序操作时，写坏内存的问题。修复在主键不包含分区键的分区表上执行等值查询操作，选择唯一键（UK）进行index merge的场景下，只返回第一个分区中的数据的问题。8.0.2.2.20 类别 说明 发布时间...
RDS和自建数据库性能差异问题
统计信息存在差异、碎片率高 参数设置不同 实例负载存在差异 解决方案 1）因内核小版本不同导致的差异 内核小版本不同，优化器就会有所差异，比如8.0.20及之后的版本相较8.0.20之前对于join类sql执行效率显著增加，因为8.0.20及之后hash ...
列存索引中GroupJoin算子的实现
因为JOIN是一个 可能 使“结果集膨胀”的运算，一张表的一行可能会匹配上另一张表的多行，最坏情况下便是笛卡儿积：N行的表与M行的表JOIN的结果最大可能是N×M的结果集。因此在HASH JOIN+HASH GROUP BY的执行方式中，一张N行的哈希表可能会...
UNI_HASH
本文将介绍UNI_HASH的使用方式。注意事项 UNI_HASH算法是简单取模，要求拆分列的值的自身分布均衡才能保证哈希均衡。使用限制 拆分键的数据类型必须是整数类型或字符串类型。PolarDB-X 1.0 实例的版本需为5.1.28-1508068或以上，关于实例...
- 产品推荐
- 这些文档可能帮助您