如何选择二级索引和多元索引
索引表可支撑的数据规模与数据表相同，此外，二级索引的主键设计也同样需要考虑散列问题。多元索引：一个多元索引是一系列数据结构的组合，其中的每一列都支持建立倒排索引等结构。查询数据时可以按照其中任意一列进行排序。一个多元索引...
索引选择
索引表可支撑的数据规模与数据表相同，此外，二级索引的主键设计也同样需要考虑散列问题。更多信息，请参见 二级索引简介。表格存储提供了全局二级索引和本地二级索引两种类型的索引。全局二级索引以异步方式将数据表中被索引的列和主键列...
ODC 常见问题
解决方案 将导入文件由 GBK 转码至 UTF8 后，再导入，乱码问题解决。数据导出导入问题 Q：导入或导出数据失败时，任务汇总信息中抛出异常：javax.crypto.BadPaddingException:Given final block not properly padded 时该如何处理？A：看到...
常见报错
本文介绍配置任务和任务运行时系统返回的报错信息（如重试信息或错误码）以及解决方法。说明 本文以正则表达式（(.*)?的形式表示报错信息中的变量。若报错无法解决，您可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群...
数据节点
当核对的数据量较大时，可选择参与核对字段的某个字段，针对某几位进行散列，读取到的数据就会按照散列后的值散列到不同分片中，支持后续并发排序和核对，从而提升核对效率。说明 散列字段可以与排序字段保持一致。散列位数：自定义的散列...
RIGHT_SHIFT
通常一些业务后N位可能只是一些业务上的标志位，如果直接对键值进行取余散列，其散列效果可能会比较差。但如果通过RIGHT_SHIFT（shardKey,8）将拆分键的值进行二进制右移8位，则分别变成了0x01、0x02、0x03和0x04，这样的散列效果就会比较...
RIGHT_SHIFT
通常一些业务后N位可能只是一些业务上的标志位，如果直接对面值进行取余散列，其散列效果可能会比较差。但如果通过 RIGHT_SHIFT（shardKey,8）将拆分键的值进行二进制右移8位，则分别变成了 0x01、0x02、0x03 和 0x04，这样的散列效果就会...
自定义分区
不支持指定 partitioning_storage_clause 属性定义散列分区以及范围、散列和列表子分区指定存储特征，忽略该 option。指定 hash 一级分区数量 指定 hash 一级分区数量 hash_partitions_by_quantity 的语法如下：PARTITIONS hash_partition_...
报错信息
编译时报 x86 或 i386 错误 问题 解决办法 iOS SDK 目前暂不支持使用模拟器调试和运行，请使用真机调试和运行。Bitcode 错误 问题 解决办法 SDK 暂不支持 Bitcode 配置，请关闭 Bitcode 编译选项。Image not found 问题 解决办法 SDK 为...
新增脱敏算法
系统内置5种脱敏算法：哈希：MD5：一种被广泛使用的密码散列函数，可以产生出一个128位（16字节）的散列值。SHA1：一种密码散列数，可以生成一个被称为消息摘要的160位（20字节）散列值。SHA256：使用的哈希值长度是256位。HMAC：基于Hash...
KEY分区
DECIMAL(小数部分的位数要求必须是0)数据均匀性 Key分区与Hash分区内置的一致性Hash散列算法是经过业界广泛测试的、冲突概率低且性能良好的散列算法 MurmurHash3。基于MurmurHash3的特性，一般情况下，当分区键不同取值的数目N大于3000时，...
云数据库RDS MySQL版数据库自增列不连续问题处理
问题描述 使用云数据库RDS MySQL版数据库时，发现自增列不连续。问题原因 由于数据库的列存在约束条件，插入数据失败，导致自增列不连续。解决办法 关于自增列问题处理详情请参考MySQL 官方文档。使用方法 云数据库RDS MySQL版
HASH分区
Key分区与HASH分区使用内置的一致性HASH散列算法采用是经过业界广泛测试的、冲突概率低且性能良好的散列算法 MurmurHash3，但是该算法无法保证在任何情况下各分片的数据分布的均衡性，尤其是分区键不同取值数目比较少的情况；基于...
数据分布策略
语法 CREATE TABLE table_name(.)[DISTRIBUTED BY(column[,.])|DISTRIBUTED RANDOMLY|DISTRIBUTED REPLICATED]哈希分布 DISTRIBUTED BY(column,[.]）数据将根据分布列的哈希值将各个行分布到指定计算节点上，相同的哈希值会始终散列到同一...
版本说明
修复问题 解决Windows下进程监控Top5和进程内存超4GB时，只上报4GB监控数据的问题。解决域名解析卡死的问题（某些系统下域名解析超过20秒）。解决部分Prometheus指标解析失败的问题。解决日志采集占用大量CPU的问题。解决可用性监控如果...
玄武分析型存储
同时索引的性能主要受数据分布特征影响，包括：cardinality（散列程度），范围查询的记录数/表记录数。在某些情况下，例如 age>0 and age这种查询走索引的开销反而比扫描高。因此玄武基于CBO智能选择索引或扫描。多种索引类型多路归并查找...
分区表索引
当基础表中的分区被添加、删除、合并或拆分时，或者当散列分区或子分区被添加或合并时，PolarDB PostgreSQL版（兼容Oracle）会自动维护索引分区。如果分区列构成索引列的子集，则可以创建UNIQUE本地索引，从而保证具有相同索引键的行始终...
分区表索引
当基础表中的分区被添加、删除、合并或拆分时，或者当散列分区或子分区被添加或合并时，PolarDB PostgreSQL版 会自动维护索引分区。如果分区列构成索引列的子集，则可以创建UNIQUE本地索引，从而保证具有相同索引键的行始终映射到同一分区...
分区表索引
当基础表中的分区被添加、删除、合并或拆分时，或者当散列分区或子分区被添加或合并时，PolarDB PostgreSQL版（兼容Oracle）会自动维护索引分区。如果分区列构成索引列的子集，则可以创建UNIQUE本地索引，从而保证具有相同索引键的行始终...
概述
支持热点散列。支持前缀分区列等值条件的分区裁剪。使用哈希取模的路由算法。支持使用向量分区列（所有列同时参与路由计算）。无法热点散列。不支持前缀分区列等值条件的分区裁剪，必须携带所有有分区列的等值条件才能分区裁剪。CO_HASH ...
表分布定义
建表语句 CREATE TABLE 支持如下三个分布策略的子句：分布方式 说明 哈希分布 DISTRIBUTED BY(column,[.])数据将根据分布列的哈希值将各个行分布到指定计算节点上，相同的哈希值会始终散列到同一计算节点。为保障数据可以均匀分布在各个...
分区索引
分区索引是为了解决大宽表的存储和高并发访问问题而设计的一种新特性。创建搜索索引时可以指定数据分区策略，服务端自动将数据进行拆分并存储，查询数据时系统自动进行分区裁剪。本文介绍数据分区的策略和使用方法。前提条件 已开通 云原生...
CREATE TABLE（AUTO模式）
PolarDB-X 还针对比较常见的特定的应用场景新扩展了一种新的名为CoHash的哈希分区策略，该策略可有效解决一个表需要同时按多个不同的相互有协同关系的分区列进行水平分区的问题。Hash类型 PolarDB-X 的Hash类型分区可细分为Hash分区与Key...
如何解决备份客户端OOM问题
通用类备份失败问题，建议您尝试参考 如何处理备份失败问题 解决。方法1：拆分备份目录 将备份计划中的备份文件路径拆分为多个目录。在同一个备份计划中，拆分目录的备份任务会串行执行。由于每个拆分目录的数据量相对于原始大目录有所减少...
售后问题排查工具
智能问答：您在使用CDN过程中遇到任何问题，通过智能在线的聊天对话框内输入您需要解答的问题，智能在线将会自动匹配问题的答案，并推送给您，帮您快速解决问题。工单处理：如果智能在线提供的常见问题排查无法解决您的问题，您还可以通过...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
无法连接Windows实例
步骤二：检查客户端本地网络是否异常 确认是否存在故障现象，如果存在，则参考本步骤解决问题，如果不存在，则执行下一步步骤。故障现象 用户本地无法连接外网。故障原因 可能是网卡驱动未开启或网卡配置有问题。解决方法 使用管理终端 ...
常见报错
解决方案：请设置正确的DNS服务器地址，更多信息请参见 解决因域名解析失败导致的连接问题。OOM command not allowed when used memory>'maxmemory' 可能原因：Tair 实例已使用的内存超过该实例的最大配置（maxmemory）。说明 如果是 Tair ...
OpenSearch数据源
常见问题 列配置错误的处理 为保证写入数据的可靠性，避免多余列数据丢失造成数据质量故障。对于写入多余的列，OpenSearch Writer将报错。例如OpenSearch表字段为a、b、c，如果OpenSearch Writer写入的字段多于3列，OpenSearch Writer将报...
热点散列
本文介绍了 PolarDB-X 中热点散列的方法。PolarDB-X 作为分布式数据库，对于分区表的各个分区会尽可能均衡的分布到不同的存储节点，更好地利用上整体系统资源，避免出现单点性能。对于Range和List分区，分区数据是按照用户的定义来划分的，...
错误码
如果排查后仍然无法解决问题，请联系Dataphin的支持人员协助处理。DPN.TaskScheduler.Task.IllegalTaskIdFormat 错误原因：传入的Task ID的格式不正确。解决方案：请检查Task ID格式是否为[t_数字]后，重新发起调用。DPN.TaskScheduler....
CREATE TABLE
HASH分区将数据进行散列存储，从而避免出现数据的热点问题。在数据写入量较大的场景中可以很好的实现数据均衡，搜索引擎默认按照主键进行HASH分区，同时也支持自定义的业务分区键。使用一级HASH分区时，如果自定义的HASH键存在热点问题，则...
客户端问题排查
客户端问题排查发现的问题当中，部分问题会在 结果 列给出解决方案，请按照给出的解决方案处理即可。如果在 结果 列没有给出解决方案，请单击 操作 列的 下载诊断日志，将导出的诊断日志和AliUid给到相关人员进一步做验证分析。服务器资产...
表操作篇
如果必须使用 OrderNumber 作为分区键，建议在 OrderNumber 上进行哈希散列，将哈希值作为 OrderNumber 的前缀，保证数据和访问压力的均匀。总结 可以根据需求将 CardID 和 DeviceID 作为表的分区键，而不应该使用 SellerID 和 OrderNumber...
使用须知
大多数场景都可以找到其他的业务字段来协助散列。考虑到其严重的副作用，我们不建议使用这个特性。副作用：写瓶颈：一般全表只有buckets个region用于承担写。当业务体量不断增长时，因为无法调整bucket数量，不能有更多的region帮助分担写...
Quick BI新交叉表度量字段名不显示怎么解决
问题原因 交叉表在列区域只添加一个维度和一个度量，在数据展示出来只展示一个维度字段的名称和值，即列区域维度字段和度量字段会合并展示。解决方案 添加两个及两个以上度量字段，则可以显示出度量字段名称，效果图如下。适用于 Quick BI
HTAP中的行列混存查询优化
列存索引Plan优化过程 为了解决MySQL原生优化器在HTAP workload下的不足，IMCI针对HTAP workload下可能缺少索引、拥有新的执行模型以及输入复杂查询等情况，补充了新的优化流程来解决这些问题。在使用了列索引的查询中，优化器也通过基于...
列存索引如何实现高效数据过滤
其中，RANGE和LIST分区会把数据表分成若干个区间或列表，HASH分区会将数据散列到不同的分区。在使用分区剪枝技术时，需要使用符合分区条件的查询语句，并将分区键作为查询条件进行查询。例如，假设有一个订单表orders，根据订单日期分为12...
二级索引
Lindorm全局二级索引解决了这个问题，支持列级别自定义时间戳更新。下面是两个使用自定义时间戳的实际业务场景。导入与实时并存：在需要同时实时更新和历史数据导入的场景下，实时更新可以使用当前时间，而历史数据导入可以使用昨天23:59:...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
解决无法进行分区裁剪，导致降低写入性能的问题。您可以执行下述语句，检查添加结果。SELECT log_group_type FROM all_log_groups WHERE OWNER='<schema_name>' AND table_name='<table_name>';查询结果中包含 ALL COLUMN LOGGING，则检查...
- 产品推荐
- 这些文档可能帮助您