SelectObject
但仅仅在select 语句里出现的列会有值，不出现的列则为空，返回结果中每一行的数据按照CSV列的顺序从低到高排列。例如以下语句：select_5,_1 from ossobject.如果KeepAllColumns=true，假设一共有6列数据，则返回以下数据：Value of 1st ...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
数据节点
当核对的数据量较大时，可选择参与核对字段的某个字段，针对某几位进行散列，读取到的数据就会按照散列后的值散列到不同分片中，支持后续并发排序和核对，从而提升核对效率。说明 散列字段可以与排序字段保持一致。散列位数：自定义的散列...
PolarDB MySQL版8.0.1版本发布日志
修复列存索引在处理超长字符串类型时出现的内存越界问题。修复在使用列存索引功能时，同时打开预读功能导致节点概率性崩溃的问题。修复XEngine的compaction后台任务因并发控制过于严格，对前台操作产生影响进而影响慢查询性能的问题。修复...
数据分布策略
语法 CREATE TABLE table_name(.)[DISTRIBUTED BY(column[,.])|DISTRIBUTED RANDOMLY|DISTRIBUTED REPLICATED]哈希分布 DISTRIBUTED BY(column,[.]）数据将根据分布列的哈希值将各个行分布到指定计算节点上，相同的哈希值会始终散列到同一...
2023年
修复实例扩容后，开启并行查询访问AOCS列存表会出现coredump内核错误的问题。修复pg_rewind复制Xlog受statement_timeout参数影响的问题。修复ORCA优化器对含有较多子分区的表planning时间过长的问题。2023年03月 V6.3.10.12 类别 功能 功能...
表分布定义
建表语句 CREATE TABLE 支持如下三个分布策略的子句：分布方式 说明 哈希分布 DISTRIBUTED BY(column,[.])数据将根据分布列的哈希值将各个行分布到指定计算节点上，相同的哈希值会始终散列到同一计算节点。为保障数据可以均匀分布在各个...
RIGHT_SHIFT
通常一些业务后N位可能只是一些业务上的标志位，如果直接对键值进行取余散列，其散列效果可能会比较差。但如果通过RIGHT_SHIFT（shardKey,8）将拆分键的值进行二进制右移8位，则分别变成了0x01、0x02、0x03和0x04，这样的散列效果就会比较...
RIGHT_SHIFT
通常一些业务后N位可能只是一些业务上的标志位，如果直接对面值进行取余散列，其散列效果可能会比较差。但如果通过 RIGHT_SHIFT（shardKey,8）将拆分键的值进行二进制右移8位，则分别变成了 0x01、0x02、0x03 和 0x04，这样的散列效果就会...
从PolarDB MySQL版同步至Datahub
警告 在选择附加列规则前，您需要评估附加列和目标Topic中已有的列是否会出现名称冲突。关于附加列的规则和定义说明，请参见 附加列名称和定义说明。映射名称更改 如需更改同步对象在目标实例中的名称，请使用对象名映射功能，详情请参见 ...
从PolarDB MySQL版同步至Datahub
警告 在选择附加列规则前，您需要评估附加列和目标Topic中已有的列是否会出现名称冲突，否则可能会导致任务失败或数据丢失。关于附加列的规则和定义说明，请参见 附加列名称和定义说明。映射名称更改 如需更改同步对象在目标实例中的名称，...
从RDS MySQL同步至DataHub
警告 在选择附加列规则前，您需要评估附加列和目标Topic中已有的列是否会出现名称冲突，否则可能会导致任务失败或数据丢失。关于附加列的规则和定义说明，请参见 附加列名称和定义说明。映射名称更改 如需更改同步对象在目标实例中的名称，...
从RDS MySQL同步至DataHub
警告 在选择附加列规则前，您需要评估附加列和目标Topic中已有的列是否会出现名称冲突，否则可能会导致任务失败或数据丢失。关于附加列的规则和定义说明，请参见 附加列名称和定义说明。映射名称更改 如需更改同步对象在目标实例中的名称，...
分区索引
HASH分区 HASH分区将数据进行散列存储，从而避免出现数据的热点问题。在数据写入量较大的场景中可以很好地实现数据均衡。搜索索引默认按照Lindorm宽表的主键进行HASH分区，同时也支持自定义分区键。HASH分区的语法示例如下：创建搜索索引，...
CREATE TABLE
HASH分区将数据进行散列存储，从而避免出现数据的热点问题。在数据写入量较大的场景中可以很好的实现数据均衡，搜索引擎默认按照主键进行HASH分区，同时也支持自定义的业务分区键。使用一级HASH分区时，如果自定义的HASH键存在热点问题，则...
新增附加列
注意事项 支持新增附加列的DTS实例如下：自建Oracle同步或迁移到DataHub Db2 for LUW同步或迁移至PolarDB MySQL MongoDB同步或迁移至Lindorm MySQL间的同步或迁移 MySQL同步或迁移...，您需要评估附加列和目标表中已有的列是否会出现名称冲突...
修改数据同步的附加列规则
如果附加列和目标表中已有的列出现名称冲突将会导致数据同步失败，为避免出现此类问题，您可以修改同步附加列的命名规则。背景信息 在修改数据同步的附加列规则前，您需要评估附加列和目标表中已有的列是否会出现名称冲突。关于附加列名称...
时序引擎版本说明
修复并发更新Schema时会出现大量版本冲突的问题。修复Lindorm ML时序预测在预测条件为大于或小于某时间点时，拉取数据不足的问题。修复Lindorm ML时序异常检测ostl-ttest算法和ostl-esd在数据量较大时会报错的问题。优化Lindorm ML时序异常...
使用须知
问题描述：某些情况下，Phoenix对有些索引的主表回查会存在bug，在执行查询的时候,会出现异常。解决方法：通过冗余全部列，避免回查主表。RegionServer OOM的情况。问题描述：LookupJoin会在ScanRpc请求中发起Get请求，这个Get请求的...
采集MySQL查询结果
警告 该列的值必须递增，否则可能会出现数据漏采集问题（每次查询结果中的最大值将作为下次查询的输入）。CheckPoint列的数据类型 CheckPoint列的数据类型，支持int和time。int类型的内部存储为int64，time类型支持MySQL的date、datetime、...
行排序
如果一个 ORDER BY 项是一个单一名字并且匹配一个输出列名或者一个表表达式的列，仍然会出现混淆。在这种情况中输出列将被使用。只有在你使用 AS 来重命名一个输出列来匹配某些其他表列的名字时，这才会导致混淆。ORDER BY 可以被应用于 ...
Rowkey设计
Hashing 可用一个单向的 hash 散列来取代随机指派前缀。这样能使一个给定的行在“salted”时有相同的前缀，从某种程度上说，这在分散了RegionServer间的负载的同时，也允许在读操作时能够预测。确定性hash（deterministic hash）能让客户端...
通过日志服务迁移日志数据至MaxCompute
说明 日志服务数据的一个字段最多允许映射到一个MaxCompute表的列（数据列或分区列），不支持字段冗余，同一个字段名第二次使用时其投递的值为null，如果null出现在分区列会导致数据无法被投递。MaxCompute分区列 按顺序左边填写与...
列存索引如何实现高效数据过滤
其中，RANGE和LIST分区会把数据表分成若干个区间或列表，HASH分区会将数据散列到不同的分区。在使用分区剪枝技术时，需要使用符合分区条件的查询语句，并将分区键作为查询条件进行查询。例如，假设有一个订单表orders，根据订单日期分为12...
CREATE TABLE（AUTO模式）
PolarDB-X 还针对比较常见的特定的应用场景新扩展了一种新的名为CoHash的哈希分区策略，该策略可有效解决一个表需要同时按多个不同的相互有协同关系的分区列进行水平分区的问题。Hash类型 PolarDB-X 的Hash类型分区可细分为Hash分区与Key...
使用二级索引读取数据
} } } 常见问题 读取二级索引时报错OTSErrorMsg:Disallow read index table in building base state 使用SDK时出现Validate PK size fail异常 使用SDK时出现Validate PK name fail异常 相关文档 当日常业务中有非主键列查询、多列组合查询...
全增量同步任务运维
强制重跑 在某些特殊情况下，例如发现源端数据被污染、数据链路出现问题等，您可以单击 操作 列 更多>强制重跑 强制对源端所有表进行全增量初始化操作，将源端数据重新迁移到目标表中，以快速恢复数据。说明 仅Hologres和MaxCompute支持...
新增脱敏算法
系统内置5种脱敏算法：哈希：MD5：一种被广泛使用的密码散列函数，可以产生出一个128位（16字节）的散列值。SHA1：一种密码散列数，可以生成一个被称为消息摘要的160位（20字节）散列值。SHA256：使用的哈希值长度是256位。HMAC：基于Hash...
BLOB数据类型（邀测中）
宽表引擎2.6.4之前的版本，如果在建表时未设置BLOB列，那么通过 ALTER TABLE ADD COLUMN 添加的BLOB列将出现数据读写问题。建议您将宽表引擎升级至2.6.4及以上版本。如何查看或升级当前版本，请参见 宽表引擎版本说明 和 升级小版本。宽表...
Quick BI交叉表报错“列维度值组合数过多（超过500）...
问题描述 创建交叉表时报错“列维度值组合数过多（超过500）”，但没有放500个字段 问题原因 交叉表总列数不能超过500个，添加500个字段会异常。如果“列”里放了维度，那么维度值个数不能超过500个。解决方案 交叉表的“列”不要放枚举值...
调整实例sql_mode参数
重要 ALLOW_INVALID_DATES 参数值在某些情况下可能会引起数据一致性问题，因此在使用时需要谨慎考虑，并确保了解其使用场景和潜在影响。ANSI_QUOTES 支持 支持 支持 用于启用 ANSI_QUOTES 模式，该模式下MySQL将使用双引号（""）或反引号...
玄武分析型存储
同时索引的性能主要受数据分布特征影响，包括：cardinality（散列程度），范围查询的记录数/表记录数。在某些情况下，例如 age>0 and age这种查询走索引的开销反而比扫描高。因此玄武基于CBO智能选择索引或扫描。多种索引类型多路归并查找...
CREATE TABLE
但如果查询条件非常局限，例如列a虽然值分布均匀且高频出现在查询条件中，但总是以a=3的形式出现在查询条件中，那么列a作为分布键会造成数据热点，列a就不适合作为分布键。尽可能将需要 Join的列作为分布键。参与Join的两个表，按相同的...
表表达式
NATURAL 的风险更大，因为如果其中一个关系的模式改变会导致出现一个新的匹配列名，就会导致连接将新列也组合成连接条件。为了解释这些问题，假设我们有一个表 t1：num|name-+-1|a 2|b 3|c 和 t2：num|value-+-1|xxx 3|yyy 5|zzz 然后我们...
表表达式
NATURAL 的风险更大，因为如果其中一个关系的模式改变会导致出现一个新的匹配列名，就会导致连接将新列也组合成连接条件。为了解释这些问题，假设我们有一个表 t1：num|name-+-1|a 2|b 3|c 和 t2：num|value-+-1|xxx 3|yyy 5|zzz 然后我们...
慢日志
常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和系统级别。慢日志时间设置逻辑为：当数据库存在...
慢日志分析
常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和系统级别。慢日志时间设置逻辑为：当数据库存在...
慢SQL
常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和系统级别。慢日志时间设置逻辑为：当数据库存在...
慢日志
常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和系统级别。慢日志时间设置逻辑为：当数据库存在...
列式JSONB
所以如果JSONB数据包含的都是稀疏字段，比如极端情况下每个字段都只会出现一次，那么列式化将不会起效，因为所有字段都是稀疏的，那么所有字段都会合并至 holo.remaining 字段，等于没有进行列式化，这种情况下不会有查询性能的提升。...
- 产品推荐
- 这些文档可能帮助您