表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
CREATE TABLE
重要 加盐因子（salt_factor）是进一步散列相同storeId列值的数据，通常设置为一个较小的数值，并且数值与分区数量是两倍的数量关系。如果分区数量为16，当salt_factor大于4时，则无法散列数据。加盐因子的其他值表示如下：salt_factor=1：...
分区索引
HASH分区 HASH分区将数据进行散列存储，从而避免出现数据的热点问题。在数据写入量较大的场景中可以很好地实现数据均衡。搜索索引默认按照Lindorm宽表的主键进行HASH分区，同时也支持自定义分区键。HASH分区的语法示例如下：创建搜索索引，...
热点分区分裂
如果对一级分区的分区键热点值做热点散列，例如将a=66的热点数据散列成5份，语法与场景1类似：alter table t1 split into hot66_partitions 5 by hot value(66);热点散列后，执行 show create table t1 可以观察到表结构应该类似（分区名字...
CREATE TABLE（AUTO模式）
前缀分区列：若一个向量分区键由N（N>1）个分区列组成，它的前K（1）个分区列便组成这个向量分区键的前缀分区列。分区函数：将分区列作为一个函数的输入参数，并将该函数的输出结果作为原始值参与路由计算，该函数被称为分区函数。分区裁剪...
如何设计宽表主键
散列的目的是将数据分散到不同的分区，不至于产生热点使某一台服务器终止，其他服务器空闲，充分发挥分布式和并发的优势。最佳设计示例：设计md5散列算法，主键设计为[md5(userid).subStr(0,4)][userId][orderid]。设计反转，主键设计为...
自定义分区
不支持指定 partitioning_storage_clause 属性定义散列分区以及范围、散列和列表子分区指定存储特征，忽略该 option。指定 hash 一级分区数量 指定 hash 一级分区数量 hash_partitions_by_quantity 的语法如下：PARTITIONS hash_partition_...
机制
有散列和无散列 Hash/digest（哈希值）：SHA1，SHA224，SHA256，SHA384和SHA512 密钥封装：AES Key Wrap，AES-GCM，RSA-AES和RSA-OAEP 导出密钥：ECDH 支持的密钥生成机制 CKM_GENERIC_SECRET_KEY_GEN CKM_DES3_KEY_GEN CKM_AES_KEY_GEN ...
命令行工具、DMS
操作步骤 本文以abc.test表为例，对a列已加密保护，对b列没有加密保护，通过命令行工具和DMS查询数据库，用户在a列只能看到密文，在b列可以看到明文。通过命令行工具查询 通过命令行连接RDS MySQL实例。在命令行工具中执行如下命令：SELECT...
pg_constraint
目录 pg_constraint 存储表上的检查、主键、唯一、外键和排他约束（列约束也不会被特殊对待。每一个列约束都等同于某种表约束。非空约束不在这里，而是在 pg_attribute 目录中表示。用户定义的约束触发器（使用 CREATE CONSTRAINT TRIGGER ...
Quick BI交叉表冻结前两列后在移动端显示只冻结了一列
问题描述 Quick BI交叉表冻结前两列后在移动端显示只冻结了一列是什么原因？问题原因 移动端交叉表冻结列超过屏幕宽度的60%时，冻结列会依次失效，因为滑动列需要占据一定的空间，滑动列占据的最小空间是屏幕宽度的40%。解决方案 调整交叉...
生成列
本文介绍了生成列的相关内容。简介 生成的列是一个特殊的列，它总是从其他列计算而来。因此说，它对于列就像视图对于表一样。生成列有两种：存储列和虚拟列。存储生成列在写入（插入或更新）时计算，并且像普通列一样占用存储空间。虚拟...
pg_partitioned_table
列名称 列类型 描述 partrelid oid 这个分区表的 pg_class 项的OID。partstrat char 分区策略。取值范围如下：h：哈希分区表。l：列表分区表。r：范围分区表。partnatts int2 分区键中的列数。partdefid oid 这个分区表的默认分区的 pg_...
LLM-文本质量打分（FastText）
置信度保存列名：可选，保存质量置信度的列名，该列值为0~1之间的浮点类型值，默认列名为 quality_score。无 SQL脚本 否 where语句填写，质量标签默认保存到 quality_label 列，置信度默认保存到 quality_score 列，可根据这两列的结果进行...
实例规格
实例规格 实例规格包括分...列是partition的意思，如果索引量太大，单机无法放下，可以按某一列（比如item_id）做hash分成多列，列与列之间数据不一样，但是配置是一样的。每个请求过来BE会请求多列，将所有列结果合并后才能得到完整的结果。
如何使用预定义列
预定义列是指在数据表上预先定义一些非主键列以及其类型。本文介绍如何使用预定义列。重要 单个数据表默认最大支持添加32个预定义列。如果不满足使用需求，请 提交工单 申请调整。如果要使用二级索引，您需要通过如下方式为数据表添加预定...
常见问题
原因：宽表引擎的主键、二级索引和MySQL联合索引的匹配规则类似，均遵循最左匹配原则，即在多个列组成的联合主键或索引中，系统从主键或索引键的第一列（最左侧列）开始逐一与查询条件中的列进行匹配。如果查询条件中不包含主键或索引键的...
创建表 CREATE TABLE 的不兼容点
在生成列的基础上再定义生成列 通过 CREATE TABLE DDL 定义生成列时，表达式中使用了其它生成列。MySQL 数据库：支持。OceanBase 数据库 MySQL 租户：不支持。示例如下：CREATE TABLE group_by_t1(a INT GENERATED ALWAYS AS(1)VIRTUAL,b ...
pg_attribute
目录 pg_attribute 存储有关表列的信息。数据库中的每一个表的每一个列都恰好在 pg_attribute 中有一行。（这其中也会有索引的属性项，并且事实上所有具有 pg_class 项的对象在这里都有属性项entries）。列名称 列类型 描述 attrelid oid ...
DDL语句
MaxCompute中的DDL语句包括对表、分区、列、生命周期和视图的操作。本文为您介绍Dataphin支持的MaxCompute的DDL语句。表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式...
DDL语句
MaxCompute中的DDL语句包括对表、分区、列、生命周期和视图的操作。本文为您介绍Dataphin支持的MaxCompute的DDL语句。表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式...
LLM-敏感词过滤
无 SQL脚本 否 where语句填写，是否敏感词 默认保存到 is_sensitive 列，检测出的敏感词 默认保存到 sensitive_words 列，可根据这两列的结果进行过滤。如果修改了列名，请根据修改后的列名填写。默认条件为 where not is_sensitive。无 ...
分区投影
默认的格式为table_path/分区列名1=取值1/分区列名2=取值2/.，也可以指定为其他格式。分区投影类型 projection.c.type 表示列的分区投影类型。目前DLA支持四种分区投影类型：enum、integer、date 以及 injected。不同类型需要设置不同的...
数据操作篇
拆分属性列访问热度差异大的表 如果行的属性列较多，但是每次操作只访问一部分属性列，可以考虑将表拆分成多个表，将不同访问频率的属性列放到不同的表中。例如，在商品管理系统中，每行存放商品数量、商品价格和商品简介。商品数量和商品...
Lateral View
示例数据 假设已有一张表pageAds，它有三列数据，第一列是 pageid string，第二列是 col1 array，第三列是 col2 array，详细数据如下。pageid col1 col2 front_page[1,2,3][“a”,“b”,“c”]contact_page[3,4,5][“d”,“e”,“f”]使用...
基础概念
分片规格 即计算资源的规格 分片 即分列，列是partition的意思，如果索引量太大，单机无法放下，可以按某一列（比如item_id）做hash分成多列，列与列之间数据不一样，但是配置是一样的。每个请求过来BE会请求多列，将所有列结果合并后才能...
Lateral View
示例数据 假设已有一张表pageAds，它有三列数据，第一列是 pageid string，第二列是 col1 array，第三列是 col2 array，详细数据如下。pageid col1 col2 front_page[1,2,3][“a”,“b”,“c”]contact_page[3,4,5][“d”,“e”,“f”]使用...
系统列
本文介绍了系统列的相关内容。简介 每一个表都拥有一些由系统隐式定义的 system columns。因此，这些列的名字不能像用户定义的列一样使用（注意这种限制与名称是否为关键词没有关系，即便用引号限定一个名称也无法绕过这种限制）。事实上...
PolarDB MySQL版DDL操作指南
仅修改元数据 支持并行DDL 增加列 是 否 1 是 1 支持 1 删除列 是 是 否 支持 重命名列 是 否 是 不涉及 重排序列 是 是 否 支持 设置列的默认值 是 否 是 不涉及 修改列注释 是 否 是 不涉及 修改列类型 否 是 否 不支持 扩展VARCHAR长度 ...
没有约束的列修改类型
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改没有约束的列的字段类型的不兼容场景。说明 本文表格中，OceanBase 数据库 Oracle 租户允许执行修改一列是经过类型映射后的结果。本文表格中，短横线（-）表示没有、all...
TRANS_COLS
将一行数据转为多行数据的UDTF，将不同的列拆分为不同的行。使用限制 所有作为 key 的列必须处在前面，而要转置的列必须放在后面。在一个 select 中只能有一个UDTF，不可以再出现其他的列。命令格式 trans_cols(,,,…,,,)as(,,,…,,)参数...
分区表系统视图
pg_partitioned_table 返回字段说明 列名 描述 partrelid 分区表 pg_class 项的OID。partstrat 分区策略。取值如下：h：哈希分区表 l：列表分区表 r：范围分区表 partnatts 分区键中的列数。partdefid 分区表默认分区的 pg_class 项的OID。...
6.0版本与7.0版本兼容性注意事项
新增attidentity列，指示该列是否被定义为标识列。取值说明：'a'：该列是标识列，其值总是生成。'd'：该列是标识列，其值是通过序列或其他机制自动生成的。''（零字节）：该列不是标识列。新增attgenerated列，指示该列是否为生成列。取值...
选择列表
列名字 a、b 和 c 要么是在 FROM 子句里引用的表中列的实际名字，要么是别名。在选择列表里可用的名字空间和在 WHERE 子句里的一样，除非你使用了分组，这时候它和 HAVING 子句一样。如果超过一个表有同样的列名，那么你还必须给出表名字，...
通用限制
操作限制 操作 限制值 说明 一次请求写入的属性列的个数 1024列 使用PutRow、UpdateRow或BatchWriteRow接口操作时，单行写入的属性列的个数不能超过1024列。读请求中columns_to_get参数的列的个数 0~128个 读请求一行数据中获取的列的最大...
数据类型映射
当该列为虚拟列时，必须设置此列映射的原始字段。关于虚拟列的更多信息，请参见 虚拟列。如果为false，则该列不为虚拟列。此时该列的数据类型必须和数据表的数据类型相匹配。说明 Array和Nested的区别请参见 Nested和Array对比。数据类型和...
KV2Table
默认”,”参数设置 是否只截取前1200列 如果转化后列数超过表最大列数1200列后，是否只截取前1200列。执行调优 计算核心数 系统根据输入数据量，自动分配训练的实例数量。每个核内存大小 系统根据输入数据量，自动分配内存。单位为MB。方式...
通配符列
通配符列是指列名由通配符组成的列，多用于模糊匹配、动态列写入等场景，可以更灵活地匹配和查找目标列。在Lindorm宽表引擎中使用通配符列，可以满足多数据类型动态写入的需求。本文介绍通配符列的使用限制及使用方法。背景信息 在大数据量...
GBDT二分类V2
两个组件当前的功能和参数支持情况，见下表：PS-SMART二分类参数 对应本组件的参数 是否稀疏格式 是否为稀疏向量格式 选择特征列 选择特征列 选择标签列 选择标签列 选择权重列 选择权重列 评估指标类型 不适用，默认为 AUC 指标，可以在 ...
写入数据
``row``表示更新的行数据，包括主键列和属性列，主键列和属性列的类型均是list。``condition``表示执行操作前做条件检查，满足条件才执行，是tablestore.metadata.Condition类的实例。支持对行的存在性和列条件进行检查，其中行存在性检查...
- 产品推荐
- 这些文档可能帮助您