CREATE TABLE
多级HASH分区（二级HASH分区或者三级HASH分区）除了可以散列数据，在查询数据场景中也大大提高了查询效率。例如在上述二级HASH分区中，查询数据时同时输入storeId列和goodsId列的过滤信息会确定在一个分区中进行数据检索，减少数据的扫描...
分区索引
多级HASH分区（二级HASH分区或者三级HASH分区）除了可以散列数据，在查询数据场景中也大大提高了查询效率。例如在上述二级HASH分区中，查询数据时同时输入storeId列和goodsId列的过滤信息会确定在一个分区中进行数据检索，减少数据的扫描...
HASH
LINEAR HASH与HASH的不同之处在于，LINEAR HASH使用线性二次幂算法，而HASH使用散列函数值的模数。在语法上，LINEAR HASH和HASH的唯一区别是LINEAR在PARTITION BY子句中添加了关键字。示例 HASH类型的使用示例：CREATE TABLE sales_hash(s_...
热点分区分裂
这样热点散列才能根据第二个分区键的哈希空间做二次散列，添加拆分键（以ID列为例）的语法如下：alter table orders partition by key(seller_id,id)partitions 5;表组级用法 说明 对表组的分区分裂，意味着表组内所有表的相应分区会同步...
索引选择
索引表可支撑的数据规模与数据表相同，此外，二级索引的主键设计也同样需要考虑散列问题。更多信息，请参见 二级索引简介。表格存储提供了全局二级索引和本地二级索引两种类型的索引。全局二级索引以异步方式将数据表中被索引的列和主键列...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
图形认证服务端集成
生成签名#生成签名使⽤标准的hmac算法，使用用户当前完成验证的流水号lot_number作为原始消息mess#采用sha256散列算法将message和key进行单向散列生成最终的签名 lotnumber_bytes=lot_number.encode()prikey_bytes=captcha_key.encode()...
二级索引
Lindorm宽表支持Tabular模型下的二级索引功能，此功能在非主键匹配的查询场景下，可以降低应用的开发复杂性、保证数据的一致性和提高写入效率。本文介绍Lindorm Tabular模型下二级索引的基本特性和使用示例。背景信息 对于Lindorm Tabular...
二级分区表（2.0版）
参数 绝大多数参数和创建普通表语法中介绍一样，详情请参见 CREATE TABLE，二级分区表多了两个参数：subpart_col：二级分区列，该列不在定义的列中需要重新定义，类型必须为long。available_partition_num：二级分区数，即为最大保留的二级...
如何设计宽表主键
散列的目的是将数据分散到不同的分区，不至于产生热点使某一台服务器终止，其他服务器空闲，充分发挥分布式和并发的优势。最佳设计示例：设计md5散列算法，主键设计为[md5(userid).subStr(0,4)][userId][orderid]。设计反转，主键设计为...
AUTO模式数据库与DRDS模式数据库
支持采用按分区数取模的路由算法，不支持热点散列。Range分区&Range Columns分区 支持，支持热点散列。不支持。List分区&List Columns分区 支持。不支持。向量分区键（使用多个列作为分区键）支持。分区键支持按向量分区，例如 PARTITION ...
表分布定义
建表语句 CREATE TABLE 支持如下三个分布策略的子句：分布方式 说明 哈希分布 DISTRIBUTED BY(column,[.])数据将根据分布列的哈希值将各个行分布到指定计算节点上，相同的哈希值会始终散列到同一计算节点。为保障数据可以均匀分布在各个...
隔离损坏的本地盘
背景信息 隔离损坏的本地盘仅支持大数据型实例，隔离损坏的本地盘系统事件包括以下事件：本地磁盘出现损坏告警（Disk:ErrorDetected）因系统维护隔离坏盘（SystemMaintenance.IsolateErrorDisk）因系统维护重启实例并隔离坏盘...
CREATE TABLE
如果新表中的列名列表包含一个也是继承而来的列名，该数据类型必须也匹配继承的列，并且列定义会被融合成一个。如果新表显式地为列指定了任何默认值，这个默认值将覆盖来自该列继承声明中的默认值。否则，任何父表都必须为该列指定相同的...
列存索引如何实现高效数据过滤
其中，RANGE和LIST分区会把数据表分成若干个区间或列表，HASH分区会将数据散列到不同的分区。在使用分区剪枝技术时，需要使用符合分区条件的查询语句，并将分区键作为查询条件进行查询。例如，假设有一个订单表orders，根据订单日期分为12...
分析外部OSS上的数据
使用该功能后，数据架构如下图所示：该架构既解决了数据应用层（ADS）的存储成本，同时也实现了高性能的“二次”即席分析以及离线或在线数据的整合分析。注意事项 CREATE 语句中必须添加 COMMENT='columnar=1' 和 CONNECTION 信息。当查询...
创建自定义监控
对两列除法求商（需在 这个数（被除数）、除以（除数）这两个区域分别选取列值）：统计逻辑是，将 1 分钟内日志二个数值分别求和，然后相除。多用于统计日志，如耗时总量除以总计数。文中示例选择 求行数 进行计算。单击+新增告警套餐，再...
定时任务
在调用链响应时间图表中（图示中②），其展示的数据是基于接口调用链数据的二次统计，并受采样率影响。在调用链详情表格中（图示中③），单击TraceId可以查看调用链路。更多信息，请参见 调用链路详情。单击 查看日志 可以查看定时任务的...
通用限制
String类型属性列列值大小 2 MB 单一属性列String类型的列值大小上限2 MB。Binary类型主键列列值大小 1 KB 单一主键列Binary类型的列值大小上限1 KB。Binary类型属性列列值大小 2 MB 单一属性列Binary类型的列值大小上限2 MB。行限制 资源 ...
过滤器
} } } 使用CompositeColumnValueFilter过滤数据 以下示例用于返回主键范围在["a","h")之间，Col0列值等于0且Col1列值大于100或者Col2列值小于等于10的行。private static void getRange(SyncClient client){/设置数据表名称。...
怎么配置业务监控
数值列（如数额、耗时、比率）的计算最大值 维度值最小：单位时间内，数值列（如数额、耗时、比率）的计算最小值 六、自定义列 基于统计列的列名进行加减乘除运算，可以满足简单的二次计算场景，如使用成功量/总量，可以得出成功率。统计列...
BLOB数据类型（邀测中）
执行以下语句，创建表tb并指定p1为主键列且类型为INT，c1列和c2列为非主键列，且类型分别为VARCHAR和BLOB。CREATE TABLE tb(p1 INT,c1 VARCHAR,c2 BLOB,PRIMARY KEY(p1));说明 如果表名中需要包含下划线（_）等特殊字符，请在建表时指定 ...
CREATE TABLE（AUTO模式）
注意事项 使用分区表语法之前，请务必确认创建当前的逻辑库时模式指定为自动分区模式（mode='auto'），非自动分区模式不允许使用分区表的建表语法。您也可以通过 SHOW CREATE DATBASE db_name 语法查看当前逻辑库的建表模式。示例如下：...
元数据库数据字典
查询云原生数据仓库MySQL版中某表近期的10次数据导入的状态，示例如下：SELECT state FROM information_schema.current_job WHERE table_schema='db_name' AND table_name='table_name' ORDER BY start_time DESC LIMIT 10 SCHEMATA ...
ALTER TABLE
格式为 partition_col1=col1_value1,partition_col2=col2_value1.对于有多级分区的表，必须指明全部的分区值。enable：恢复表或指定分区的生命周期功能。表及其分区重新参与生命周期回收，默认使用当前表及分区上的生命周期配置。开启表...
JSON格式导入
即按JSON Path中字段的顺序抽取后，指定第一列为表中k2列的值，而第二列为表中k1列的值。最终导入的数据结果如下：+-+-+|k1|k2|+-+-+|1|2|+-+-+如其他导入一样，可以在Columns中进行列的转换操作。示例如下：curl-v-location-trusted-u ...
远程文件系统
配置值为实际增量次数+1，例如需要2次增量，则 repeatCount=3。（可选）重试任务 当您任务出现失败情况时，您可以通过这个命令进行重试任务：bash console.sh retry[job_name]迁移后续操作 说明 请注意，以下操作以/mnt/cube/data目录为例...
远程文件系统
配置值为实际增量次数+1，例如需要2次增量，则 repeatCount=3。（可选）重试任务 当您任务出现失败情况时，您可以通过这个命令进行重试任务：bash console.sh retry[job_name]迁移后续操作 说明 请注意，以下操作以/mnt/cube1/data目录为例...
PS-SMART回归
'1:2.22 2:0.46 3:0.49 4:0.31 5:1.84' as features union all select 0.0 as label,'1:1.21 2:0.09 3:0.23 4:2.04 5:0.30' as features union all select 1.0 as label,'1:2.17 2:0.45 3:1.22 4:0.48 5:1.41' as features union all ...
不兼容SQL重写
Warning信息 WARNING:[1,48]implicit conversion from STRING to DOUBLE,potential data loss,use CAST function to suppress 推荐改法 select*from t1 join t2 on t.double_value=cast(t2.string_value as double);window.ref.prev.window...
HDFS
配置值为实际增量次数+1，例如需要2次增量，则 repeatCount=3。（可选）配置 sys.properties文件 workerTaskThreadNum调整任务线程数量。小文件数量多的情况下，适量调大线程可提升迁移速度。jobNetFlowLimiter限制机器的网络流量。可对...
读取数据
} } } 按照第一个主键列确定范围读取数据 以下示例用于按照第一个主键列确定范围、第二主键列从最小值（INF_MIN）到最大值（INF_MAX）进行正序读取，判断nextStartPrimaryKey是否为null，读取完范围内的全部数据。private static void ...
HDFS
配置值为实际增量次数+1，例如需要2次增量，则 repeatCount=3。（可选）配置 sys.properties文件 workerTaskThreadNum调整任务线程数量。小文件数量多的情况下，适量调大线程可提升迁移速度。jobNetFlowLimiter限制机器的网络流量。可对...
Label权限控制
MaxCompute支持在项目级别为用户设置访问许可等级标签，为表或表的列设置敏感等级标签（Label），用户仅可以访问MaxCompute项目中敏感等级小于等于自身访问许可等级的表或列数据。本文为您介绍Label授权操作并提供示例供参考。背景信息 ...
通过文件管理优化性能
重要 Z-Ordering只对已经收集了统计信息的列生效，在上一节我们介绍过，Delta Engine默认仅为前32列自动生成统计信息，意味着Z-Ordering也只能被用于前32列，如果您查询的列索引大于32，可以将该列索引调到32以内。Z-Ordering不是幂等的，...
自然语言到SQL语言转义（基于大语言模型的NL2SQL）
如为用户相关场景创建 polar4ai_nl2sql_pattern_user 表，则第二步创建问题模板索引时，将索引名定为 pattern_index_user，在将信息导入索引表时，使用如下SQL语句：/*polar4ai*/SELECT*FROM PREDICT(MODEL_polar4ai_text2vec,select '')...
全局设置
最小触发列数：当查询结果有多列时，触发反问的最小列数，查询结果列数大于该值，才会触发反问；最大反问数量：最多反问多少次；多列反问话术：当用户问题可能包含多个表头时，按照您给定的话术进行反问，引导用户提供信息。反问顺序 仅当...
拒绝推断
fuzzy模糊法 hard-cutoff硬截断法 parceling分配法 two stage两阶段法 fuzzy模糊法 拒绝样本的比例 是 拒绝率，代表在真实环境里一个样本被拒绝的概率。0.3 分桶数量 否 仅 拒绝推断方法 选择 parceling分配法 和 two stage两阶段法 时，...
PolarDB-X 2.0同步至DataHub
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 2.0 同步至 阿里云流式数据服务DataHub，实现增量数据的实时同步。前提条件 已开通 DataHub，并且已创建用作接收同步数据的Project。具体操作请参见 快速入门...
云原生内存数据库Tair
类型映射 Flink字段类型 Tair字段类型 VARCHAR STRING DOUBLE DOUBLE Tair自研数据结构格式 类型 格式 操作命令 TairString incrMode为None时，DDL为2列：第1列为key，STRING类型。第2列为value，STRING类型。exset key value incrMode为...
- 产品推荐
- 这些文档可能帮助您