RIGHT_SHIFT
但如果通过RIGHT_SHIFT（shardKey,8）将拆分键的值进行二进制右移8位，则分别变成了0x01、0x02、0x03和0x04，这样的散列效果就会比较均匀（若分4个库，刚好可以每个值对应一个分库）。使用示例 假设需要将ID作为拆分键，并将ID的值向右移...
RIGHT_SHIFT
但如果通过 RIGHT_SHIFT（shardKey,8）将拆分键的值进行二进制右移8位，则分别变成了 0x01、0x02、0x03 和 0x04，这样的散列效果就会比较均匀（若分4个库，刚好可以每个值对应一个分库）。使用示例 假设需要将ID作为拆分键，并将ID的值向右...
VALUES
不需要为所有的列用 AS 子句指定名称，但是那样做是一种好习惯（在PolarDB中，VALUES 的默认列名是 column1、column2 等，但在其他数据库系统中可能会不同）。当在 INSERT 中使用 VALUES 时，值都会被自动地强制为相应目标列的数据类型。当...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
CREATE TABLE
如果新表中的列名列表包含一个也是继承而来的列名，该数据类型必须也匹配继承的列，并且列定义会被融合成一个。如果新表显式地为列指定了任何默认值，这个默认值将覆盖来自该列继承声明中的默认值。否则，任何父表都必须为该列指定相同的...
KV2Table
默认”,”参数设置 是否只截取前1200列 如果转化后列数超过表最大列数1200列后，是否只截取前1200列。执行调优 计算核心数 系统根据输入数据量，自动分配训练的实例数量。每个核内存大小 系统根据输入数据量，自动分配内存。单位为MB。方式...
管理HBase全文索引
其中 f:name 这一列（列族名和列名用冒号隔开）映射到索引中的 name_s 这一列，f:age 这一列映射到索引中的 age_i 这一列。下面将解释每个配置项的具体含义和可以配置的参数值。参数名 含义 sourceNamespace HBase表的namespace名，如果表...
JSON格式导入
不指定JSON Path 如果没有指定JSON Path，则Doris会默认使用表中的列名查找Object中的元素。示例如下：表中包含两列 id,city。Json数据如下：{"id":123,"city":"beijing"} 则Doris会使用 id,city 进行匹配，得到最终数据 123 和 beijing。...
PIVOT、UNPIVOT
MaxCompute支持PIVOT和UNPIVOT关键字，通过PIVOT关键字可以基于聚合将一个或者多个指定值的行转换为列；通过UNPIVOT关键字可以将一个或者多个列转换为行。本文为您介绍PIVOT和UNPIVOT关键字的使用和示例。PIVOT关键字 PIVOT关键字对于指定...
PIVOT、UNPIVOT
MaxCompute支持PIVOT和UNPIVOT关键字，通过PIVOT关键字可以基于聚合将一个或者多个指定值的行转换为列；通过UNPIVOT关键字可以将一个或者多个列转换为行。本文为您介绍PIVOT和UNPIVOT关键字的使用和示例。PIVOT关键字（灰度中）PIVOT关键字...
配置自定义业务监控
步骤 4：设置列值分组 列值分组即数据的 group by，指明最终生成的数据按什么做分组，RMS 目前支持按 label 分组，即按运维维度做groupby。例如，按机房 IDC 做分组。说明 列值分组 Group By 中必须配置一个维度，分组列可配多列。您可以...
CREATE TABLE
重要 加盐因子（salt_factor）是进一步散列相同storeId列值的数据，通常设置为一个较小的数值，并且数值与分区数量是两倍的数量关系。如果分区数量为16，当salt_factor大于4时，则无法散列数据。加盐因子的其他值表示如下：salt_factor=1：...
分区索引
HASH分区 HASH分区将数据进行散列存储，从而避免出现数据的热点问题。在数据写入量较大的场景中可以很好地实现数据均衡。搜索索引默认按照Lindorm宽表的主键进行HASH分区，同时也支持自定义分区键。HASH分区的语法示例如下：创建搜索索引，...
使用须知
大多数场景都可以找到其他的业务字段来协助散列。考虑到其严重的副作用，我们不建议使用这个特性。副作用：写瓶颈：一般全表只有buckets个region用于承担写。当业务体量不断增长时，因为无法调整bucket数量，不能有更多的region帮助分担写...
单笔数据 Top
四、设置列值分组 列值分组即数据的 group by，指明最终生成的数据按什么做分组。若需要自定义分组列，单击 新增分组列>选取列值，在弹出的 列定义 弹框中定义列值选取规则。用鼠标在日志样本中选中一个目标关键词，系统会根据该关键词的...
分钟统计/多 Key
四、设置列值分组 列值分组即数据的 group by，指明最终生成的数据按什么做分组，RMS 目前支持按 label 分组，即按运维维度做 group by。例如，按机房 IDC 做分组。说明 列值分组 Group By 中必须配置一个维度，分组列可配多列。您可以直接...
数据节点
散列位数：自定义的散列位数。例如 4-6，表示取 4、5 两位。高级配置：默认保持关闭。如果开启，则需要填写过滤表达式。说明 关于 过滤表达式，即对数据进行逐条过滤处理，支持 Groovy 语法。是否汇总核对：默认保持关闭。如果开启，需配置...
表操作篇
如果必须使用 OrderNumber 作为分区键，建议在 OrderNumber 上进行哈希散列，将哈希值作为 OrderNumber 的前缀，保证数据和访问压力的均匀。总结 可以根据需求将 CardID 和 DeviceID 作为表的分区键，而不应该使用 SellerID 和 OrderNumber...
表表达式
ON 子句是最常见的连接条件的形式：它接收一个和 WHERE 子句里用的一样的布尔值表达式。如果两个分别来自 T1 和 T2 的行在 ON 表达式上运算的结果为真，那么它们就算是匹配的行。USING 是个缩写符号，它允许你利用特殊的情况：连接的两端都...
Stream Load
如果原始表的src_c1列对应目标表dst_c1列，原始表的src_c2列对应目标表dst_c2列，原始表的src_c3列对应目标表dst_c3列，则写法为 columns:dst_c1,dst_c2,dst_c3。如果原始表的src_c1列对应目标表dst_c2列，原始表的src_c2列对应目标表dst_c...
额外特性
当使用一个单独的列来存储你的文档的 tsvector 表示时，有必要创建一个触发器在文档内容列改变时更新 tsvector 列。两个内建触发器函数可以用于这个目的，或者你可以编写你自己的触发器函数。tsvector_update_trigger(tsvector_column_name...
开发运维建议
使用 COUNT(多列列名)时，多列列名必须使用括号，例如 COUNT((col1,col2,col3))。注意使用 COUNT(多列列名)时，所有NULL行都会被计数，所以效果与 COUNT(*)一致。不建议使用 SELECT*FROM t，用具体的字段列表代替*，避免返回用不到的字段。...
继承
然而，当我们想要查看一个城市的数据（不管它是不是一个首府）时会发生什么？继承特性将有助于解决这个问题。我们可以将 capitals 表定义为继承自 cities 表 CREATE TABLE cities(name text,population float,elevation int-in feet);...
表表达式
ON 子句是最常见的连接条件的形式：它接收一个和 WHERE 子句里用的一样的布尔值表达式。如果两个分别来自 T1 和 T2 的行在 ON 表达式上运算的结果为真，那么它们就算是匹配的行。USING 是个缩写符号，它允许你利用特殊的情况：连接的两端都...
配置Kafka输出组件
如果选择多列，会将配置的所有列序号的值用逗号连接作为写入Kafka记录的Key。如果不选择，写入Kafka记录Key为null，数据轮流写入topic的各个分区中。写入模式 该配置项决定将数据源端读取记录的所有列拼接作为写入Kafka记录Value的格式，可...
配置Kafka输出组件
如果选择多列，会将配置的所有列序号的值用逗号连接作为写入Kafka记录的Key。如果不选择，写入Kafka记录Key为null，数据轮流写入topic的各个分区中。写入模式 该配置项决定将数据源端读取记录的所有列拼接作为写入Kafka记录Value的格式，可...
PolarDB MySQL版8.0.1版本发布日志
8.0.1.1.41 类别 说明 发布时间 新增功能和性能优化 列存索引中新增基于TopK下推的Left Join功能。支持为用户授予执行 SHOW_ROUTINE、FLUSH_USER_RESOURCES、FLUSH_TABLES、FLUSH_STATUS 和 FLUSH_OPTIMIZER_COSTS 命令的全局动态权限。...
GIN索引
应用场景 搜索多值类型，例如数组、全文检索 按照任意列进行搜索 查找的数据比较稀疏 操作符 操作符 示例*from test where id[1,2];select*from test where id@>array[1,2];select*from test where id=array[1,2];select*from test where ...
DDL操作常见问题
本文为您介绍对表、分区、列执行DDL操作过程中的常见问题。问题类别 常见问题 表操作 MaxCompute支持虚拟表吗？例如MySQL中的DUAL表？MaxCompute的表有无索引？如何修改表的Hash Clustering属性？如何将非分区表修改为分区表？因误操作删除...
通过外表导入至数仓版
示例：hdfs:/172.17.*.*:9000/adb/hdfs_import_test_csv_data/hdfs_import_test_data.csv partition_column 选填 定义外表的分区列，用英文逗号（,）切分各列。定义分区列的方法，请参见 创建带分区的HDFS外表。compress_type 定义数据文件...
列存索引如何实现高效数据过滤
其中，RANGE和LIST分区会把数据表分成若干个区间或列表，HASH分区会将数据散列到不同的分区。在使用分区剪枝技术时，需要使用符合分区条件的查询语句，并将分区键作为查询条件进行查询。例如，假设有一个订单表orders，根据订单日期分为12...
修改表
利用这些命令，我们可以进行以下操作：增加列 移除列 增加约束 移除约束 修改默认值 修改列数据类型 重命名列 重命名表 增加列 执行以下命令，增加一个列：ALTER TABLE products ADD COLUMN description text;新列将被默认值所填充（如果...
规划器使用的统计信息
ANALYZE 在 pg_statistic 中存储的信息量（特别是每个列的 most_common_vals 中的最大项数和 histogram_bounds 数组）可以用 ALTER TABLE SET STATISTICS 命令为每一列设置，或者通过设置配置变量 default_statistics_target 进行全局设置...
SelectObject
CompressionType 枚举 指定文件压缩类型：None|GZIP 子节点：None 父节点：InputSerialization FileHeaderInfo 枚举 指定CSV文件头信息（可选）取值：Use：该CSV文件有头信息，可以用CSV列名作为Select中的列名。Ignore：该CSV文件有头信息...
弃用镜像或恢复可用镜像
恢复镜像族系内的镜像 如果您需要使用镜像族系中已弃用的最新自定义镜像，需将该自定义镜像恢复可用，即可作为最新可用的自定义镜像使用。登录 ECS管理控制台。在左侧导航栏，选择 实例与镜像>镜像。在页面左侧顶部，选择目标资源所在的...
列存索引
列存索引可以增强宽表中海量数据的分析计算能力，主要适用于车联网与物联网的设备信息统计、电商领域的数据分析、物流行业的订单统计等场景。本文介绍列存索引的基础用法和高阶用法，帮助您快速上手并进一步掌握列存索引。前提条件 已开通...
数据分布策略
语法 CREATE TABLE table_name(.)[DISTRIBUTED BY(column[,.])|DISTRIBUTED RANDOMLY|DISTRIBUTED REPLICATED]哈希分布 DISTRIBUTED BY(column,[.]）数据将根据分布列的哈希值将各个行分布到指定计算节点上，相同的哈希值会始终散列到同一...
更新数据
和平常一样，表名字也可以是用模式限定的，否则会从路径中查找它。然后是关键字 SET，后面跟着列名、一个等号以及新的列值。新的列值可以是任意标量表达式，而不仅仅是常量。例如，如果你想把所有产品的价格提高 10%，你可以用：UPDATE ...
新增脱敏算法
说明 多个字符串之间用半角逗号（,）分开。目标字符串中的字符串数量需要与替换字符串中的字符串数量相等。例如，将字符串abcd中的ab替换为mn，设置目标字符串为ab，替换字符串为mn，则脱敏结果为mncd。随机替换：将字段的固定位置，替换为...
插入数据
数据的值是按照这些列在表中出现的顺序列出的，并且用逗号分隔。通常，数据的值是文字（常量），但也允许使用标量表达式。上面的语法的缺点是你必须知道表中列的顺序。要避免这个问题，你也可以显式地列出列。例如，下面的两条命令都有和...
- 产品推荐
- 这些文档可能帮助您