支持的函数
支持的函数 Flink全托管VVR 3.0.0版本在Flink V1.12的基础上增加了部分内置函数，详情请参见 标量函数、表值函数 和 聚合函数。下表展示的是Flink全托管在Flink V1.15版本的基础上支持的全部内置函数及简要说明。不同Flink版本支持的函数...
数据分布策略
语法 CREATE TABLE table_name(.)[DISTRIBUTED BY(column[,.])|DISTRIBUTED RANDOMLY|DISTRIBUTED REPLICATED]哈希分布 DISTRIBUTED BY(column,[.]）数据将根据分布列的哈希值将各个行分布到指定计算节点上，相同的哈希值会始终散列到同一...
表分布定义
建表语句 CREATE TABLE 支持如下三个分布策略的子句：分布方式 说明 哈希分布 DISTRIBUTED BY(column,[.])数据将根据分布列的哈希值将各个行分布到指定计算节点上，相同的哈希值会始终散列到同一计算节点。为保障数据可以均匀分布在各个...
SelectObject
当该参数为false时，OSS会忽略缺失某些列（该列值当做null）而不报错。当该参数为true时，该行数据因为不完整而被整体跳过。当跳过的行数超过指定的最大跳过行数时OSS会报错并停止处理。默认false。子节点：None 父节点：Options ...
RequestParameter
JSON验证（Json Scheme）EnumValue String 当ParameterType=Int、Long、Float、Double或String，允许输入的散列值，不同的值用英文的逗号分隔，形如：1,2,3,4,9或A,B,C,E,F DocShow String 文档可见，取值为：PUBLIC、PRIVATE DocOrder ...
数据节点
当核对的数据量较大时，可选择参与核对字段的某个字段，针对某几位进行散列，读取到的数据就会按照散列后的值散列到不同分片中，支持后续并发排序和核对，从而提升核对效率。说明 散列字段可以与排序字段保持一致。散列位数：自定义的散列...
新增脱敏算法
系统内置5种脱敏算法：哈希：MD5：一种被广泛使用的密码散列函数，可以产生出一个128位（16字节）的散列值。SHA1：一种密码散列数，可以生成一个被称为消息摘要的160位（20字节）散列值。SHA256：使用的哈希值长度是256位。HMAC：基于Hash...
采集MySQL查询结果
警告 该列的值必须递增，否则可能会出现数据漏采集问题（每次查询结果中的最大值将作为下次查询的输入）。CheckPoint列的数据类型 CheckPoint列的数据类型，支持int和time。int类型的内部存储为int64，time类型支持MySQL的date、datetime、...
概述
如 SELECT*FROM t1，如果 t1 表中包含 name 和 age 列，则查询结果中的这2列值会被脱敏。当应用程序使用 testAcc 连接数据库，并查询某个表中的 name、age 和 hobby 时，Proxy会将 name 和 age 列的数据进行脱敏后再返回，hobby 列的数据则...
分区索引
HASH分区 HASH分区将数据进行散列存储，从而避免出现数据的热点问题。在数据写入量较大的场景中可以很好地实现数据均衡。搜索索引默认按照Lindorm宽表的主键进行HASH分区，同时也支持自定义分区键。HASH分区的语法示例如下：创建搜索索引，...
CREATE TABLE
HASH分区将数据进行散列存储，从而避免出现数据的热点问题。在数据写入量较大的场景中可以很好的实现数据均衡，搜索引擎默认按照主键进行HASH分区，同时也支持自定义的业务分区键。使用一级HASH分区时，如果自定义的HASH键存在热点问题，则...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
列存索引如何实现高效数据过滤
其中，RANGE和LIST分区会把数据表分成若干个区间或列表，HASH分区会将数据散列到不同的分区。在使用分区剪枝技术时，需要使用符合分区条件的查询语句，并将分区键作为查询条件进行查询。例如，假设有一个订单表orders，根据订单日期分为12...
Rowkey设计
Hashing 可用一个单向的 hash 散列来取代随机指派前缀。这样能使一个给定的行在“salted”时有相同的前缀，从某种程度上说，这在分散了RegionServer间的负载的同时，也允许在读操作时能够预测。确定性hash（deterministic hash）能让客户端...
使用须知
问题描述：某些情况下，Phoenix对有些索引的主表回查会存在bug，在执行查询的时候,会出现异常。解决方法：通过冗余全部列，避免回查主表。RegionServer OOM的情况。问题描述：LookupJoin会在ScanRpc请求中发起Get请求，这个Get请求的...
RIGHT_SHIFT
通常一些业务后N位可能只是一些业务上的标志位，如果直接对键值进行取余散列，其散列效果可能会比较差。但如果通过RIGHT_SHIFT（shardKey,8）将拆分键的值进行二进制右移8位，则分别变成了0x01、0x02、0x03和0x04，这样的散列效果就会比较...
监测数据质量
列中唯一值的个数（固定值）：检验某列中唯一值的个数是否满足预期，例如配置某列中唯一值的个数大于等于100，以保障所有数据中一定会出现100个不同的值。列中重复值的个数（固定值）：检验某列中重复的个数是否满足预期，例如配置某列中...
CREATE TABLE（AUTO模式）
PolarDB-X 还针对比较常见的特定的应用场景新扩展了一种新的名为CoHash的哈希分区策略，该策略可有效解决一个表需要同时按多个不同的相互有协同关系的分区列进行水平分区的问题。Hash类型 PolarDB-X 的Hash类型分区可细分为Hash分区与Key...
RIGHT_SHIFT
通常一些业务后N位可能只是一些业务上的标志位，如果直接对面值进行取余散列，其散列效果可能会比较差。但如果通过 RIGHT_SHIFT（shardKey,8）将拆分键的值进行二进制右移8位，则分别变成了 0x01、0x02、0x03 和 0x04，这样的散列效果就会...
时序引擎版本说明
修复最新值查询在扩容后可能会出现返回多条数据的问题。修复降采样查询中不支持常量折叠计算的问题。修复正则查询降采样数据时间条件不生效的问题。3.4.10 2022年02月28日 新特性 SQL查询语句tags支持通过正则表达式过滤。支持non_negative...
SELECT
可选的 GROUP BY 子句的形式：GROUP BY grouping_element[,.]参数说明 grouping_element 中使用的expression可以是输入列名、输出列（SELECT列表项）的名称或序号或者由输入列值构成的任意表达式。在出现歧义时，GROUP BY 名称将被解释为...
原子计数器
默认不返回进行原子计数操作的列值，您可以通过相应操作指定返回进行原子计数操作的列值。在单次更新请求中，不能对某一列同时进行更新和原子计数操作。假设列A已经执行原子计数操作，则列A不能再执行其他操作（例如列的覆盖写，列删除等）...
创建同步ElasticSearch
对于ES5，DataHub同步数据时，将会以用户选择作为Type的列的值作为一条数据的type，如果选择多列，则多列的值会以“|”分割作为一条数据的type。选择作为Type属性列的字段不能为null。对于ES6，DataHub同步数据时，将会以用户选择的列的列...
V5.1.x系列实例版本说明
解决DISTINCT在部分跨库JOIN场景下会出现报错的问题。修复分库分表情况下聚合函数查询带LIMIT时返回结果不正确的问题。解决BigDecimal类型在类型转换过程会消耗大量CPU的问题。修复SHOW FULL STATS连接数不准确的问题。修复SHOW FULL STATS...
2023年
修复实例扩容后，开启并行查询访问AOCS列存表会出现coredump内核错误的问题。修复pg_rewind复制Xlog受statement_timeout参数影响的问题。修复ORCA优化器对含有较多子分区的表planning时间过长的问题。2023年03月 V6.3.10.12 类别 功能 功能...
过滤器
} } } 使用CompositeColumnValueFilter过滤数据 以下示例用于返回主键范围在["a","h")之间，Col0列值等于0且Col1列值大于100或者Col2列值小于等于10的行。private static void getRange(SyncClient client){/设置数据表名称。...
通过 Go 客户端连接数据库使用示例
1L 参数说明：tableName：表名 rowkey：更新的主键名 columns：更新的目标列（一列或多列）values：需要更新的列值（一列或多列）long 返回值，表示具体更新的行数量（1行）replace 接口 您可使用该接口替换一行记录，使用该接口会出现以下...
Quick BI交叉表报错“列维度值组合数过多（超过500）...
问题描述 创建交叉表时报错“列维度值组合数过多（超过500）”，但没有放500个字段 问题原因 交叉表总列数不能超过500个，添加500个字段会异常。如果“列”里放了维度，那么维度值个数不能超过500个。解决方案 交叉表的“列”不要放枚举值...
CREATE TABLE
column_constraints（非空与主键）NOT NULL 定义了 NOT NULL 的列，值不能为 NULL。不定义 NOT NULL 或定义了 NULL 时，值可以为 NULL。PRIMARY KEY 定义主键。在列约束（column_constraints）中，只能定义单一列作为主键，例如 id BIGINT ...
ALTER TABLE
可选的 USING 子句指定如何从旧的列值计算新列值，如果被省略，默认的转换和从旧类型到新类型的赋值造型一样。如果没有从旧类型到新类型的隐式或者赋值造型，则必须提供一个 USING 子句。SET/DROP DEFAULT 这些表单设置或删除列的默认值...
pg_attrdef
只有那些显式指定了一个默认值的列才会在这个目录中有一个项。列名称 列类型 描述 oid oid 行标识符。adrelid oid 该列所属的表。adnum int2 列的编号。adbin pg_node_tree 列的默认值，以 nodeToString()表示。用 pg_get_expr(adbin,...
SQL在Procedure内执行报错
Procedure运行时使用创建时的sql_mode值而非运行时的sql_mode值，如果创建时的sql_mode值比运行时的sql_mode值限制条件更多，就会出现上述问题。在上述案例中，创建Procedure时的sql_mode值为 'STRICT_TRANS_TABLES'，而运行时的sql_mode值...
SQL在Procedure内执行报错
Procedure运行时使用创建时的sql_mode值而非运行时的sql_mode值，如果创建时的sql_mode值比运行时的sql_mode值限制条件更多，就会出现上述问题。在上述案例中，创建Procedure时的sql_mode值为 'STRICT_TRANS_TABLES'，而运行时的sql_mode值...
使用二级索引读取数据
} } } 常见问题 读取二级索引时报错OTSErrorMsg:Disallow read index table in building base state 使用SDK时出现Validate PK size fail异常 使用SDK时出现Validate PK name fail异常 相关文档 当日常业务中有非主键列查询、多列组合查询...
运行失败
另外 pt 列必须指定为分区列，如果是普通列也会出现同样的错误。报错ShuffleServiceMode:Dump checkpoint failed 报错信息 0010000:System internal error-fuxi job failed,caused by:ShuffleServiceMode:Dump checkpoint failed 解决方法 ...
日志投递MaxCompute后，如何检查数据完整性
此时投递过去的列值为null，而MaxCompute表不允许分区列值为null。表分区列映射的日志服务字段的值包含正斜线（/）或其他特殊符号。MaxCompute将这些字符作为保留字，不允许在分区列中出现。遇到这些情况时，投递策略为忽略异常的日志行，...
使用二级索引读取数据
过滤条件为definedcol2列值不等于1且definedcol3列值等于'test'。cond=CompositeColumnCondition(LogicalOperator.AND)cond.add_sub_condition(SingleColumnCondition("definedcol2",1,ComparatorType.NOT_EQUAL))cond.add_sub_condition...
如何设计宽表主键
散列的目的是将数据分散到不同的分区，不至于产生热点使某一台服务器终止，其他服务器空闲，充分发挥分布式和并发的优势。最佳设计示例：设计md5散列算法，主键设计为[md5(userid).subStr(0,4)][userId][orderid]。设计反转，主键设计为...
0016-00000834
如果某一行是非法CSV行，例如在某一列中间连续出现奇数个quote字符，则OSS会马上停止处理并报错。该错误很可能会影响对整个CSV文件的解析。该参数用于调整对非整齐数据的容忍度，但不应用于非法的CSV文件。相关文档 查询文件 SelectObject
写入数据
说明 本文示例中的pkValue均表示主键列值，使用时请根据实际填写具体数据。写入方式 表格存储 提供的数据写入接口包括PutRow、UpdateRow和BatchWriteRow。写入数据时，请根据实际场景选择相应写入方式。写入方式 说明 适用场景 插入单行...
- 产品推荐
- 这些文档可能帮助您