StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见 ...
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见...
SimpleQuery
在逻辑运算符为 nested 时，其父级的 Field 必须为一个数组类的字段（如：Labels）。子查询条件 SimpleQuery 组的 Operation 必须为 and/or/not 中的一个或多个，其 Field 必须为父级 Field 的子属性。请参考 SimpleQuery-简单查询 查看...
Elasticsearch数据源
xxx","age":18 }]} 该结构的数组字段，可通过如下命令将字段属性定义添加到目标索引映射的_meta.selectdb 属性来定义。ES 7.x and above curl-X PUT"localhost:9200/doc/_mapping?pretty"-H 'Content-Type:application/json'-d ' {"_meta...
数组函数和操作符
string_to_array(string text,delimiter text[,null_string text])→text[]string_to_array('xx~yy~zz','~','yy')→{xx,NULL,zz} 将数组展开为一组行。unnest(anyarray)→setof anyelement unnest(ARRAY[1,2])→1 2 将多个数组（可能是不同...
Map映射函数和运算符
现使用map函数将两个字段的值（两个数组）映射为一个Map，将班级和班级人数一一对应。字段样例 class:["class01","class02","class03","class04","class05"]number:[49,50,45,47,50]查询和分析语句*|SELECT map(try_cast(json_parse(class)...
重命名字段
SourceKeys String数组 是 待重命名的原始字段。DestKeys String数组 是 重命名后的字段。配置示例 将 aaa1 字段重命名为 bbb1，将 aaa2 字段重命名 bbb2，配置示例如下：原始日志"aaa1":"value1""aaa2":"value2""aaa3":"value3"Logtail...
数据序列化和持久化
蚂蚁区块链智能合约平台分别提供了基础数据类型的序列化和用户自定义数据类型的持久化方法。基础数据序列化 使用 ...对于数组字段，限制数组长度最大为 1024，超过该长度后继续追加元素会报错。对于 string 字段，限制最大长度为 2K，即 ...
数据序列化和持久化
table 中的字段类型可为基础类型、数组、map、string 及其他 table 类型。关于 Schema 支持的数据类型，参见下面的 数据类型 章节。此外，Schema 语法支持在已有的 table 中添加新字段，废弃已有字段。为确保 Schema 能够保持前向、后向...
多元索引限制
数组长度 256 数组中最多包含的元素个数。Nested嵌套层数 5 最多支持5层Nested嵌套。Nested字段的子行数量 256 嵌套字段的嵌套行最大数量，非子字段数量。Nested字段数量 25 嵌套中子字段的个数。表主键列长度之和 1000字节 所有主键列的...
通过AlbConfig配置ALB监听
Listeners字段更新方式 Listeners字段属于数组类型的配置，一般采用替换方式进行配置更新。当您更新Listeners字段时，新的配置内容会完全替换现有的配置内容。详情见下表：序号 条件 结果 对象是否在对象配置文件中 对象是否在现有对象配置...
通过AlbConfig配置ALB监听
Listeners字段更新方式 Listeners字段属于数组类型的配置，一般采用替换方式进行配置更新。当您更新Listeners字段时，新的配置内容会完全替换现有的配置内容。详情见下表：序号 条件 结果 对象是否在对象配置文件中 对象是否在现有对象配置...
配置Kafka输入
数组所在位置路径 当输出模式设置为多行输出时，指定JSON数组在kafka记录value中的路径，路径支持以 a.a1 的格式引用特定JSON对象中的字段或者以 a[0].a1 的格式引用特定JSON数组中的字段，如果该配置项为空，则将整个kafka记录value作为...
通过自定义集成方式接入告警
不选择为根节点：可以选择将数组中的具体下标元素$.metadata[0].service 或$.metadata[1].service 属性值迭代映射到ARMS的 service 字段。可选：选中 配置告警恢复事件，然后设置恢复字段条件。系统收到事件后会根据恢复字段查询告警事件，...
集成Grafana告警
不选择为根节点：可以选择将数组中的具体下标元素$.evalMatches[0].value 或$.evalMatches[1].value 属性值迭代映射到ARMS的 value 字段。在 将源字段映射到目标字段 区域将告警源字段映射到ARMS告警字段上。单击映射图标，可以修改字段...
实时同步常见问题
MySQL和PolarDB MySQL源端实时同步，建议您在源端新增列时采用末尾追加列方式，不要采用在中间字段加列方式。如果源端无法避免中间字段加列，需要注意以下约束条件：全增量解决方案中，在全量同步阶段不要进行中间字段加列，否则会导致实时...
数组函数和运算符
array_join函数 array_join(x,delimiter)使用指定的连接符将数组中的元素拼接为一个字符串。如果数组中包含null元素，则null元素将被忽略。重要 使用array_join函数时，返回结果大小最大为1 KB，超出1 KB的数据会被截断。array_join(x,...
CSV数据文件格式
SET属性数组字段：可以使用双引号（""）将整个字段括起来，解析时会去掉字段前后的双引号，例如整型数组字段"32;45;12。SET属性数组字段类型是字符串：单个数组元素不能包含有分号;字符，会被解析成元素分隔符。数据类型 属性值类型 字段...
查询和分析JSON日志
body_bytes_sent 字段的值为JSON数组，不能建立索引，也不能为叶子节点建立索引。不能查询分析 body_bytes_sent 字段或 body_bytes_sent 的叶子节点。步骤二：重建索引 配置索引后，只对新采集的数据生效。如果您要查询历史数据，请使用...
事件处理流
动作配置 待提取字段：location 提取正则表达式：([a-zA-z]+-[a-zA-z]+)-(.*)填充的字符：region、datacenter 执行结果 匹配更新 当系统检测到事件的指定字段中存在某段内容时，就将设置的字段值填充到目标字段中。场景 告警字段："message...
数据类型
您在创建索引时，可将字段的数据类型设置为text、long、double或JSON。本文介绍各个数据类型的配置示例及注意事项。text类型 如果您要查询和分析字符串类型的字段，需在配置索引时，将字段的数据类型设置为text，并开启统计功能。说明 开启...
API
convertMultiAttrMeta 将字段模型数组转换为字段数组；允许包装字段。定义：interface ComponentApi convertMultiAttrMeta:,Config>(propValue:PackMultiAttrSchemaDataWith,Config>|MultiAttrSchemaDataWith,)=>MultiAttrMetaWith|...
通过自定义模型识别
DataWorks支持通过您提供的样本字段，进行模型训练，帮助您寻找目标字段的内容特征，生成相应的规则模型。该功能通常用于发现您的数据资产中与该特征内容相似的数据。本文为您介绍如何生成自定义的数据识别模型。使用限制 DataWorks不支持...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
函数列表
add(Object)在数组末尾中添加元素。add(index,Object)在对应index索引位置添加元素。addAll(array)在数组中添加另一个数组。size()获取数组中元素个数。String类型。函数 说明 substring(start,end)截取从 start 位置到 end-1 位置的字符串...
如何使用Redis连接模块
APPEND 如果 键 已经存在并且是一个字符串，APPEND命令将指定的 值 追加到该 键 原来值（value）的末尾。DEL 删除该 键 和 值。DECR 将 键 中储存的数字值减一。DECRBY 键 所储存的值减去给定的减量值。INCR 将 键 中储存的数字值加一。...
array
重要 数据系列的 default 值必须为一个对象数组，且数组内对象中的属性必须在 child.child 字段中逐一进行定义，并设置属性的显示名、类型及默认值。值说明 条件 数据类型 示例 默认值 无 array[{"name":"系列一",value:"进港"},{"name":...
分析概述
重要 如果您要分析日志，则必须将日志采集到Standard Logstore中，且在配置索引时打开对应字段的 开启统计 开关。更多信息，请参见 Logstore类型对比、创建索引。日志服务默认存在保留字段。如果您要分析保留字段，请参见 保留字段。基础...
array
注意 数据系列的 default 值必须为一个对象数组，且数组内对象中的属性必须在 child.child 字段中逐一进行定义，并设置属性的显示名、类型及默认值。值说明 条件 数据类型 示例 默认值 无 array[{"name":"系列一",value:"进港"},{"name":...
丢弃字段
参数 类型 是否必选 说明 DropKeys String数组 是 指定待丢弃的字段，支持配置多个。配置示例 丢弃日志中的 aaa1 字段和 aaa2 字段，配置示例如下：原始日志"aaa1":"value1""aaa2":"value2""aaa3":"value3"Logtail插件处理配置 {...
虚拟列
数据表中字段类型 虚拟列字段类型 String Keyword（含数组）String Text（含数组）String Long（含数组）String Double（含数组）String Geo-point（含数组）Long Keyword Long Text Double Keyword Double Text 虚拟列目前仅支持用在查询...
配置同步任务
字段分隔符 当字段类型为数组时，需要填写字段分隔符。更新信息 填写更新信息。例如 {"isUpsert":"true","upsertkey"""unique_id"}。配置 来源字段 区域的参数。选择来源表后，来源表的字段会展示在 来源字段 区域内。您可以单击字段所在行...
PolarDB MySQL版DDL操作指南
是 否 支持 修改ENUM/SET列的定义 是 否 是 4 不涉及 秒级加字段 功能仅支持将列添加至表的末尾。当表未指定主键时，需要将参数 implicit_primary_key 的值设置为 OFF，以避免在执行秒级加字段操作时因表的最末尾的隐式主键列导致加列操作...
Elasticsearch数据源
属性[]场景四：数组属性去重归并 多属性合一，将多个属性合并为一个属性。属性1,属性2 场景五：多属性合一同步 多属性选择处理。属性1|属性2 场景六：多属性选择同步 数据同步任务开发 Elasticsearch数据同步任务的配置入口和通用配置流程...
转换函数
ct_float 将字段或表达式的值转换为浮点数。ct_str 将字段或表达式的值转换为字符串。ct_bool 将字段或表达式值转换为布尔值。数字转换 ct_chr 将字段或表达式的ANSI值、Unicode值转换为对应字符。ct_ord 将字段或表达式的字符转换为对应...
自定义组件API
fields：字段数组，同一种字段类型下可能有多个字段。其接口为：interface FieldModel {/*唯一Id*/fieldId:string;字段名*/fieldName:string;最终展示别名*/showName:string;是否计算字段*/isCalc?boolean;如：calc*/skin?string;值的类型*...
Flume消费
appendTimestamp 否 当 deserializer 为 DELIMITED 时，用于设置是否将时间戳作为一个字段自动添加到每行末尾。默认为false。sourceAsField 否 当 deserializer 为 JSON 时，用于设置是否将日志Source作为一个字段，字段名称为_source_。...
配置同步任务
字段分隔符 当字段类型为数组时，需要填写字段分隔符。更新信息 填写更新信息。例如 {"isUpsert":"true","upsertkey"""unique_id"}。当数据同步目标端为 Hive、TDH Iceptor 时，配置参数如下。参数 描述 数据源 支持根据数据类型筛选数据源...
查询语法
如果将字段的类型从text类型改成double、long类型，则只支持等号（=）查询。如果需要使用范围查询、大于号（>）、小于号（<）等运算符，必须 重建索引。and、or、not、()、>、>=、<、、=、in。JSON类型 针对JSON对象中的字段，您可根据其值...
- 产品推荐
- 这些文档可能帮助您