事件检查函数
原始日志 content:123 加工规则 e_keep(e_has("content"))加工结果 content:123 e_not_has 判断字段是否不存在。函数格式 e_not_has("key")参数说明 参数名称 参数类型 是否必填 说明 key String 是 字段名称。返回结果 字段不存在返回True...
使用介绍
UDF列表 函数名 功能简介 contain 判断字段值在给定集合内，支持单值和多值 notcontain 判断字段值不在给定集合内，支持单值和多值 MATCHINDEX 使用给定的条件查询指定字段的倒排索引 QUERY 使用给定的条件查询倒排索引,原HA3 query语法 ...
业务排序函数
业务排序表达式，主要是对基础排序后召回的结果做进一步排序算分，最终返回最...kvpairs_value:获取查询串中kvpairs子句中指定字段的值 normalize：归一化函数，根据不同的算分将数值归一化至[0,1]in和notin:判断字段值是否（不）在指定列表中
正则表达式函数
e_set("regex_match",regex_match(v("str"),r"\d+"))#判断字段str是否全部为数字。e_set("regex_match2",regex_match(v("str"),r"\d+",full=True))加工结果 str:iZbp1a65x3r1vhpe94fi2qZ regex_match:True regex_match2:False regex_...
业务排序函数
业务排序表达式，主要是对基础排序后召回的结果做进一步排序算分，最终返回最优结果给用户。业务排序表达式允许用户为应用自定义搜索结果排序方式，通过在查询...根据不同的算分将数值归一化至[0,1]in/notin:判断字段值是否（不）在指定列表中
错误检查
fieldCheck='fieldCheck',/判断字段 和 逻辑流数据源的实体是否匹配 logicResultCheck='logicResultCheck',/判断 模板字符串 是否有误 templateExpressionCheck='templateExpressionCheck',/判断绑定的逻辑流 工作流是否存在 logicCheck='...
使用介绍
内置UDF列表 复杂类型函数 函数名 功能简介 版本 contain 判断字段值在给定集合内 ALL notcontain 判断字段值不在给定集合内 ALL MATCHINDEX 使用给定的条件查询指定字段的倒排索引 ALL QUERY 使用给定的条件查询倒排索引,原HA3 query语法 ...
使用介绍
内置UDF列表 复杂类型函数 函数名 功能简介 版本 contain 判断字段值在给定集合内 ALL notcontain 判断字段值不在给定集合内 ALL MATCHINDEX 使用给定的条件查询指定字段的倒排索引 ALL QUERY 使用给定的条件查询倒排索引,原HA3 query语法 ...
事件判断
场景1：判断字段是否存在 原始日志 a:a_value b:/空字符串 SLS DSL编排 方案一（推荐）：采用 e_has 或 e_not_has。e_if(e_has("a"),e_set("has_a",true))e_if(e_has("b"),e_set("has_b",true))e_if(e_has("c"),e_set("has_c",true))e_if(e...
SQL其他常见问题
您可以通过MaxCompute SQL的运算符判断字段是否为空，更多运算符信息，请参见 运算符。是否可以通过DataWorks的Shell节点调取MaxCompute SQL？不可以。Shell节点仅支持标准Shell语法，不支持交互性语法。如果作业较多，您可以使用ODPS SQL...
filter表达式
filter:"contain(nid,\"1|2|3\")"使用 notcontain，检索nid字段值 不在[1,2,3]范围内的所有记录 filter:"notcontain(nid,\"1|2|3\")"in/notin in和notin:判断字段值是否（不）在指定列表中 举例：查询文档中type（int类型）为1或2或3的文档...
扩展参数
kvpairs_value:获取查询串中kvpairs子句中指定字段的值 normalize：归一化函数，根据不同的算分将数值归一化至[0,1]in和notin:判断字段值是否（不）在指定列表中 operator参数 参数说明：表示文本召回时，文本token之间的关系是OR，默认是...
新增逻辑表质量规则
说明 其中各个数据类型的含义：系统统计类：主要从统计学角度设置字段规则，包括最大值、唯一率、重复率等判断字段是否符合要求。数据元类：针对已关联了数据元标准的字段，支持自动生成元数据质量检查标准或自定义选择元数据标准的规则和...
新增逻辑表质量规则
说明 其中各个数据类型的含义：系统统计类：主要从统计学角度设置字段规则，包括最大值、唯一率、重复率等判断字段是否符合要求。数据元类：针对已关联了数据元标准的字段，支持自动生成元数据质量检查标准或自定义选择元数据标准的规则和...
排序表达式
支持 支持 in/notin 判断字段值是否（不）在指定列表中 支持 支持 tag_match 用于对查询语句和文档做标签匹配，使用匹配结果对文档进行算分加权 支持 支持 first_phase_score 获取粗排表达式最终计算分值 不支持 支持 text_relevance...
排序表达式
支持 支持 in/notin 判断字段值是否（不）在指定列表中 支持 支持 tag_match 用于对查询语句和文档做标签匹配，使用匹配结果对文档进行算分加权 支持 支持 first_phase_score 获取粗排表达式最终计算分值 不支持 支持 text_relevance...
API参考
判断字段是否不可编辑，没有或者只读 都是不可编辑*/isDisabled:isDisabledByKeyOrField&isDisabledByKeyOrFieldAndData;} getDcValue是获取实体对象字段的值。setDcValue是更新实体对象字段的值。isDisabled是用于判断实体对象字段是否...
设置逻辑表质量规则
数据类型 系统统计类：主要从统计学角度设置字段规则，包括最大值、唯一率、重复率等判断字段是否符合要求。数据元类：适用于选择的字段已关联了数据元后的规则。维度类：适用于选择的字段已关联了维度后的规则，包括字段长度和字段值类型...
设置逻辑表质量规则
数据类型 系统统计类：主要从统计学角度设置字段规则，包括最大值、唯一率、重复率等判断字段是否符合要求。数据元类：适用于选择的字段已关联了数据元后的规则。维度类：适用于选择的字段已关联了维度后的规则，包括字段长度和字段值类型...
结构设计
fac.column_is_primary 判断字段是不是主键列。true：主键中的列 false：非主键中的列@fac.column_type_support_default 判断当前字段的数据类型是不是支持设置默认值。true：支持 false：不支持 例如：CHAR 类型支持设置默认值，TEXT 类型...
语法简介
例如 e_if(e_match("status","200"),e_regex("data","ret:\d+","result"))，会首先判断字段 status 是否为 200，如果条件判断为真，则会对字段 data 用正则表达式提取出新字段 result；如果条件判断为否，则不会执行任何操作。e_if_else：...
Sensors Data（神策）数据源
示例"dataConverters":[{"type":"NotNull2Null"}]无 IfElse if条件表达式，判断字段值是否满足条件，当if条件表达式成立时，在value中定义满足条件时的字段返回值，当if条件表达式不成立时，在else中定义不满足条件时的字段返回值。...
恶意行为防御自定义规则最佳实践
说明 系统通过 恶意文件md5 字段判断，拦截恶意文件MD5。配置项 说明 规则名称 建议按照误拦截告警规则命名，例如误报的挖矿程序加白。规则类型 选择 进程hash。进程MD5 填写为误拦截告警详情中的 恶意文件md5 字段值。例如d2f295a89555579...
API
isAttrMeta 判断属性值是否为字段。定义：interface ComponentApi isAttrMeta:(value:any)=>value is AttrMeta;} 参数：字段 类型 含义 备注 value any 属性值 返回值：boolean，true为是；false为否。AttrMeta定义请参见 AttrMeta。...
UpdateQualityCheckData-更新随录数据
更新会话随录数据（三方业务字段），便于更多业务维度统计和查询。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出...
UploadData-上传文本质检
} 返回参数 名称 类型 描述 示例值 object Code string 结果代码，200 表示成功，若为别的值则表示失败，调用方可根据此字段判断失败原因。200 Message string 出错时表示出错详情，成功时为 successful。successful Data string 该任务的 ...
UploadDataV4-上传文本质检V4
} 返回参数 名称 类型 描述 示例值 object 返回参数 Code string 结果代码，200 表示成功，若为别的值则表示失败，调用方可根据此字段判断失败原因。200 Message string 出错时表示出错详情，成功时为 successful。successful Data string ...
UploadAudioData-上传音频质检
jsonParamStr String 否 更多自定义字段，格式为 JSON 字符串，key 为字段名称，value 为字段内容，示例：{"客户等级"：3，"渠道"："官网"}。complain Boolean 否 是否客诉，用于原因分析模块，该字段若为 true，则将归类到客诉原因分析...
搜索增强
配置索引 数据源表 字段名，描述，类型 字段名称,对采用oss文件格式作为数据源的实例，字段名称跟离线数据解析结果字段对应，离线解析结果默认的字段名称包括如下：字段名称 字段描述 字段类型 docId 主键、唯一标识id varchar name 文件...
多轮对话搜索
字段名 字段名称,对采用OSS文件格式作为数据源的实例，字段名称跟离线数据解析结果字段对应，离线解析结果默认的字段名称包括：字段名称 字段描述 字段类型 docId 主键、唯一标识id varchar name 文件名称 varchar title 解析片段标题内容 ...
单doc多向量检索
一个字段里存3个向量可以：检索时使用正常的检索方式，检索128维的向量即可，被检索的doc中命中其中一个向量该doc就会被召回。在排序算分阶段，如果一个doc中的多个向量均被命中，则以多个向量中最优（欧式距离是分数越小越相关，内积距离...
配置值转化
您可以通过值转化节点将解析任务的流转消息中某个字段，转化为另一个值，该值可以输出到原字段或新定义的字段。通过该节点转化生成多样化的数据，可用于后续分析或输出。应用场景 场景一：转化值到原字段。某大棚使用传感器上报光照度（lux...
比较运算符
字段样例 request_uri:/request/path-2/file-6 查询和分析语句*|SELECT*WHERE request_uri LIKE '%file-8' OR request_uri LIKE '%file-6' 查询和分析结果 示例2：判断 request_uri 字段值是否以file-6结尾。字段样例 request_uri:/request...
函数总览
表达式函数 函数分类 函数名称 说明 事件检查函数 e_has 判断日志字段是否存在。e_not_has 判断日志字段是否不存在。e_search 提供一种简化，类似Lucene语法的日志搜索方式。e_match、e_match_all、e_match_any 判断当前日志字段的值是否...
DMS分类分级扫描原理介绍
若存在，则将该分类暂存至字段的分类结果中，继续选取下一个分类规则对字段进行识别。标记字段的分类。当使用所有分类规则对字段进行识别后，仅有一个符合要求的规则，则标记为该字段的分类。若字段符合多种分类规则，则根据规则的安全级别...
表达式函数概览
函数分类 函数名称 说明 事件检查函数 e_has 判断日志字段是否存在。e_not_has 判断日志字段是否不存在。e_search 提供一种简化，类似Lucene语法的日志搜索方式。e_match、e_match_all、e_match_any 判断当前日志字段的值是否满足正则表达...
使用Stage和Task详情分析查询
根据当前Stage算子计划树中的聚合节点（Aggregation）或Join节点的属性，对应到具体的SQL语句，判断分区字段或者Join条件字段中是否存在某些字段组合。例如：a.id=b.id 中存在id字段，而 a.id=b.id and a.age=b.age 中存在id和age字段。...
字符串函数
示例 判断 region 字段值的首字母是否是c开头，其中99为ASCII码，代表小写字母c。字段样例 region:cn-shanghai 查询和分析语句（调试）*|SELECT substr(region,1,1)=chr(99)查询和分析结果 codepoint函数 codepoint函数用于将字符转换为...
新建及管理质量规则模板
说明 码表参照表 是判断某个字段是否在码表中，需要选择一个对比的字段。例如判断用户详情表里的用户ID是否都是注册用户。码表过滤条件：设置分区表的过滤条件，对数据进行过滤。字段格式校验：内容识别形式：可选择 识别表达式、正则表达...
新建及管理质量规则模板
说明 码表参照表 是判断某个字段是否在码表中，需要选择一个对比的字段。例如判断用户详情表里的用户ID是否都是注册用户。码表过滤条件：设置分区表的过滤条件，对数据进行过滤。字段格式校验：内容识别形式：可选择 识别表达式、正则表达...
- 产品推荐
- 这些文档可能帮助您