创建全域数据表质量规则
若质量规则中配置了过滤条件，则校验范围表达式和过滤条件之间为and关系，校验数据时，两个条件会一起进行过滤。校验范围表达式支持对全表进行扫描。注意：全表扫描将会消耗较大的资源，并且部分不支持全表扫描，建议配置分区表达式以避免...
正则表达式函数
本文介绍正则表达式函数的语法规则，包括参数解释、函数示例等。函数列表 类型 函数 说明 值提取函数 regex_select 根据正则表达式提取符合条件的值。regex_findall 根据正则表达式获得符合条件的所有值列表。匹配判断 regex_match 判断...
事件检查函数
如果需要使用纯粹字符串匹配时（非正则表达式），可以使用函数 str_regex_escape 修饰正则表达式。full Bool 否 是否完全匹配，默认为 True 表示完全匹配。关于匹配模式请参见 正则表达式。返回结果 返回字段匹配的判断结果True或False。...
正则表达式
例如如下示例拥有3个分组：(\d{4})-(\d{2}-(\d{2}))1 1 2 3 32 如果正则表达式中同时存在普通分组和命名分组，那么分组的编号规则是先对普通捕获组进行编号，再对命名捕获组进行编号。日志服务支持在表达式或程序中直接引用自定义的捕获组...
正则解析
Logtail正则解析插件支持通过正则表达式提取日志字段，并将日志解析为键值对形式。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始字段 ...
表达式配置
⽅案：引⼊函数类的表达式求值语法，可直接配置到机器⼈说的⽂本框，格式为：⽅法名 input=输⼊表达式 output=输出表达式/>，其中元素说明如下：⽅法名，⽀持的有：list（表示枚举）输⼊表达式：⽀持所有可求值的表达式，返回类型需与函数...
表达式配置
⽅案：引⼊函数类的表达式求值语法，可直接配置到机器⼈说的⽂本框，格式为：⽅法名 input=输⼊表达式 output=输出表达式/>，其中元素说明如下：⽅法名，⽀持的有：list（表示枚举）输⼊表达式：⽀持所有可求值的表达式，返回类型需与函数...
过滤处理
白名单 只采集符合白名单条件的日志，您需要设置目标字段名称和用于过滤的正则表达式。此处的正则表达式仅支持全文匹配，不支持关键词部分匹配。如何配置正则表达式，请参见 正则表达式入门教程。各个白名单之间为与关系。相关示例如下：...
过滤日志
说明 日志字段的值完全匹配 采集日志 中的正则表达式，且不匹配 丢弃日志 中的正则表达式时，日志才会被采集，否则直接丢弃。参数 说明 采集日志 输入日志字段名和该字段值匹配的正则表达式。如果原始日志中的目标字段值符合对应的正则表达...
UDF示例：使用正则表达式替换字符串
本文为您介绍如何分别通过Java UDF和Python UDF实现使用正则表达式替换字符串。命令说明 本示例将注册一个名称为 UDF_REPLACE_BY_REGEXP 的自定义函数，下面对命令格式和入参进行说明。命令格式：string UDF_REPLACE_BY_REGEXP(string,...
开始节点
开始节点是对话流的起始...表达式触发：当用户输出信息可用正则表达式概况时，可选择表达式触发。变量赋值：触发意图后使用变量赋值可记录对话中的信息。说明 对于更复杂的条件配置，可以使用“表达式配置”模式，配置指引见《表达式配置》。
开始节点
进入开始节点编辑界面后...表达式触发：当用户输出信息可用正则表达式概况时，可选择表达式触发。变量赋值：触发意图后使用变量赋值可记录对话中的信息。说明 对于更复杂的条件配置，可以使用“表达式配置”模式，配置指引见《表达式配置》。
Dataphin在SQL脚本使用正则表达式判断字符是不是整数...
概述 本文主要描述了Dataphin在SQL脚本使用正则表达式判断字符是不是整数或小数的方法。详细信息 可以在SQL脚本中使用正则表达式判断。SELECT '100' REGEXP '^[0-9]{1,}+(\.[0-9]{1,})?';适用于 Dataphin v3.6.3
rank子句
source：必选参数，表达式内容，表达式为算数表达式，表达式的规则和可以使用的特征请参考 排序表达式。注意事项 如果返回的文档个数大于参与精排的文档个数，数据节点返回给查询节点的文档个数会大于参与精排的文档个数，会有部分文档的...
rank子句
source：必选参数，表达式内容，表达式为算数表达式，表达式的规则和可以使用的特征请参考 排序表达式。注意事项 如果返回的文档个数大于参与精排的文档个数，数据节点返回给查询节点的文档个数会大于参与精排的文档个数，会有部分文档的...
CreateFirstRank-创建一个应用版本的粗排表达式配置
当 dryRun=true 时，表示进行粗排表达式校验，默认 dryRun不传为false。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权...
概述
表达式 根据FEEL(Friendly Enough Expression Language，一种DMN规范定义的表达式语言）的定义，表达式 可以分为一元表达式（Unary-tests，布尔表达式）和普通表达式（General expression，可以返回不同类型的表达式）。数据探索结构化的...
CreateSecondRank-创建一个应用版本的精排配置
当 dryRun=true 时，表示进行精排表达式校验，默认 dryRun 不传为 false。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的...
分区值格式说明
分区类型的数据源支持表达式和常量两种格式。表达式 系统变量列表 系统变量 说明 示例（假设业务时间：20230531 19:30:15，当前月份：5月）yyyy 表示4位的年份 2023 yy 表示2位的年份 23 mm(MM)表示月份 05 dd 表示天 31 hh24 表示24小时制...
使用正则表达式检测标签值的合规性
您可以在标签策略中设置标签值需要满足正则表达式。对不满足正则表达式的标签值，支持自动修复。前提条件 请确保您已经启用了标签策略功能。具体操作，请参见 启用标签策略。背景信息 支持标签自动检测和修复的云服务都支持正则表达式检测...
CREATE POLICY
按命令类型应用的策略 命令 SELECT/ALL策略 INSERT/ALL策略 UPDATE/ALL策略 DELETE/ALL策略 USING表达式 WITH CHECK表达式 USING表达式 WITH CHECK表达式 USING表达式 SELECT 现有行—SELECT FOR UPDATE/SHARE 现有行—现有行—INSERT—新...
ListQualityRules
调用ListQualityRules根据分区表达式获取校验规则列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
编辑核对规则
您可以在核对点详情页编辑核对规则，修改规则基本信息、规则表达式等信息。操作步骤 说明 仅核对规则负责人才能修改核对规则。在 核对点详情 页面，单击核对规则区域的 修改。进入 修改核对规则 页面，根据需要修改相应信息。修改完毕后，...
任务管理
逻辑表表达式校验 仅当配置了逻辑库时生效，支持的选项：开启（默认）：校验逻辑表的表达式是否正确，更多信息，请参见 逻辑表。关闭（不推荐）说明 配置完成后，您可以单击 预览/转换SQL，预览格式化后的SQL内容。单击 提交任务。管理任务...
概述
规则支持筛选的用户请求特征 一条完整的用户请求筛选规则由 条件表达式 和 逻辑判断运算符 构成：条件表达式：筛选满足特定特征的用户请求。逻辑判断运算符：组合多个条件表达式筛选的用户请求。您可以根据实际业务需求设置多个条件表达式...
概述
SELECT 命令的一般语法是[WITH with_queries]SELECT select_list FROM table_expression[sort_specification]下面几个小节描述选择列表、表表达式和排序声明的细节。WITH 查询等高级特性将在最后讨论。一个简单类型的查询的形式：SELECT*...
配置相邻消息计算
通过表达式或筛选器节点解析源节点数据后，可使用相邻消息计算节点，取当前消息的某个数值字段的值（仅支持BIGINT、DOUBLE类型）与前一条消息的相同数值字段的值，按照定义的表达式进行计算，将计算的结果输出到定义的输出字段上。...
如何书写正则表达式
所以，该正则表达式会匹配 stock tip 和 stock tips。另外，您还可以使用字符?来替代 {0,1} 匹配列表中的字词或短语 用法示例 匹配以下列表中的任意字词或短语：baloney darn drat fooey gosh darnit heck Regex 示例?i)(\W|^)(baloney|...
过滤器
支持正则表达式的全匹配模式和部分匹配模式。部分匹配的正则表达式在模式中由一对括号（…）分隔。如果正则表达式为全匹配模式，则返回第一个匹配结果；如果正则表达式中包含部分匹配语法，则返回第一个满足的子匹配结果。例如列值为1aaa51...
过滤器
正则匹配并转换数据类型后再过滤结果 当某些列中存储了自定义格式数据（例如JSON格式字符串）时，如果用户希望过滤查询该列的某个子字段值，则可以通过正则表达式匹配并转换子字段值类型后，再使用过滤器来过滤需要的数据。例如列中存储的...
数据脱敏
更多信息，请参见 正则表达式函数、GROK函数 和 编码解码函数。场景1：手机号脱敏 脱敏方法 日志中包含不希望被暴露的手机号，可采用正则表达式，运用 regex_replace 函数脱敏。示例 原始日志 iphone:13900001234 加工规则 e_set("sec_...
概述
这些函数用于为正则表达式指定的模式搜索字符串，且返回在字符串中模式的发生信息。这个模式应该为POSIX式的正则表达式。REGEXP_COUNT REGEXP_INSTR REGEXP_SUBSTR 更多关于组成POSIX式的正则表达式的信息，请参见 核心文件网址。
高级配置
规则表达式 如果在设置规则表达式时开启 高级配置 开关，您可以使用 qlExpress 或 Groovy 自定义较为复杂的表达式。若选择 qlExpress，示例如下：引用数据源或文件时，需要使用数据节点名称。多个规则用英文逗号[,]隔开。获取数据节点上的...
语言简介
表达式函数 提供两百多个内置的表达式函数，以便转换事件或控制全局函数的行为，覆盖主流的数据加工需求，主要包括以下函数：事件检查函数 提供类似Lucene语法、完整的正则表达式，字符串、泛字符、数值比较、and/or/not等组合的条件过滤...
资源标签匹配指定正则表达式
规则详情 参数 说明 规则名称 资源标签匹配指定正则表达式 规则标识 matched-tag 标签 Tag 自动修正 支持 ACS-TAG-TagResources 规则触发机制 配置变更 规则支持的资源类型 ECS专有宿主机DDH ECS云盘 ECS实例 ECS实例启动模板 ECS弹性网卡 ...
使用评估表达式设置触发条件
例如您配置 触发条件 为 有数据匹配 和评估表达式，则表示查询和分析结果中存在数据满足评估表达式就触发告警。您可以在评估表达式使用动态变量、操作符和逻辑符等。评估表达式的语法信息，请参见 评估表达式语法。配置说明 告警监控规则在...
添加识别特征
识别特征用于统一管理内置识别表达式，如手机号、身份证号等，本文为您介绍系统内置特征和自定义识别特征。权限说明 安全管理员支持新建及管理识别特征。自定义识别特征 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 ...
添加识别特征
识别特征用于统一管理内置识别表达式，如手机号、身份证号等，本文为您介绍系统内置特征和自定义识别特征。权限说明 安全管理员支持新建及管理识别特征。自定义识别特征 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 ...
报警设置
快速添加告警规则 我们提供了一些常用告警规则表达式模板，方面开发者快速对 Node.js 项目稳定性进行监控，如下图所示：选中后会自动生成告警规则的阈值表达式模板和报警说明模板，您可以按照项目实际监控需求进行修改，比如我们想要对 ...
正则式函数
字段样例 message:error'1232 查询和分析语句*|SELECT regexp_extract(message,'''\d+')说明 使用正则式函数提取字符串中的单引号（'）时，需要在正则表达式中再添加一个单引号（'）。查询和分析结果 SPL 示例1：提取server_protocol字段值...
- 产品推荐
- 这些文档可能帮助您