SPL概述
本文介绍 日志服务 SPL语言的基本信息，包括工作原理、语法、指令表达式等。工作原理 日志服务SPL支持在实时消费、扫描查询和Logtail采集三个日志服务场景中使用，工作原理如下图：...parse-regexp 提取指定字段中的正则表达式分组匹配信息。
ValueTransferRule
使用正则表达式匹配到字符串后，将字符串转换为String、Integer或者Double类型。数据结构 message ValueTransferRule { required string regex=1;optional VariantType cast_type=2;} 名称 类型 是否必选 描述 regex string 是 正则表达式...
SPL指令
where cast(status as BIGINT)>=500 弱结构化数据提取指令 parse-regexp 提取指定字段中的正则表达式分组匹配信息。重要 提取结果的数据类型为VARCHAR。如果结果字段与输入数据中字段重名，取值策略请参见 新旧值保留与覆盖。无法操作时间...
过滤日志
processor_filter_regex 通过正则表达式匹配日志字段的值，从而实现日志过滤。表单配置方式 参数说明 配置 处理器类型 为 正则过滤日志（匹配日志字段的值），相关参数说明如下表所示。说明 日志字段的值完全匹配 采集日志 中的正则表达式...
正则表达式
请注意，在 SELECT 子句中的正则表达式必须至少匹配一个field key，才能返回与正则表达式匹配的tag key所对应的结果。目前，没有语法可以区分 SELECT 子句中field key的正则表达式和tag key的正则表达式，不支持语法/<regular_expression>/...
Dataphin同步任务中多表模式如何使用类正则表达式匹配...
问题描述 Dataphin同步任务中多表模式如何使用类正则表达式匹配多个日期结尾的表？解决方案 使用类正则表达式pjl_info_log_[202008-202112]可以匹配到pjl_info_log_202008和pjl_info_log_202112两张表。使用类正则表达式与枚举形式混合方式...
模式匹配
一些例子，使用#"定界返回串：substring('foobar' from '%"o_b#"%' for '#')oob substring('foobar' from '#"o_b#"%' for '#')NULL POSIX正则表达式 正则表达式匹配操作符表列出了所有可用于 POSIX 正则表达式模式匹配的操作符。正则表达式...
配置域名和路径的转发规则
转发规则配置示例如下：示例1：转发动作为重写和转发至 类别 说明 如果以下条件全部匹配 路径正则匹配 匹配说明 请求的路径和设定的路径根据正则表达式匹配。输入条件 只允许包含大小写英文字母、数字和.-_/?()[]+|这些特殊字符。示例 请求...
配置域名和路径的转发策略
转发策略配置示例如下：示例1：转发动作为重写和转发至 类别 说明 如果（条件全部匹配）路径 是 正则匹配（区分大小写）匹配说明 请求的路径和设定的路径根据正则表达式匹配。输入条件 只允许包含大小写英文字母、数字和.-_/\=?()[]+|"'@...
管理动态脱敏白名单
选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称中带有test的业务板块，则正则表达式定义为.*test.*。表项目：选择数据表的项目。选中 全部，即选中所有的项目。选中 枚举 后，需配置项目，支持多选。选中 自定义...
管理动态脱敏白名单
选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称中带有test的业务板块，则正则表达式定义为.*test.*。表项目：选择数据表的项目。选中 全部，即选中所有的项目。选中 枚举 后，需配置项目，支持多选。选中 自定义...
Fn:MatchPattern
调用内部函数Fn:MatchPattern，检查输入字符串的值能否与正则表达式匹配，如果能匹配则返回true，否则返回false。函数声明 JSON {"Fn:MatchPattern":[pattern,value]} YAML 完整函数的语法。Fn:MatchPattern:pattern,value 缩写形式。...
使用完整正则模式采集日志
Logtail会根据正则表达式提取对应的key-value对，根据行首正则表达式匹配一条日志的行首，即确认一条日志的开头，将未匹配部分作为该条日志的一部分，直到下一个行首出现。操作步骤 重要 默认情况下，一个日志文件只能匹配一个Logtail配置...
概述
是 是 说明 仅在如下匹配运算符时支持空值：等于 不等于 包含 与正则表达式匹配 Cookie Cookie 客户端请求携带的Cookie。http.cookie 等于 不等于 包含字符串 不包含字符串 与正则表达式匹配 与正则表达式不匹配 例如：session=330688;...
REGEXP_EXTRACT_ALL
在字符串中查找所有出现的正则表达式匹配模式的子字符串，并把找到的字符串以数组返回。命令格式 array<T>regexp_extract_all(string,string[,bigint])参数说明 source：必填。STRING类型。待分析的字符串。pattern：必填。STRING类型。待...
过滤器
正则匹配并转换数据类型后再过滤结果 当某些列中存储了自定义格式数据（例如JSON格式字符串）时，如果用户希望过滤查询该列的某个子字段值，则可以通过正则表达式匹配并转换子字段值类型后，再使用过滤器来过滤需要的数据。例如列中存储的...
日志功能配置及查询
在下方表达式框中输入字段提取表达式，目前支持正则表达式的形式，如上图的日志为：level=info ts=2022-05-10T08:16:57.403Z caller=custom_mysql_user_connections.go:82 scraper=custom.info_schema.processlist msg="custom user ...
LLM-扩展LaTeX宏定义
\}$' 正则表达式匹配的内容 ewcommand{\macro_name}{macro_value} ewcommand*{\macro_name}{macro_value} \def\macro_name{macro_value} 说明 macro_name只允许包含字母和数字，macro_value可以包含任何字符 提取所有满足上述正则表达式的...
导入Amazon S3文件
跨行文本日志特有参数 参数 说明 正则匹配位置 设置正则表达式匹配的位置，具体说明如下：首行正则：使用正则表达式匹配一条日志的行首，未匹配部分为该条日志的一部分，直到达到最大行数。尾行正则：使用正则表达式匹配一条日志的行尾，未...
正则函数
如果pattern中包含带括号的子正则表达式，那么结果数组中的元素为各个子正则表达式对应的子字符串，否则为单个匹配pattern的子字符串。输入值说明：source：待搜索的字符串，取值类型为VARCHAR。pattern：正则表达式。flag：标志一个或多个...
推送规则设置
如何书写正则表达式 提交邮箱 即 git config 设置的邮箱，规则请使用正则表达式书写，提交作者邮箱需符合正则表达式匹配才允许推送，为空表示允许所有邮箱。如何书写正则表达式 禁止强制推送（Force Push）强制推送即强制用本地代码覆盖...
转义字符
正则表达式 正则表达式除了对一般的不可见字符使用 \，为了做一些文本匹配，声明了模式，而这些模式中大量使用了()^%等符号，例如MaxCompute的底层正则引擎使用了RE2，RE2详情请参见 RE2，一些使用 \ 的转义写法如下：转义字符写法 说明 \d...
导入OSS数据
跨行文本日志特有参数 参数 说明 正则匹配位置 设置正则表达式匹配的位置，具体说明如下：首行正则：使用正则表达式匹配一条日志的行首，未匹配部分为该条日志的一部分，直到达到最大行数。尾行正则：使用正则表达式匹配一条日志的行尾，未...
正则解析
Logtail正则解析插件支持通过正则表达式提取日志字段，并将日志解析为键值对形式。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始字段 ...
字符串函数和操作符
substring('Thomas' from 2 for 3)→hom substring('Thomas' from 3)→omas substring('Thomas' for 2)→Th substring(string text FROM pattern text)→text 提取匹配POSIX正则表达式的子字符串。substring('Thomas' from '.$')→mas ...
F(x)
可选项：title:标题 url:url pattern页面匹配模式 可选项：equal:完全匹配 contain:包含匹配 regular:正则表达式匹配 返回值说明 返回IETab对象调用样例-rpa.app.ie.catch-#注意事项：使用此方法前需确认已打开对应IE网页#代码调用样例如下...
内容分割
动态路由 根据正则表达式匹配消息内容，将匹配成功的消息路由至对应目标，将匹配不成功的消息路由至默认目标。内容富化 根据富化源对消息内容进行富化。如果消息原始内容包含AccountID，处理时根据AccountID查询数据库，获得客户地域后填至...
内容映射
动态路由 根据正则表达式匹配消息内容，将匹配成功的消息路由至对应目标，将匹配不成功的消息路由至默认目标。内容富化 根据富化源对消息内容进行富化。如果消息原始内容包含AccountID，处理时根据AccountID查询数据库，获得客户地域后填至...
云解析域名格式匹配指定正则表达式
规则详情 参数 说明 规则名称 云解析域名格式匹配指定正则表达式 规则标识 alidns-domain-regex-match 标签 Alidns、Domain 自动修正 不支持 规则触发机制 配置变更 规则支持的资源类型 DNS域名 规则入参 pattern 修正指导 为云解析DNS中的...
内容富化
动态路由 根据正则表达式匹配消息内容，将匹配成功的消息路由至对应目标，将匹配不成功的消息路由至默认目标。内容富化 根据富化源对消息内容进行富化。如果消息原始内容包含AccountID，处理时根据AccountID查询数据库，获得客户地域后填至...
动态路由
动态路由 根据正则表达式匹配消息内容，将匹配成功的消息路由至对应目标，将匹配不成功的消息路由至默认目标。内容富化 根据富化源对消息内容进行富化。如果消息原始内容包含AccountID，处理时根据AccountID查询数据库，获得客户地域后填至...
表达式函数概览
regex_match 判断是否匹配正则表达式。regex_replace 根据正则表达式替换字符串中的指定字符。regex_split 将一个字符串分割成字符串数组。GROK函数 grok 根据正则表达式提取特定的值。特定结构化数据函数 json_select 根据JMES语法提取或...
使用函数计算实现消息数据清洗
算子 算子能力说明 消息过滤 按照正则表达式匹配消息内容，将匹配成功的消息发送至目标。更多信息，请参见 事件模式。消息转换 根据字符串匹配，进行消息内容替换，例如字符大小写转换。将转换后的消息发送至目标。更多信息，请参见 事件...
配置字符串替换
正则匹配：是否用于正则表达式匹配。原字符串：查找的原字符串。新字符串：替换后的新字符串。大小写敏感：原字符串查找是否大小写敏感。添加条件 您可以添加多个字符串替换规则。输出字段 替换后的最终输出字段。单击工具栏中的 图标。
使用函数计算实现消息数据清洗
算子 算子能力说明 消息过滤 按照正则表达式匹配消息内容，将匹配成功的消息发送至目标。更多信息，请参见 事件模式。消息转换 根据字符串匹配，进行消息内容替换，例如字符大小写转换。将转换后的消息发送至目标。更多信息，请参见 事件...
函数总览
正则表达式函数 regex_select 根据正则表达式提取符合条件的值。regex_findall 根据正则表达式获得符合条件的所有值列表。regex_match 判断是否匹配正则表达式。regex_replace 根据正则表达式替换字符串中的指定字符。regex_split 将一个...
阿里云智能质检
创建的质检规则 如图6所示是质检人员为了解决上面的场景创建的规则，条件a是为了发现客户是否提出了更换磁盘类型的需求，条件a利用正则表达式算子匹配各种类型的更换磁盘类型需求，检测范围是客户说的话，这个条件是这条规则的基础与前提。...
ASMGlobalRateLimiter CRD说明
任选其一 regex_match string 否 正则表达式匹配。exact_match string 否 精确匹配。prefix_match string 否 前缀匹配，以什么开头进行匹配。suffix_match string 否 后缀匹配，以什么结尾进行匹配。present_match bool 否 配置为true，...
正则刷新说明
用户可以在刷新任务中提交含有正则表达式的URL，阿里云 DCDN 会对匹配该正则表达式的所有URL进行批量刷新，这样可以更有针对性地刷新URL。当您的 刷新类型 选择 正则 时，可以提交含有正则表达式的URL，对符合该表达式的URL进行大批量刷新...
正则刷新说明
用户可以在刷新任务中提交含有正则表达式的URL，阿里云 CDN 会对匹配该正则表达式的所有URL进行批量刷新，这样可以更有针对性地刷新URL。当您的 刷新类型 选择 正则 时，可以提交含有正则表达式的URL，对符合该表达式的URL进行大批量刷新。...
- 产品推荐
- 这些文档可能帮助您