订阅对象配置说明
[{"DBName":"dtstestdata","TableExcludes":[{"TableName":"order.*"}]}]支持的正则表达式 符号 规则描述 英文句号（.）表示匹配除‘\r’之外的任何单个字符。星号（*）表示匹配前面子表达式任意次，例如：h.*llo 将匹配 hllo或heeeello等...
如何调试正则表达式
具体操作 访问 Regex101，将日志服务根据日志样例自动生成的完整正则表达式拷贝到 REGULAR EXPRESSION，如何生成正则表达式，请参见 完整正则模式。\[([^]]+)]\s\[(\w+)]\s([^:]+:\s\w+\s\w+\s[^:]+:\S+\s[^:]+:\S+\s\S+).*在界面的右侧，...
ValueTransferRule
使用正则表达式匹配到字符串后，将字符串转换为String、Integer或者Double类型。数据结构 message ValueTransferRule { required string regex=1;optional VariantType cast_type=2;} 名称 类型 是否必选 描述 regex string 是 正则表达式...
代码合并
用户也可以输入一个字符串或者正则表达式，只有匹配的分支才会被删除。完整的正则表达式支持请参见：https://docs.oracle.com/javase/8/docs/api/java/util/regex/Pattern.html 。正则表达式在线验证工具：...
正则表达式函数
本文介绍正则表达式函数的语法规则，包括参数解释、函数示例等。函数列表 类型 函数 说明 值提取函数 regex_select 根据正则表达式提取符合条件的值。regex_findall 根据正则表达式获得符合条件的所有值列表。匹配判断 regex_match 判断...
正则表达式检查
正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。常用字符：元字符 描述[]字符范围。匹配指定范围内的任意...
Dataphin在SQL脚本中使用正则表达式判断字符是不是...
概述 本文主要描述了Dataphin在SQL脚本使用正则表达式判断字符是不是整数的方法。详细信息 可以在SQL脚本中使用正则表达式判断。SELECT '123' REGEXP '^([0-9]{1,})$';适用于 Dataphin v3.6.3
Dataphin在SQL脚本使用正则表达式判断字符是不是小数
概述 本文主要描述了Dataphin在SQL脚本使用正则表达式判断字符是不是小数的方法。详细信息 可以在SQL脚本中使用正则表达式判断。SELECT '123.6' REGEXP '^([0-9]{1,}[.][0-9]*)$';适用于 Dataphin v3.6.3
Dataphin在SQL脚本使用正则表达式判断字符是不是整数...
概述 本文主要描述了Dataphin在SQL脚本使用正则表达式判断字符是不是整数或小数的方法。详细信息 可以在SQL脚本中使用正则表达式判断。SELECT '100' REGEXP '^[0-9]{1,}+(\.[0-9]{1,})?';适用于 Dataphin v3.6.3
过滤处理
如何配置正则表达式，请参见 正则表达式入门教程。各个白名单之间为与关系。相关示例如下：过滤出符合条件的日志。设置 字段名 为 level，字段值 为 WARNING|ERROR，表示只采集 level 字段值为 WARNING 或 ERROR 的日志。设置 字段名 为 ...
制品源触发
设置事件 规则名称、设置事件通知触发的 事件类型（目前 Flow 仅接收 镜像扫描完成 和 镜像推送完成 两个事件自动触发）、设置事件 生效范围（可设置镜像版本过滤的正则规则，在该镜像仓库下只有符合正则规则的镜像版本才会触发事件通知）...
正则表达式配置
正则表达式配置详细说明：正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。常用字符：元字符 描述[]字符范围...
REGEXP_COUNT
更多正则表达式编写规范，请参见 正则表达式规范。pattern 为空串或其他类型时返回报错。start_position：可选。BIGINT类型常量，必须大于0。其他类型或值小于等于0时返回报错。不指定时默认为1，表示从 source 的第一个字符开始匹配。返回...
如何优化正则表达式的性能
关于如何优化正则表达式，为您提供以下建议：使用更为精确的字符。不随意使用.*来匹配字段，这个表达式包含了很大的搜索空间，容易发生误匹配，导致匹配性能下降。比如您要提取的字段只由字母组成，那么使用[A-Za-z]即可。使用正确的量词。...
ACS:ECS:RunInstances
{{ ACS:RegionId }} imageId 镜像ID String 是 字符串校验正则表达式:[A-Za-z0-9_-.]*最大长度:100 最小长度:1 instanceType 实例类型 String 是 字符串校验正则表达式:ecs.[A-Za-z0-9.-]*最大长度:30 最小长度:1 instanceName 实例名称 ...
REGEXP_EXTRACT_ALL
在字符串中查找所有出现的正则表达式匹配模式的子字符串，并把找到的字符串以数组返回。命令格式 array<T>regexp_extract_all(string,string[,bigint])参数说明 source：必填。STRING类型。待分析的字符串。pattern：必填。STRING类型。待...
管理动态脱敏白名单
选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称中带有test的业务板块，则正则表达式定义为.*test.*。表项目：选择数据表的项目。选中 全部，即选中所有的项目。选中 枚举 后，需配置项目，支持多选。选中 自定义...
管理动态脱敏白名单
选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称中带有test的业务板块，则正则表达式定义为.*test.*。表项目：选择数据表的项目。选中 全部，即选中所有的项目。选中 枚举 后，需配置项目，支持多选。选中 自定义...
SPLIT
更多正则表达式信息，请参见 正则表达式规范。trimTailEmpty:可选参数，默认值为 true，设置为 false 保留末尾空字符串（Hive兼容）。返回值说明 返回ARRAY数组。数组中的元素为STRING类型。使用示例-返回["a","b","c"]select split("a,b,c...
接口出参
在弹出的对话框，选择来源格式，填写正则表达式，指定为第几个匹配项，填写出参参数名，单击 测试表达式。通过响应详情匹配结果，预判提取的内容是否符合预期。若需重新设置出参，则单击 同步出参配置，将此正则表达式同步到该API的出参...
接口出参
在弹出的对话框，选择来源格式，填写正则表达式，指定为第几个匹配项，填写出参参数名，单击 测试表达式。通过响应详情匹配结果，预判提取的内容是否符合预期。若需重新设置出参，则单击 同步出参配置，将此正则表达式同步到该API的出参...
REGEXP_SUBSTR
更多正则表达式编写规范，请参见 正则表达式规范。start_position：可选。其他BIGINT常量，必须大于0。不指定时默认为1，表示从 source 的第一个字符开始匹配。occurrence：可选。BIGINT常量，必须大于0。不指定时默认为1，表示返回第一次...
正则表达式
本视频向您介绍日志服务数据加工中的关于正则表达式的语法。
正则表达式
本视频向您展示数据加工非结构化数据解析时正则表达式函数的使用。
ACS:ECS:CreateAndAttachNetworkInterface
regionId 地域ID String 否 {{ ACS:RegionId }} instanceId ECS实例ID String 是 最大长度:30 最小长度:1 securityGroupId 安全组ID String 是 字符串校验正则表达式:sg-[A-Za-z0-9]*最大长度:30 最小长度:1 vSwitchId 交换机ID String 是 ...
ACS:ECS:ResetDisk
{{ ACS:RegionId }} diskId 指定的磁盘设备ID String 是 字符串校验正则表达式:d-[A-Za-z0-9]*最大长度:30 最小长度:1 instanceId ECS实例ID String 是 最大长度:30 最小长度:1 snapshotId 需要恢复到某一磁盘阶段的历史快照ID String 是 ...
Fn:MatchPattern
调用内部函数Fn:MatchPattern，检查输入字符串的值能否与正则表达式匹配，如果能匹配则返回true，否则返回false。函数声明 JSON {"Fn:MatchPattern":[pattern,value]} YAML 完整函数的语法。Fn:MatchPattern:pattern,value 缩写形式。...
LLM-删除LaTeX注释行（DLC）
' 单行注释 r'[^\\]%.+$' 提取所有满足上述正则表达式的字符串，替换为空字符串。示例如下：处理前 处理后 配置组件 在Designer工作流页面添加 LLM-删除LaTeX注释行（DLC）组件，并在界面右侧配置相关参数：参数类型 参数 是否必选 描述 ...
推送规则设置
如何书写正则表达式 提交邮箱 即 git config 设置的邮箱，规则请使用正则表达式书写，提交作者邮箱需符合正则表达式匹配才允许推送，为空表示允许所有邮箱。如何书写正则表达式 禁止强制推送（Force Push）强制推送即强制用本地代码覆盖...
REGEXP_INSTR
更多正则表达式编写规范，请参见 正则表达式规范。pattern 为空串时返回报错。start_position：可选。BIGINT类型常量。搜索的开始位置。不指定时默认值为1。occurrence：可选。BIGINT类型常量。指定匹配次数，不指定时默认值为1，表示搜索...
日志功能配置及查询
在下方表达式框中输入字段提取表达式，目前支持正则表达式的形式，如上图的日志为：level=info ts=2022-05-10T08:16:57.403Z caller=custom_mysql_user_connections.go:82 scraper=custom.info_schema.processlist msg="custom user ...
日志主题
提取文件路径中的单个值 您可以在创建Logtail配置时将 Topic生成方式 设置为 文件路径正则，并且输入文件路径的正则表达式，并使用捕获组捕获待提取的内容（此处的正则表达式需要完整匹配文件路径，捕获组有且仅有一个）。Logtail上报数据...
数据采集常见问题
如何排查容器日志采集异常 查询本地采集状态 如何在日志样例中设置不可见字符 如何查看Logtail采集错误信息 日志服务采集数据常见的错误类型 如何调试正则表达式 如何优化正则表达式的性能 如何通过完整正则模式采集多种格式日志 如何采集K...
语言简介
表达式函数 提供两百多个内置的表达式函数，以便转换事件或控制全局函数的行为，覆盖主流的数据加工需求，主要包括以下函数：事件检查函数 提供类似Lucene语法、完整的正则表达式，字符串、泛字符、数值比较、and/or/not等组合的条件过滤...
CreatePushRule-创建推送规则
在提交说明、提交邮箱、检查作者、检查提交人以及禁止强制推送时有效：提交说明规则，extraMessage 传入检查的正则表达式 提交邮箱规则，extraMessage 传入检查的邮箱正则表示 禁止强制推送，extraMessage 传入"disabled"检查作者规则，...
UpdatePushRule-更新推送规则
提交说明规则，extraMessage 传入检查的正则表达式 提交邮箱规则，extraMessage 传入检查的邮箱正则表示 禁止强制推送，extraMessage 传入"disabled"检查作者规则，extraMessage 传入"on"，若不需要则不传值 检查提交人规则，extraMessage ...
REGEXP_REPLACE
系统会将pattern和replacement的字符串解析成正则表达式，正则表达式使用 Java Pattern 进行处理，因此pattern和replacement的字符串需遵从Java Regex语法。示例 测试数据 表 1.T1 str1(VARCHAR)pattern1(VARCHAR)replace1(VARCHAR)2014-03...
LLM-扩展LaTeX宏定义（DLC）
ewcommand{\macro_name}{macro_value} ewcommand*{\macro_name}{macro_value} \def\macro_name{macro_value} 说明 macro_name只允许包含字母和数字，macro_value可以包含任何字符 提取所有满足上述正则表达式的字符串，将 macro_name 替换...
数据脱敏
更多信息，请参见 正则表达式函数、GROK函数 和 编码解码函数。场景1：手机号脱敏 脱敏方法 日志中包含不希望被暴露的手机号，可采用正则表达式，运用 regex_replace 函数脱敏。示例 原始日志 iphone:13900001234 加工规则 e_set("sec_...
一键同步MaxCompute表结构
如果同步外部表时，存在外部表不支持的数据类型，则系统会报错 请在正则表达式中排除当前表再重新导入。在新建节点的编辑页面，单击 图标，保存配置信息。在新建节点的编辑页面，单击 图标，批量创建外部表结构。在 PG管理 页面，查看批量...
- 产品推荐
- 这些文档可能帮助您