导入Amazon S3文件
跨行文本日志特有参数 参数 说明 正则匹配位置 设置正则表达式匹配的位置，具体说明如下：首行正则：使用正则表达式匹配一条日志的行首，未匹配部分为该条日志的一部分，直到达到最大行数。尾行正则：使用正则表达式匹配一条日志的行尾，未...
正则表达式
本文介绍正则表达式的匹配方式以及特殊字符的转义处理。完全匹配 正则表达式的值与字符串完全一致，则是完全匹配。例如 1234 与 \d+完全匹配。有些函数支持部分匹配，您可以在开头与结尾添加^与$将部分匹配的场景变成完全匹配。例如正则...
CreatePushRule-创建推送规则
block：禁止推送 warn fileRuleRegexes array 否 该字段仅作用于提交文件限制，传入正则表达式，支持多条正则限制 string 否 文件限制正则表达式 \.java$返回参数 名称 类型 描述 示例值 object Schema of Response requestId string 请求 ...
UDF示例：使用正则表达式替换字符串
本文为您介绍如何分别通过Java UDF和Python UDF实现使用正则表达式替换字符串。命令说明 本示例将注册一个名称为 UDF_REPLACE_BY_REGEXP 的自定义函数，下面对命令格式和入参进行说明。命令格式：string UDF_REPLACE_BY_REGEXP(string,...
正则表达式
本视频向您介绍日志服务数据加工中的关于正则表达式的语法。
OSS流量安全
Bucket名称：需要监控的OSS Bucket名称（支持正则）。您可以使用正则表达式.*进行配置。默认值为.*，表示监控目标阿里云账号下的所有的OSS Bucket。外部配置 无 消除办法 检查触发告警的OSS Bucket是否存在异常。前提条件 确保已在日志审计...
实体管理
除了支持新增实体外，系统还支持实体的导入、导出、搜索、发布、引用情况查看与删除等操作，有关操作在实体管理界面即可完成，具体操作含义与有关界面如下：实体配置：配置实体的具体信息，标准实体配置实体成员及对应的同义词，正则实体...
如何通过完整正则模式采集多种格式日志
完整正则模式要求日志必须采用统一的格式，但有些时候日志中可能会包含多种格式，您可以采用Schema-On-Write和Schema-On-Read两种模式处理。以 Java 日志为例，作为一个程序日志，它一般既包含正常信息，也会包含异常栈等错误信息。WARNING...
正则表达式
本视频向您展示数据加工非结构化数据解析时正则表达式函数的使用。
UpdatePushRule-更新推送规则
若不需要则不传值 on fileRuleRegexes array 该字段仅作用于提交文件限制，传入正则表达式，支持多条正则限制 string 文件限制正则表达式 \.java$gmtCreate string 创建时间 2023-09-03T18:20:06+08:00 gmtModified string 修改时间 2023-...
事件检查函数
正则匹配 e_search('content~="正则表达式"')#正则匹配。数字 e_search('count:[100,200]')#>=100 and('count:[*,200]')#('count:[200,*]')#>=200 e_search('age>=18')#>=18 e_search('age>18')#>18#使用关系运算符 e_search("abc OR xyz")...
模式匹配函数
'abc' NOT SIMILAR TO '(b|c)%' true rlike~使用正则表达式判断字符串与模式是否匹配：匹配则返回true。不匹配则返回false。说明 区分大小写。'abc'~'(b|d)' true rlike!使用正则表达式判断字符串与模式是否不匹配：不匹配则返回true。匹配...
K8s安全
本文介绍K8s安全的告警规则，包括K8s错误事件过多、频繁删除事件等。通过设置并开启告警规则，可及时触发告警，有助于您快速发现K8s安全问题。告警规则列表 支持的告警规则列表如下所示。设置告警参数、设置白名单等相关操作，请参见 设置...
修改和删除交付链
表达式触发：基于正则表达式来进行镜像版本的过滤，只有当符合正则表达式的镜像版本才会触发触发器。Tag触发：基于镜像版本列表来进行镜像版本的过滤，只有镜像版本在设置的镜像版本列表中才会触发触发器。删除交付链 您可以删除不再使用的...
实体管理
张 实体管理 除了支持新增实体外，系统还支持实体的导入、导出、搜索、发布与删除等操作，有关操作在实体管理界面即可完成，具体操作含义与有关界面如下：实体配置：配置实体的具体信息，标准实体配置实体成员及对应的同义词，正则实体配置...
正则表达式配置
本文介绍正则表达式如何进行配置。正则表达式配置详细说明：正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。...
管理动态脱敏白名单
选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称中带有test的业务板块，则正则表达式定义为.*test.*。表项目：选择数据表的项目。选中 全部，即选中所有的项目。选中 枚举 后，需配置项目，支持多选。选中 自定义...
管理动态脱敏白名单
选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称中带有test的业务板块，则正则表达式定义为.*test.*。表项目：选择数据表的项目。选中 全部，即选中所有的项目。选中 枚举 后，需配置项目，支持多选。选中 自定义...
字段操作函数
函数示例 如果 content 字段的值为 123，则删除 content 字段和 age 字段。原始日志 age:18 content:123 name:twiss 加工规则 e_if(e_search("content=123"),e_drop_fields("content","age",regex=True))加工结果 name:twiss 更多参考 支持...
配置信任规则
添加一个条件后，您可以执行 正则校验，验证指定的内容是否与设置的正则表达式相匹配。操作步骤如下：单击条件下的 正则校验。在 正则校验 对话框，确认 正则表达式，并输入 校验的内容。单击 校验。编写 条件运算逻辑表达式。通过与（&）...
模式匹配
一些例子，使用#"定界返回串：substring('foobar' from '%"o_b#"%' for '#')oob substring('foobar' from '#"o_b#"%' for '#')NULL POSIX正则表达式 正则表达式匹配操作符表列出了所有可用于 POSIX 正则表达式模式匹配的操作符。正则表达式...
云防火墙安全事件
访问协议名称：需要监控的访问协议名称（支持正则）。您还可以使用正则表达式.*进行配置。默认值.*表示监控目标阿里云账号下所有的访问协议。外部配置 无 消除办法 检查云防火墙对流入流量的拦截事件，确认是否存在异常。前提条件 确保已在...
DeleteRow
如果指定条件检查为EXPECT_EXIST，则删除该行失败，且消耗1单位的写CU和1单位的读CU。当删除的行存在时，根据指定的条件检查不同，删除数据消耗的服务能力单元不同。如果指定条件检查为IGNORE，消耗写服务能力单元的数值为该行主键数据大小...
LLM-删除LaTeX注释行（DLC）
支持的 计算资源 DLC 算法说明 定义LaTeX格式文本注释行的正则表达式如下：注释类型 正则表达式 多行注释 r'?m)^%.*?' 单行注释 r'[^\\]%.+$' 提取所有满足上述正则表达式的字符串，替换为空字符串。示例如下：处理前 处理后 配置组件 在...
字符串替换
您在使用Logtail采集日志时，可以使用processor_string_replace插件，实现文本日志的全文替换、正则提取替换或去转义符。本文介绍processor_string_replace插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用...
产品名词解释
正则名词 正则名词 正则名词的格式就是正则表达式，正则表达式是一种可以用于模式匹配和替换的规范，一个正则表达式就是由普通的字符（例如字符a到z）以及特殊字符（元字符）组成的文字模式，它用以描述在查找文字主体时待匹配的一个或多个...
产品名词解释
正则名词 正则名词 正则名词的格式就是正则表达式，正则表达式是一种可以用于模式匹配和替换的规范，一个正则表达式就是由普通的字符（例如字符a到z）以及特殊字符（元字符）组成的文字模式，它用以描述在查找文字主体时待匹配的一个或多个...
无侵入观测概述
K8s进程过滤 支持通过Pod名称正则匹配指定需要监控的Pod容器进程。支持通过Pod名称正则匹配排除不需要监控的Pod容器进程。支持通过Namespace名称正则匹配指定需要监控的容器进程。支持通过Namespace名称正则匹配排除不需要监控的容器进程。...
LLM-特殊内容移除（MaxCompute）
'，则删除该行。作者信息关键字包括：'本报记者 '、'来源:'、'编辑:'、'登录|注册'、'本文地址:'、'发表日期:'、'添加时间:'、'分享到:'、'“扫一扫”'、'相关链接:'、'时时彩'、'网站导航 '、'|联系我们'、'首页 '、'当前所在位置:'、'...
删除包
如果省略关键字 BODY，则删除包规格和包正文，即删除整个包。如果指定关键字 BODY，则仅删除包正文。包规格保持不变。package_name 是要删除的包的标识符。以下语句仅销毁 emp_admin 的包正文：DROP PACKAGE BODY emp_admin;以下语句将删除...
LLM-删除LaTeX注释行（MaxCompute）
支持的 计算资源 MaxCompute 算法说明 定义LaTeX格式文本注释行的正则表达式如下：注释类型 正则表达式 多行注释 r'?m)^%.*?' 单行注释 r'[^\\]%.+$' 提取所有满足上述正则表达式的字符串，替换为空字符串。示例如下：处理前 处理后 配置...
导入OSS数据
跨行文本日志特有参数 参数 说明 正则匹配位置 设置正则表达式匹配的位置，具体说明如下：首行正则：使用正则表达式匹配一条日志的行首，未匹配部分为该条日志的一部分，直到达到最大行数。尾行正则：使用正则表达式匹配一条日志的行尾，未...
过滤器
正则匹配并转换数据类型后再过滤结果 当某些列中存储了自定义格式数据（例如JSON格式字符串）时，如果用户希望过滤查询该列的某个子字段值，则可以通过正则表达式匹配并转换子字段值类型后，再使用过滤器来过滤需要的数据。例如列中存储的...
请求分组管理
正则表达式：指标准正则表达式，表示该分组规则对符合该正则表达式的请求有效。例如以下正则表达式：^www*：表示所有以www开头的字符串。[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(\.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+\.?符合域名格式得到匹配，例如...
配置重写策略（公测中）
a/FunctionName/func-a/Qualifier/1/svc-a.1/func-a/f.c/helloworld/f.c/helloworld/func 不匹配 正则重写 正则重写模式中，匹配规则和重写规则遵守标准的正则表达式。关于正则表达式的规范，请参见 正则表达式语法。关于正则重写匹配的...
OSS数据安全
OSS频繁删除对象告警 OSS Bucket账号访问控制 OSS频繁删除对象告警 告警ID sls_app_audit_storage_at_oss_obj_del 告警名称 OSS频繁删除对象告警 版本号 1 类别 云平台、阿里云、数据安全、OSS数据安全 作用 监控OSS Bucket的删除操作。...
K8s流量安全
您可以使用正则表达式.*进行配置。默认值为.*，表示监控目标阿里云账号下所有的K8s集群名称。外部配置 无 消除办法 检查触发告警的K8s集群是否存在异常。前提条件 确保已在日志审计服务中的 审计配置>云产品接入>全局配置 中打开Kubernetes...
配置重写策略（公测中）
a/FunctionName/func-a/Qualifier/1/svc-a.1/func-a/f.c/helloworld/f.c/helloworld/func 不匹配 正则重写 正则重写模式中，匹配规则和重写规则遵守标准的正则表达式。关于正则表达式的规范，请参见 正则表达式语法。关于正则重写匹配的...
正则表达式
使用示例 示例1 正则表达式要匹配字符串 a+b，其中+是正则中的一个特殊字符，因此要用转义的方式表达。在正则表达式引擎中的表达方式是 a\\+b，由于还要解释一层转义，因此能够匹配该字符串的表达式是 a\\\+b。select 'a+b' rlike 'a\\\+b'...
过滤器
} 使用SingleColumnValueRegexFilter正则过滤数 以下示例用于读取主键范围为["pk:2020-01-01.log","pk:2021-01-01.log")时Col1列的数据，并对该列的数据执行正则过滤。private static void getRange(SyncClient client){/设置数据表名称。...
- 产品推荐
- 这些文档可能帮助您