数据脱敏
123abcdefg"Logtail插件处理配置 {"type":"processor_desensitize","detail":{"SourceKey":"password","Method":"const","Match":"full","ReplaceString":"*"} } 处理结果"password":"*"示例2 使用正则表达式指定目标字段值中的敏感内容，...
事件处理流
提取内容 通过正则表达式，提取事件中某字段的内容，填充到新的字段中。场景 告警字段："location":"cn-hangzhou-hz4" 提取 location 字段的地域和具体位置信息填充到 region 和 datacenter 字段中。动作配置 待提取字段：location 提取正...
正则解析
单击 自动生成正则表达式，然后在 日志样例 文本框中，划选需提取的日志内容，单击 生成正则，日志服务 会根据您划选的内容，生成正则表达式。单击 手动输入正则表达式，输入正则表达式。配置完成后，单击 验证 即可验证您输入的正则表达式...
IIS模式解析
日志服务 会根据 IIS配置字段 中的内容自动生成该正则表达式。日志提取字段 根据 IIS配置字段 中的内容自动生成日志字段（Key）。解析失败时保留原始字段 选中 解析失败时保留原始字段，则解析失败时，将保留原始字段。解析成功时保留原始...
Apache模式解析
日志服务 会根据 APACHE配置字段 中的内容自动生成该正则表达式。日志提取字段 根据 APACHE配置字段 中的内容自动生成日志字段（key）。解析失败时保留原始字段 选中 解析失败时保留原始字段，则解析失败时，将保留原始字段。解析成功时...
导入Amazon S3文件
说明 针对其他类型的数据格式，如果您只需提取时间字段中的部分内容，也可通过正则表达式提取。时间字段格式 指定时间格式，用于解析时间字段的值。支持Java SimpleDateFormat语法的时间格式，例如 yyyy-MM-dd HH:mm:ss。时间格式的语法...
正则式函数
说明 使用正则式函数提取字符串中的单引号（'）时，需要在正则表达式中再添加一个单引号（'）进行提取。具体示例，请参见 regexp_extract函数（示例3）。regexp_extract_all函数 regexp_extract_all函数用于提取目标字符串中符合正则表达式...
导入OSS数据
说明 针对其他类型的数据格式，如果您只需提取时间字段中的部分内容，也可通过正则表达式提取。时间字段格式 指定时间格式，用于解析时间字段的值。支持Java SimpleDateFormat语法的时间格式，例如 yyyy-MM-dd HH:mm:ss。时间格式的语法...
配置域名和路径的转发规则
提取与替换：按照正则表达式的规范提取，将前三个半角圆括号()提取出来的内容分别保存至${1}、${2}、${3} 中，用于在转发动作的重写或重定向路径中替换。拼接：按照转发动作中重写或重定向路径的配置，对其中的${1}、${2}、${3} 进行值的...
配置域名和路径的转发策略
提取与替换：按照正则表达式的规范提取，将前三个半角圆括号()提取出来的内容分别保存至${1}、${2}、${3} 中，用于在转发动作的重写或重定向路径中替换。拼接：按照转发动作中重写或重定向路径的配置，对其中的${1}、${2}、${3} 进行值的...
扫描（Scan）查询概述
正则式函数 函数名称 语法 说明 regexp_extract_all函数 regexp_extract_all(x,regular expression)提取目标字符串中符合正则表达式的子串，并返回所有子串的合集。regexp_extract_all(x,regular expression,n)提取目标字符串中符合正则...
提取字段
您在使用Logtail采集日志时，可以添加Logtail插件，通过正则模式、标定模式、CSV模式、单字符分隔符模式、多字符分隔符模式、键值对模式、Grok模式提取日志字段。本文介绍各个插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和...
正则表达式函数
替换 regex_replace 根据正则表达式替换字符串中的指定字符。切分 regex_split 将一个字符串分割成字符串数组。regex_select 根据正则表达式提取符合条件的值。函数格式 regex_select(value,r"regular expression",mi=None,gi=None)参数...
函数概览
正则式函数 函数名称 说明 支持SQL 支持SPL regexp_extract_all函数 提取目标字符串中符合正则表达式的子串，并返回所有子串的合集。提取目标字符串中符合正则表达式的子串，然后返回与目标捕获组匹配的子串合集。regexp_extract函数 提取...
ALB使用约束
提取与替换：按照正则表达式的规范提取，将前三个半角圆括号()提取出来的内容分别保存至${1}、${2}、${3} 中，用于在转发动作的重写或重定向路径中替换。拼接：按照转发动作中重写或重定向路径的配置，对其中的${1}、${2}、${3} 进行值的...
ALB使用约束
提取与替换：按照正则表达式的规范提取，将前三个半角圆括号()提取出来的内容分别保存至${1}、${2}、${3} 中，用于在转发动作的重写或重定向路径中替换。拼接：按照转发动作中重写或重定向路径的配置，对其中的${1}、${2}、${3} 进行值的...
ValueTransferRule
部分匹配的正则表达式在模式中由一对括号（…）分隔。如果正则表达式为全匹配模式，则返回第一个匹配结果；如果正则表达式中包含部分匹配语法，则返回第一个满足的子匹配结果。例如列值为1aaa51bbb5，如果正则表达式为1[a-z]+5，则返回值为...
接口出参
在实际压测场景中，您可以使用出参功能来提取压测接口的返回信息作为下一个请求的输入。在一个压测请求API中可以定义多个出参。本文介绍如何提取出参。出参配置 出参的配置项说明如下。配置项 说明 出参名 可包含英文字母、数字、下划线（_...
接口出参
在实际压测场景中，您可以使用出参功能来提取压测接口的返回信息作为下一个请求的输入。在一个压测请求API中可以定义多个出参。本文介绍如何提取出参。出参配置 出参的配置项说明如下。配置项 说明 出参名 可包含英文字母、数字、下划线（_...
如何通过完整正则模式采集多种格式日志
如果希望进一步分析message，可以为该字段建立索引，然后利用日志服务的正则提取等查询分析功能，从message字段提取需要的内容，基于该内容进行分析。说明 此方案仅推荐应用于同时分析的日志数量较小的场景下（例如千万级）。
过滤器
在服务端对读取结果再进行一次过滤，根据过滤器（Filter）中的条件决定返回的行。使用过滤器后，只返回符合条件的数据行。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建数据表并写入数据。使用方法 在通过GetRow、...
字段值提取函数
函数列表 类型 函数 说明 正则提取 e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。相关示例，请参见 解析Java报错日志。JSON提取 e_json 对特定字段中的JSON对象进行JSON操作，包括JSON展开、JMES提取或者...
日志主题
userA/serviceA|-service.log|-/userB/serviceA|-service.log|-/userC/serviceA|-service.log 如果在Logtail采集配置中仅配置文件路径为/logs，文件名称为 service.log，将三个 service.log 文件中的内容采集至同一个Logstore中，则无法...
基于向量分析的个性化推荐系统
由于分析型数据库MySQL版暂时不支持关键词提取函数，您可以调用 jieba（结巴中文NLP系统）中的关键词抽取函数（jieba.analyse.extract_tags(title+content,3)）提取关键词。执行INSERT将新闻信息（包含关键词和新闻特征向量）存入新闻表...
正则表达式
例如您要查找 program 和 project，则正则表达式可以为 pro(gram|ject)。如果您不希望将正则表达式匹配的内容缓存到内存中，则可以使用 pro?gram|ject)进行非捕获匹配。说明?x)表示匹配 x 但是不缓存匹配项，可以定义与正则表达式运算符...
导入Kafka数据
提取时间正则 如果您选择的 数据格式 为 极简模式，您需要设置正则表达式提取Kafka数据中的时间。例如，数据内容为 message with time 2022-08-08 14:20:20，则您可以设置 提取时间正则 为 \d\d\d\d-\d\d-\d\d \d\d:\d\d:\d\d。时间字段...
转义字符
\"、\' 表示字符串中的引号，并不代表字符串结束，则上面的内容可以写成一个字符串：'双引号(")单引号(\')' 或者"双引号(\")单引号(')。但是这样反斜线又有了特殊的含义，对于字符串中的反斜线，就要写成 \\，第一个表示转义，第二个表示...
搭建Linux开发环境
本文为您介绍如何搭建MaxCompute Spark开发环境。如果您安装了Windows操作系统，请前往 搭建Windows开发环境。前提条件 搭建Spark开发环境前，请确保您...例如当配置方式为 xx.zip#yy 时，应以"./yy/xx/"引用到归档文件中的内容；当配置方式为...
通过Sidecar-控制台方式采集容器文本日志
文件路径提取：设置为文件路径正则，则需要设置 自定义正则，用正则表达式从路径里提取一部分内容作为Topic。用于区分不同用户或实例产生的日志。自定义：自定义日志主题。输入配置 参数名称 说明 Logtail部署模式 Logtail部署模式，选择...
通过DaemonSet-控制台方式采集Kubernetes容器标准输出
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。功能特点 Logtail支持采集容器内产生的标准输出，并附加容器的相关元数据信息一起上传到日志服务。Logtail具备以下功能特点。支持...
调试场景
通过响应详情匹配结果，预判提取的内容是否符合预期。若需重新设置出参，则单击 同步出参配置，将此正则表达式同步到该API的出参列表中。说明 场景调试结束后，如有同步的出参，需返回压测 场景配置 页签，在对应的API 出参定义 页签下，...
文档内容提取
使用方法 调用 ExtractDocumentText-文档正文提取 接口提取文档中的文本内容。文档信息 IMM项目名称：test-project 待提取文字的文档存储地址：oss:/test-bucket/test-object.docx 请求示例 {"ProjectName":"test-project","SourceURI":...
调试场景
通过响应详情匹配结果，预判提取的内容是否符合预期。若需重新设置出参，则单击 同步出参配置，将此正则表达式同步到该API的出参列表中。说明 场景调试结束后，如有同步的出参，需返回压测 场景配置 页签，在对应的API 出参定义 页签下，...
采集主机文本日志
文件路径提取：设置为文件路径正则，则需要设置 自定义正则，用正则表达式从路径里提取一部分内容作为Topic。用于区分不同用户或实例产生的日志。自定义：自定义日志主题。高级参数 Logtail配置的部分参数需要手动输入，请参见 创建Logtail...
匹配查找报警
匹配查找报警 是对固定位置关键字进行预警，可发送包含该关键字的日志内容为预警内容，也可提取部分...当不需要整条日志内容作为预警内容时，可用正则方式提取部分日志内容作为报警内容。重要 如果您未配置日志筛选，则必须配置自定义文案。
配置安全规则
添加一个条件后，您可以执行 正则校验，验证指定的内容是否与设置的正则表达式相匹配。操作步骤如下：单击条件下的 正则校验。在 正则校验 对话框中，确认 正则表达式，并输入 校验的内容。单击 校验。编写 条件运算逻辑表达式。通过与（&...
如何书写正则表达式
“内容合规性”电子邮件设置最多可以对正则表达式中的每个字符集匹配 25 个字符。匹配某个范围内的所有 IP 地址 用法示例 匹配范围 192.168.1.0 到 192.168.1.255 之间的所有 IP 地址 Regex 示例 示例 1：192\.168\.1\.示例 2：192\.168\.1...
Terraform类型模板结构
表 1.Parameters与.tf文件中的参数类型的约束关系.tf文件中的参数类型（B）Parameters中的参数类型（A）any或者未定义 假定.tf文件中的参数的默认值的类型为C，A的取值如下：如果C未定义或默认值为null：String、Number、...
如何调试正则表达式
在 TEST STRING 中粘贴日志样例中的日志，at之后的内容并没有被包含到message字段中（蓝色部分），因此该表达式不能完全匹配样例日志，即对于该样例日志来说，这条正则表达式是错误的，使用这条正则表达式无法正常采集到所有日志数据。...
身份证加工函数
EXTRACT_AGE 从身份证号中提取年龄。EXTRACT_BIRTH_DATE 从身份证号中提取出生日期。EXTRACT_BIRTH_DAY_OF_MONTH 从身份证号中提取出生日期的日部分。EXTRACT_BIRTH_MONTH 从身份证号中提取出生日期的月份。EXTRACT_BIRTH_YEAR 从身份证号...
- 产品推荐
- 这些文档可能帮助您