正则表达式
字符组 POSIX字符组 字符组 说明 范围[[:alnum:]]字母字符和数字字符[a-zA-Z0-9][[:alpha:]]字母[a-zA-Z][[:ascii:]]ASCII字符[\x00-\x7F][[:blank:]]空格字符和制表符[\t][[:cntrl:]]控制字符[\x00-\x1F\x7F][[:digit:]]数字字符[0-9][[:...
RLIKE字符匹配
匹配字符串cc123bb的开头是否是非数字字符，返回true 字符组 POSIX字符组 字符组 说明 范围[[:alnum:]]字母字符和数字字符[a-zA-Z0-9][[:alpha:]]字母[a-zA-Z][[:ascii:]]ASCII字符[\x00-\x7F][[:blank:]]空格字符和制表符[\t][[:cntrl:]]...
SDK参考
ARMS前端监控提供一系列SDK配置项，让您能够通过设置参数来满足额外需求，例如忽略指定URL、API、JS错误的上报、通过过滤URL中的非关键字符使页面聚类、通过随机采样上报来减小上报量并降低负载等。本页索引 pid|uid|tag|page|setUsername|...
复杂类型函数
您可以在MaxCompute SQL中使用复杂类型函数处理复杂数据类型，例如ARRAY、MAP、STRUCT、JSON。本文为您提供MaxCompute SQL支持的复杂类型函数的命令格式、参数说明及示例，指导您使用复杂类型函数完成开发。MaxCompute SQL支持的复杂类型...
过滤器
正则匹配并转换数据类型后再过滤结果 当某些列中存储了自定义格式数据（例如JSON格式字符串）时，如果用户希望过滤查询该列的某个子字段值，则可以通过正则表达式匹配并转换子字段值类型后，再使用过滤器来过滤需要的数据。例如列中存储的...
导入OSS数据
跨行文本日志特有参数 参数 说明 正则匹配位置 设置正则表达式匹配的位置，具体说明如下：首行正则：使用正则表达式匹配一条日志的行首，未匹配部分为该条日志的一部分，直到达到最大行数。尾行正则：使用正则表达式匹配一条日志的行尾，未...
导入Amazon S3文件
跨行文本日志特有参数 参数 说明 正则匹配位置 设置正则表达式匹配的位置，具体说明如下：首行正则：使用正则表达式匹配一条日志的行首，未匹配部分为该条日志的一部分，直到达到最大行数。尾行正则：使用正则表达式匹配一条日志的行尾，未...
正则式函数
字段样例 message:error'1232 查询和分析语句*|SELECT regexp_extract(message,'''\d+')说明 使用正则式函数提取字符串中的单引号（'）时，需要在正则表达式中再添加一个单引号（'）。查询和分析结果 SPL 示例1：提取server_protocol字段值...
REGEXP_EXTRACT_ALL
在字符串中查找所有出现的正则表达式匹配模式的子字符串，并把找到的字符串以数组返回。命令格式 array<T>regexp_extract_all(string,string[,bigint])参数说明 source：必填。STRING类型。待分析的字符串。pattern：必填。STRING类型。待...
自定义配置
脱敏规则中各元素通过英文半角逗号分隔，每一个元素代表一个不区分大小写的正则表达式，以 password 为例，脱敏规则等同于正则表达式.*password.*。探针在采集数据时会对数据的key按照对应的表达式进行过滤，如果满足条件，该key会被认为...
正则函数
REGEXP_INSTR regexp_instr(source,pattern[,position[,occurrence[,option]]])命令说明：字符串source中搜索匹配正则表达式的子字符串，并返回该子字符串在字符串source中的位置。如果指定position，则从第position个字符开始匹配，默认为...
如何书写正则表达式
[#\-]匹配字母 po 后的井号或连字符，{0,1} 表示这些字符中每个字符可以出现 0 次或 1 次。请注意，\-（代表连字符）必须在方括号内字符列表的最后出现。\s 匹配空格，{0,1} 表示空格可出现 0 次或 1 次。\d 匹配从 0-9 的任意数字，{2} ...
字符串函数
当您需要对存储在表中的字符串数据进行截取、拼接、转化、比较、搜索等操作，您可以使用MaxCompute支持的字符串函数对指定字符串进行灵活处理。本文为您介绍MaxCompute支持的字符串函数的命令格式、参数说明及示例。MaxCompute SQL支持的...
提取字符串动态键值对
默认无 e_regex 组合自定义正则表达式和默认字符集过滤 完全自定义 自定义 自定义 大部分键值对的提取使用 e_kv 函数并配置特定参数就可以很好地满足，尤其是带括字符和反斜杠需要提取并转义时。其他复杂或高级的场景可以用 e_regex 函数来...
LLM-计数过滤（MaxCompute）
LLM-计数过滤组件主要用于大语言模型（LLM）的文本数据预处理工作，根据字母、数字、分隔符的个数过滤样本。使用限制 仅支持MaxCompute计算引擎。算法简介 LLM-计数过滤组件支持以下功能：根据数字字符个数或比例过滤 统计文本中的数字字符...
在DTS迁移或同步任务中配置ETL
op_add(str_1,str_2,.,str_n)str_1:字符串 str_2:字符串.str_n:字符串 拼接后的字符串 op_add(`col`,'hangzhou','dts')字符串格式化，字符串拼接 str_format(format,value1,value2,value3,.)format：字符串类型，以大括号作为占位符，如...
DescribeProtectionModuleRules
Query String 否 e2ZpbHRlcjp7InJ1bGVJZCI6NDI3NTV9LG9yZGVyQnk6ImdtdF9tb2RpZmllZCIsZGVzYzp0cnVlfQ=设置规则的过滤和排序，以JSON格式字符串表达，具体包含以下参数：说明 该参数必须使用Base64编码格式，请按照以下参数说明构造JSON格式...
使用OSS Foreign Table进行数据湖分析
force_null 布尔型 否 空字符串处理方法，取值如下：true：空字符串的字段的值无论是否添加了引号均作为NULL返回。false（默认）：空字符串的字段的值只有未加引号的情况下作为NULL返回。说明 该参数仅适用于CSV和TEXT格式的文件。示例 ...
参数映射与校验规则
如果 Content-Type 没有指定 charset=则网关会使用 UTF-8 编码，否则使用 charset 中指定的字符集来进行Url Decode，对于Form的拆分与处理逻辑与 QueryString 中描述的处理方式一致。当 Content-Type 为 multipart/formdata 时，网关支持...
CreateProtectionModuleRule
调用CreateProtectionModuleRule，在指定的WAF防护功能模块（包括Web入侵防护、数据安全、高级防护、Bot管理、访问控制或限流等模块）中创建规则配置。使用说明 本接口用于在指定的WAF防护功能模块（包括Web入侵防护、数据安全、高级防护、...
自定义配置
脱敏规则中各元素通过英文半角逗号分隔，每一个元素代表一个不区分大小写的正则表达式，以 password 为例，脱敏规则等同于正则表达式.*password.*。探针在采集数据时会对数据的key按照对应的表达式进行过滤，如果满足条件，该key会被认为...
表达式函数概览
regex_replace 根据正则表达式替换字符串中的指定字符。regex_split 将一个字符串分割成字符串数组。GROK函数 grok 根据正则表达式提取特定的值。特定结构化数据函数 json_select 根据JMES语法提取或计算JSON表达式中特定的值。json_parse ...
自定义配置
收敛阈值是指要进行URL收敛的最低数量条件，例如当阈值为100时，则符合规则正则表达式的URL达到100时才会对它们进行收敛。设置完成后，单击页签底部的 保存。设置业务监控 在 业务监控设置 区域，可以打开或关闭业务监控开关，并设置HTTP...
JSON函数和操作符
本文描述了用于处理和创建JSON数据的函数和运算器，以及SQL/JSON路径语言。处理和创建JSON数据 json和jsonb操作符表展示了可以用于JSON数据类型的操作符。此外，比较操作符表所示的常用比较操作符也适用于 jsonb，但不适用于 json。比较...
过滤器
在服务端对读取结果再进行一次过滤，根据过滤器（Filter）中的条件决定返回的行。使用过滤器后，只返回符合条件的数据行。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建数据表并写入数据。使用方法 在通过GetRow、...
签名版本1
构建CanonicalizedResource的方法 发送请求中希望访问的OSS目标资源被称为CanonicalizedResource，构建方法如下：如果既有BucketName也有ObjectName，则CanonicalizedResource格式为/BucketName/ObjectName 如果仅有BucketName而没有...
函数总览
regex_replace 根据正则表达式替换字符串中的指定字符。regex_split 将一个字符串分割成字符串数组。GROK函数 grok 根据正则表达式提取特定的值。特定结构化数据函数 json_select 根据JMES语法提取或计算JSON表达式中特定的值。json_parse ...
正则表达式检查
正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。常用字符：元字符 描述[]字符范围。匹配指定范围内的任意...
组件参考：所有组件汇总
停用词过滤 该组件是文本分析中的一个预处理方法，用于过滤分词结果中的噪声（例如的、是或啊）。ngram-count 该组件是语言模型训练其中一个步骤。在词的基础上生成n-gram，并统计在全部语料集上，对应n-gram的个数。文本摘要 该组件是文献...
PutObject
如需确保下载名称中包含中文字符的Object到本地指定路径后，文件名称不出现乱码的现象，您需要将名称中包含的中文字符进行URL编码。例如，将 测试.txt 从OSS下载到本地后，需要保留文件名为 测试.txt，需按照"attachment;filename="+...
签名版本4（推荐）
根据请求URI包含的资源有差异，Canonical URI的填写方法说明如下：如果请求的URI中既包含Bucket也包含Object，则Canonical URI填写示例为/examplebucket/exampleobject。如果请求的URI中只包含Bucket不包含Object，则Canonical URI填写示例...
LLM-特殊字符占比过滤（MaxCompute）
LLM-特殊字符占比过滤组件主要用于大语言模型（LLM）的文本数据预处理工作，根据特殊字符占比过滤样本，保留特殊字符个数占文本总长度比例在指定范围内的样本。使用限制 仅支持MaxCompute计算引擎。算法简介 遍历文本中的每个字符，并统计...
签名版本4（推荐）
根据请求URI包含的资源有差异，Canonical URI的填写方法说明如下：如果请求的URI中既包含Bucket也包含Object，则Canonical URI填写示例为/examplebucket/exampleobject。如果请求的URI中只包含Bucket不包含Object，则Canonical URI填写示例...
400错误
解决方法：在Authorization头部计算方法中添加参数AccessKey ID，并按照以下签名示例完成签名计算。请求 签名字符串计算公式 签名字符串 PUT/nelson HTTP/1.0 Content-MD5: eB5eJF1ptWaXm4bijSPyxw== Content-Type: text/html Date: Wed,28...
正则表达式
本文介绍正则表达式的匹配方式以及特殊字符的转义处理。完全匹配 正则表达式的值与字符串完全一致，则是完全匹配。例如 1234 与 \d+完全匹配。有些函数支持部分匹配，您可以在开头与结尾添加^与$将部分匹配的场景变成完全匹配。例如正则...
过滤日志
表单配置方式 参数说明 配置 处理器类型 为 正则过滤日志（匹配日志字段的值），相关参数说明如下表所示。说明 日志字段的值完全匹配 采集日志 中的正则表达式，且不匹配 丢弃日志 中的正则表达式时，日志才会被采集，否则直接丢弃。参数 ...
模式匹配
虽然大部分的正则表达式搜索都能被很快地执行，但是正则表达式仍可能被人为地弄成需要任意长的时间和任意量的内存进行处理。要当心从不怀好意的来源接受正则表达式搜索模式。如果必须这样做，建议加上语句超时限制。使用 SIMILAR TO 模式的...
概述
Logtail提供处理插件用于将原始日志进一步解析为结构化数据。Logtail处理插件具体可分为原生处理插件和扩展处理插件。原生插件：性能较优，适用于大部分业务场景，推荐优先使用。扩展插件：功能覆盖更广，当您的业务日志过于复杂以致于无法...
搜索增强
对OSS文件数据源,离线数据处理流程会自动对离线数据进行文本chunk分析，必须针对标题或者内容字段勾选文本快切分功能才能触发离线文本分析流程 对数据库数据源，数据库中保存用户已处理数据，这里文本块切分chunk功能可以不勾选 分析器 在...
事件检查函数
正则匹配 e_search('content~="正则表达式"')#正则匹配。数字 e_search('count:[100,200]')#>=100 and('count:[*,200]')#('count:[200,*]')#>=200 e_search('age>=18')#>=18 e_search('age>18')#>18#使用关系运算符 e_search("abc OR xyz")...
- 产品推荐
- 这些文档可能帮助您