过滤处理

设置 字段名 为 content,字段值 为.*05\/Jan\/2023.*,表示只采集 content 字段值包含 05/Jan/2023 的日志。过滤掉不符合条件的日志。设置 字段名 为 level,字段值 为^?(INFO|DEBUG)).*,表示不采集 level 字段值包含 INFO 或 DEBUG 的...

字符串函数

str_find 判断原字符串中是否包含指定的子字符串。str_rfind 查找字符串中指定字符或者字符串最后一次出现的位置。str_endswith 判断字符串是否以指定后缀结尾。str_startswith 判断字符串是否以指定字符串开头。切分 str_split 通过指定...

Dataphin的管道任务如何为目标表的预留字段设置...

问题描述 Dataphin的管道任务如何为目标表的预留字段设置默认值为null字符串?解决方案 使用“字段计算”组件,新建一个字段作为...管道任务运行之后,可以看到目标表预留字段值内容为null字符串。适用于 Dataphin 基于公共云v2.9.4-3验证

0011-00000010

问题描述 文件元数据Expires的值包含非法字符。问题原因 请求指定了文件元数据,但是文件元数据的Expires字段包含非法字符。问题示例 例如,您发起了PostObject请求,并通过表单域的Expires字段声明缓存内容的绝对过期时间,格式应...

资源函数

exit 的数据,并且该数据不包含 name 字段值为 aliyun 的数据。res_rds_mysql(address="rm-uf6wjk5*.mysql.rds.aliyuncs.com",username="test_username",password="*",database="test_db",table="test_table",refresh_interval=300,fetch_...

正则式函数

函数名称 语法 说明 支持SQL 支持SPL regexp_extract_all函数 regexp_extract_all(x,regular expression)提取目标字符串中符合正则表达式的子串,并返回所有子串的集合。regexp_extract_all(x,regular expression,n)提取目标字符串中符合正...

数据脱敏

配置示例 示例1 将目标字段值中的所有内容替换为字符串,即设置 Method 为 const,Match 为 full。原始日志"password":"123abcdefg"Logtail插件处理配置 {"type":"processor_desensitize","detail":{"SourceKey":"password","Method":...

0011-00000008

问题描述 文件元数据Content-Encoding的值包含非法字符。问题原因 请求指定了文件元数据,但是文件元数据的Content-Encoding字段包含非法字符。问题示例 例如,您发起了PostObject请求,并通过表单域的Content-Encoding字段声明...

0011-00000007

问题描述 文件元数据Content-Disposition的值包含非法字符。问题原因 请求指定了文件元数据,但是文件元数据的Content-Disposition字段包含非法字符。问题示例 例如,您发起了PostObject请求,并通过表单域的Content-Disposition...

0011-00000006

问题描述 文件元数据Content-Type的值包含非法字符。问题原因 请求指定了文件元数据,但是文件元数据的Content-Type字段包含非法字符。问题示例 例如,您发起了PostObject请求,并通过表单域的Content-Type字段声明上传的文件类型...

0011-00000009

问题描述 文件元数据Cache-Control的值包含非法字符。问题原因 请求指定了文件元数据,但是文件元数据的Cache-Control字段包含非法字符。问题示例 例如,您发起了PostObject请求,并通过表单域的Cache-Control字段指定Object的缓存...

表达式函数概览

str_find 判断原字符串中是否包含指定的子字符串。str_rfind 查找字符串中指定字符最后一次出现的位置。str_endswith 判断字符串是否以指定后缀结尾。str_startswith 判断字符串是否以指定字符串开头。str_split 通过指定分隔符对字符串...

函数总览

str_find 判断原字符串中是否包含指定的子字符串。str_rfind 查找字符串中指定字符最后一次出现的位置。str_endswith 判断字符串是否以指定后缀结尾。str_startswith 判断字符串是否以指定字符串开头。str_split 通过指定分隔符对字符串...

KeyValue函数

当某个被split1拆分后的字符串中有多个split2时,返回结果未定义。否,如果填写,必须填上split2。split2 TEXT 用于作为分隔符的字符串。按照指定的分隔符split2拆分split1分隔后的字符串,如果没有指定,按照冒号(:)拆分。否,如果填写...

UDF示例:获取字符串(含分隔符)Value

本文为您介绍如何分别通过Java UDF和Python UDF实现获取键字符串中指定Key对应的Value,其中Key或Value本身含有二级分隔符。命令说明 本示例将注册一个名称为 UDF_EXTRACT_KEY_VALUE_WITH_SPLIT 的自定义函数,下面对命令格式和入参...

如何在查询和分析语句使用引号?

request method":PUT 查询 region 字段值包含 cn*的日志。此处的 cn*为一个独立词。如果日志内容为 region:cn*,en,分词符为半角逗号(,),则该日志内容被拆分为 region、cn*和 en,你可以通过下述语句查询到该日志。region:"cn*"计算...

字符串替换

配置示例 通过字符串匹配方式进行替换 通过字符串匹配方式进行替换,将 content 字段值中的 Error:替换为空字符串。表单配置方式 原始日志如下:"content":"2023-05-20 10:01:23 Error:Unable to connect to database."Logtail插件处理配置...

数据结构

字符串中包含半角双引号(")时,可以使用 'abc"xyz',也可以使用反斜线(\)进行反转("abc\"xyz")。反斜线(\)表示反转,即"\\abc\\xyz"表示 \abc\xyz。r"\\10.64.1.1\share\folder"和"\\\\10.64.1.1\\share\\folder"相同,都表示...

JSON函数

重要 在日志服务分析语句,表示字符串的字符必须使用单引号('')包裹,无符号包裹或被双引号("")包裹的字符表示字段名或列名。例如:'status' 表示字符串status,status 或"status"表示日志字段status。如果日志字段为JSON类型且...

查询语法

日志服务提供一套查询语法,用于指定日志查询时的过滤规则,从而筛选日志满足条件的记录,筛选结果可以用于分析语句,进行更复杂的分析处理。查询语法 重要 日志服务查询语句和分析语句(SELECT语句)以竖线(|)分割。基础语法:查询...

在DTS迁移或同步任务配置ETL

所有字符串类型(如varchar、text、char等)的字段值替换 tail_replace_string_field(search,replace,all)search:待替换的字符串 replace:替换后的字符串 all:是否替换所有匹配的字符串,目前只支持取值为 true。说明 若您无需替换所有...

Oracle应用迁移至云原生数据仓库 AnalyticDB ...

参数二:包含星期几的英文字符串,如Friday。返回开始日期后的第二个星期几的日期,如第二个Friday。SELECT next_day(current_date,'FRIDAY');返回信息如下:next_day-2019-07-05(1 row)next_day(value date,weekday integer)参数一:开始...

字符串函数和操作符

quote_ident('Foo bar')→"Foo bar"quote_literal(text)→text 返回在SQL语句字符串中适当引用的给定字符串,用作字符串文字使用。嵌入式单引号和反斜线适当的翻倍(转双引号或双斜线)。请注意,quote_literal 返回无效输入;如果这个参数...

PolicyItem

in:字符串包含关系。percent:百分比,取值范围为(0,100]的整数。表示根据请求指定字段 key 对应的实际分布,按百分比灰度。其中字段由参数 key 指定,百分比由参数 value 指定。例如,一条 { type=Header,key=uid,value=20,...

数据库返回“Data truncation:Truncated incorrect”...

问题描述 在DMS控制台执行变更时,出现类似如下报错:Data truncation:Truncated incorrect XXX 问题原因 数据变更:表上的字段定义和执行的SQL类型不符合,常见的场景为表上定义是字符串类型,SQL中用了数值类型的写法。结构变更:需要...

使用介绍

SQL描述常量字符串的使用注意事项,可参考[使用限制]的'常量字符串'部分。典型错误:错误类型 错误形式 正确形式 语法报错,查询无结果 QUERY('pidvid','123:456')QUERY('pidvid','"123:456"')rangevalue 原型 float rangevalue(float v,...

通用参考

示例 从已有的时间字符串中提取时间字段值。SPL语句*|parse-regexp time,'([\d\-\s:]+)\.(\d+)' as ts,ms|extend ts=date_parse(ts,'%Y-%m-%d%H:%i:%S')|extend_time_=cast(to_unixtime(time_s)as INTEGER)|extend_time_ns_part_=cast(ms ...

支持的函数

CHAR_LENGTH(string)CHARACTER_LENGTH(string)返回字符串中的字符数。UPPER(string)以大写形式返回字符串。LOWER(string)以小写形式返回字符串。POSITION(string1 IN string2)返回 STRING2 中第一次出现STRING1的位置(从 1 开始);如果在...

辅助工具类接口

请求参数 参数 必选 类型 说明 value true string/BigNumber 目标参数 返回 返回字段 字段类型 说明 result number 十进制数字 示例 const num=Chain.utils.toDecimal('0x64')toUtf8 将十六进制字符串转换成 utf8 字符串。请求参数 参数 ...

CString

int indexOf(CString str)返回指定字符串在字符串中第一次出现的位置 int lastIndexOf(CString str,int fromIndex)返回指定字符串在字符串中最后一次出现的位置,可以从指定位置开始向前搜索 int lastIndexOf(CString str)返回指定字符串在...

质量规则参数配置

数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复个数校验:校验字段:选择物理表的需要校验的字段。校验表数据过滤:默认关闭,...

质量规则参数配置

数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复个数校验:校验字段:选择物理表的需要校验的字段。校验表数据过滤:默认关闭,...

CString

int indexOf(CString str)返回指定字符串在字符串中第一次出现的位置 int lastIndexOf(CString str,int fromIndex)返回指定字符串在字符串中最后一次出现的位置,可以从指定位置开始向前搜索 int lastIndexOf(CString str)返回指定字符串在...

安全规则DSL语法

fun.is_contain_str 判断第一个字符串是否包含第二个字符串。返回:true或false。参数:2个参数,第一个是源字符串(Source),第二个是目标字符串(Target)。fun.is_contain_str('abcd','ab')/判断"abcd"是否包含"ab",返回true。fun....

语法简介

说明 在传递的过程日志的字段始终都是字符串形式。例如:原日志是 {"_time_":"1234567","_topic_":"","k1":"test"},函数 e_set("f1",200)设置字段 f1 的为 200,经过这个函数处理后,原日志会变成:{"_time_":"1234567","_topic_...

字符串函数

CHAR_MATCHCOUNT 计算A字符串出现在B字符串中的字符个数。CHR 将指定ASCII码转换成字符。CONCAT 将字符串连接在一起。CONCAT_WS 将参数中的所有字符串按照指定的分隔符连接在一起。DECODE 将字符串按照指定编码格式解码。ENCODE 将字符串...

使用Terraform管理Prometheus实例的集成中心

各组件Param字段的参数说明 Kafka(基础版)参数名 参数中文名 是否必填 参数类型 参数说明 示例 name Exporter名称 是 String 英文小写字母开头,可以包含数字和短划线(-),不包含大写英文字母,长度为3~32的字符串。my-kafka1 ip_...

使用Terraform管理Prometheus实例的集成中心

各组件Param字段的参数说明 Kafka(基础版)参数名 参数中文名 是否必填 参数类型 参数说明 示例 name Exporter名称 是 String 英文小写字母开头,可以包含数字和短划线(-),不包含大写英文字母,长度为3~32的字符串。my-kafka1 ip_...

0007-00000104

该参数是由一段经过Base64编码的JSON字符串,如果服务端对其Base64解码后不是仅包含字符串对的String Map结构,就会导致接口返回该错误。问题示例 比如您的请求 callback-var 参数解码后如下所示:{"x:var1":"value1","x:var2":{"a":...

比较运算符

LIKE运算符 x LIKE pattern[escape ' escape_character ']用于匹配字符串中指定的字符模式。字符串区分大小写。SOME运算符 x relational operator SOME(subquery)x 满足任意一个条件时,返回true。GREATEST运算符 GREATEST(x,y.)查询 x、y ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生数据仓库AnalyticDB MySQL版 云数据库HBase版 云备份 云数据库专属集群 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用