模式匹配
SQL 正则表达式模式的子字符串。该函数可以按照 SQL99 语法编写。substring(string from pattern for escape-character)或作为一个普通的三参数函数：substring(string,pattern,escape-character)与 SIMILAR TO 一样，指定的模式必须与整个...
转义字符
MaxCompute转义字符表达字符串中的特殊字符或将其后跟的字符解释为其本身，本文为您介绍MaxCompute中转义字符的使用场景和使用示例。转义字符使用场景 在编程领域几乎所有的字符串表示都会遇到转义字符的问题，而解决思路也都是类似的：...
提取字符串动态键值对
本文档介绍如何使用不同方案提取字符串键值对。常用方案比较 字符串动态键值对提取分为关键字提取、值提取、关键字加工和值加工，常用方案为采用e_kv函数、e_kv_delimit函数和e_regex函数等。不同提取场景的三种方案如下：方案 关键字提取 ...
字段值提取函数
使用定义规则提取 e_anchor 使用定义的anchor_rules规则提取字符串。e_regex 根据正则表达式提取字段的值并赋值给其他字段。函数格式 e_regex(key,正则表达式,fields_info,mode="fill-auto",pack_json=None)参数说明 参数名称 参数类型 ...
语法简介
例如 e_if(str_islower(v("result")),e_drop())，如果每个 result 字段的值是小写字符串，则丢弃这条日志，后续的操作将不再进行，自动重新开始下一条日志。输出日志可以视为一种特殊的停止处理，例如 e_output 提前输出日志到目标并删除...
表达式函数概览
str_zip 将两个值或表达式的字符串进行并发分裂然后再合并成一个字符串。str_encode 按照指定的编码格式对字符串进行编码。str_decode 按照指定的编码格式对传入值进行解码。str_hex_escape_encode 转义特殊字符，支持将十六进制字符转义为...
概述
数据脱敏 将日志中的敏感数据替换为指定字符串或MD5值。更多信息，请参见 数据脱敏。字段值映射 对字段值进行映射。更多信息，请参见 字段值映射处理。字段加密 对指定字段进行加密。更多信息，请参见 字段加密。数据编码与解码 对字段值...
调用函数清洗数据
e_set("c",op_mul(ct_int(v("a")),ct_int(v("b"))))e_set("d",op_mul(v("a"),ct_int(v("b"))))加工结果 a:2 b:5 c:10 d:22222 子场景3：调用 dt_parse 函数和 dt_parsetimestamp 函数将字符串或日期时间转换为标准时间。dt_totimestamp函数...
函数总览
e_anchor 使用定义的anchor_rules规则提取字符串。映射富化函数 e_dict_map 在映射关系的字典中，根据输入的字段映射出一个新字段。e_table_map 在映射表格中查找对应的行，根据输入的字段返回字段的值。e_tablestore_map 以阿里云表格存储...
JSON函数和操作符
对于除数字、布尔值或空值之外的任何标量，将使用文本表示，并根据需要进行转义，使其成为有效的JSON字符串值。to_json(anyelement)→json to_jsonb(anyelement)→jsonb to_json('Fred said"Hi."':text)→"Fred said \"Hi.\""to_jsonb(row...
新增附加列
match(str,regex)str：字符串列或字符串常量 regex:正则表达式字符串列或字符串常量 true或者false regex_match(_TB_,'user_\\d+')使用指定字符遮掩字符串的一部分，可用于数据脱敏，例如把手机号的后四位替换为星号 str_mask(str,start,...
字符串函数
当您需要对存储在表中的字符串数据进行截取、拼接、转化、比较、搜索等操作，您可以使用MaxCompute支持的字符串函数对指定字符串进行灵活处理。本文为您介绍MaxCompute支持的字符串函数的命令格式、参数说明及示例。MaxCompute SQL支持的...
扫描（Scan）查询概述
日志服务扫描（Scan）查询功能支持免配置索引进行目标字段的扫描，用于查询相关...JSON函数 函数名称 语法 说明 json_extract_scalar函数 json_extract_scalar(x,json_path)从JSON对象或JSON数组中提取一组标量值（字符串、整数或布尔值）。
字符串函数和操作符
本节描述了用于检查和操作字符串值的函数和操作符。在这个环境中的串包括所有类型 character、character varying 和 text 的值。除非特别说明，这些函数和操作符声明为接受并返回 text 类型。他们将互换接受 character varying 参数。在...
支持的函数
REGEXP 使用REGEXP函数，对指定的字符串执行一个正则表达式搜索，并返回一个Boolean值表示是否找到指定的匹配模式。REVERSE(string)返回反转的字符串。SPLIT_INDEX 使用SPLIT_INDEX函数，将目标字符串按照指定分隔符分割成若干段，返回指定...
提取字段
您在使用Logtail采集日志时，可以添加Logtail插件，通过正则模式、标定模式、CSV模式、单字符分隔符模式、多字符分隔符模式、键值对模式、Grok模式提取日志字段。本文介绍各个插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和...
内建函数概述
字符串函数 支持处理STRING类型字符串，实现截取字符串、替换字符串、查找字符串、转换大小写、转换字符串格式等业务处理能力。复杂类型函数 支持处理MAP、ARRAY、STRUCT及JSON类型数据，实现去重元素、聚合元素、元素排序、合并元素等业务...
在DTS迁移或同步任务中配置ETL
op_add(str_1,str_2,.,str_n)str_1:字符串 str_2:字符串.str_n:字符串 拼接后的字符串 op_add(`col`,'hangzhou','dts')字符串格式化，字符串拼接 str_format(format,value1,value2,value3,.)format：字符串类型，以大括号作为占位符，如...
SPL概述
工作原理 日志服务SPL支持在实时消费、扫描查询和Logtail采集三个日志服务场景中使用，工作原理如下图：关于SPL在各个场景中的功能定义，请参见 SPL在不同场景的功能定义。支持使用日志服务SPL的阿里云地域，请参见 支持地域。使用限制 ...
字符串函数
在这个章节中介绍了用于检测和操作字符串值的函数和操作符。字符串包括CHAR、VARCHAR2和CLOB类型的值。除非另外提示，在下面所列出的函数可以在所有这些类型的值上工作，但是需要注意的是当使用CHAR类型的字符串时，会出现自动在字符串后面...
RLIKE字符匹配
RLIKE是MaxCompute SQL提供的一种基于PCRE（Perl Compatible Regular Expressions）规范的操作符，支持在MaxCompute SQL语句中对文本进行更精确、更复杂的模式匹配或替换。本文介绍了RLIKE支持的元字符、POSIX字符组、中文字符组、转义字符...
正则表达式入门教程
正则表达式是一种强大的文本匹配工具，可以用于在文本中查找特定的模式。本文将提供简单且实用的正则表达式快速上手教程，帮助您快速掌握其基本用法。 重要 本文档可能包含第三方产品信息，该信息仅供参考。阿里云对第三方产品的性能、...
内建函数概述
字符串函数 支持处理STRING类型字符串，实现截取字符串、替换字符串、查找字符串、转换大小写、转换字符串格式等业务处理能力。复杂类型函数 支持处理MAP、ARRAY、STRUCT及JSON类型数据，实现去重元素、聚合元素、元素排序、合并元素等业务...
Logtail配置
adjustTimezone boolean 否 false 是否调整日志时区，仅在配置时间解析（例如配置了 timeFormat 参数）的情况下使用。logTimezone string 否 GMT+08:00 时区偏移量，格式为GMT+HH:MM（东区）、GMT-HH:MM（西区）。例如日志时间为东八区，则...
LiveTail
过滤字符串 您可以在 过滤条件 文本框中设置需要包含的一个或多个字符串。设置完成后，监控列表只显示包含设置的字符串的日志。过滤字段 您可以在 字段过滤 下拉列表中设置需要过滤的一个或多个字段。设置完成后，监控列表不显示设置的过滤...
基本概念
数据类型为整数字符串，Unix标准时间格式，单位为秒，表示从1970-1-1 00:00:00 UTC计算起的秒数。日志接收时间 日志到达日志服务的服务器被接收时的时间，默认不保存在日志中，但是如果Logstore开启了记录外网IP地址，则该时间会保留在日志...
数据模型
Key为UTF-8编码字符串，包含字母、下划线和数字，且不以数字开头，其长度不超过128字节，且不可以使用如下关键字：_time_source_topic_partition_time_extract_others_extract_others_Value为不超过1024*1024字节的任意UTF-8编码字符串。...
函数概览
json_extract_scalar函数 从JSON对象或JSON数组中提取一组标量值（字符串、整数或布尔值）。类似于json_extract函数。json_format函数 把JSON类型转化成字符串类型。json_parse函数 把字符串类型转化成JSON类型。json_size函数 计算JSON...
函数概览
字符串函数 返回指定格式的字符串，或指定条件下处理后的字符串。自定义标量函数 当以上函数不能满足使用需求时，支持使用UDF来实现功能的扩展。具体操作，请参见 通过流引擎使用UDF。时空函数 Lindorm流引擎内置的时空函数。详细介绍，请...
字符串函数
重要 在日志服务分析语句中，表示字符串的字符必须使用单引号（''）包裹，无符号包裹或被双引号（""）包裹的字符表示字段名或列名。例如：'status' 表示字符串status，status 或"status"表示日志字段status。函数名称 语法 说明 支持SQL ...
正则表达式
非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。A|B A或B。(abc)*匹配abc序列0次或多次。{n}或{m,n} 匹配的次数。[ab]匹配括号中的任一字符。模式匹配a或b。[a-d]匹配a、b、c、d任一字符。[^ab...
概述
这些函数用于为正则表达式指定的模式搜索字符串，且返回在字符串中模式的发生信息。这个模式应该为POSIX式的正则表达式。REGEXP_COUNT REGEXP_INSTR REGEXP_SUBSTR 更多关于组成POSIX式的正则表达式的信息，请参见 核心文件网址。
2021年
2021-03-16 全部地域 支持压缩格式数据 MaxCompute SQL支持FROM_JSON/TO_JSON函数 FROM_JSON函数可以将JSON转换成MaxCompute的数据类型，或提取JSON中的信息，根据JSON字符串jsonStr和schema信息，返回ARRAY、MAP或STRUCT类型。TO_JSON函数...
Hive兼容数据类型版本
Hive兼容数据类型版本是MaxCompute三种数据类型版本之一，该数据类型版本下仅支持Hive兼容数据类型。本文为您介绍Hive兼容数据类型版本的定义、支持的数据类型以及与其他数据类型版本的差异。定义 项目空间选择数据类型版本为Hive兼容数据...
2.0数据类型版本
本文为您介绍MaxCompute 2.0数据类型版本的定义、使用场景、支持的数据类型以及与其它数据类型版本的差异。定义 项目空间选择数据类型版本为2.0数据类型版本时，项目空间的数据类型属性参数定义如下。setproject odps.sql.type.system.odps...
Fn:Base64Decode
调用内部函数Fn:Base64Decode，返回Base64编码字符串的解码结果。函数声明 JSON {"Fn:Base64Decode":"stringToDecode"} YAML 完整函数名的语法。Fn:Base64Decode:stringToDecode 缩写形式语法。Base64Decode stringToDecode 参数信息 ...
数据脱敏
您在使用Logtail采集日志时，可以使用processor_desensitize插件，将日志中的敏感数据替换为指定字符串或MD5值。本文介绍processor_desensitize插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON配置...
Sensors Data（神策）数据源
如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader参数...
ASMSwimLaneGroup和ASMSwimLane CRD说明
相关文档 关于流量泳道的概念、使用场景，以及严格与宽松两种模式的流量泳道对比，请参见 流量泳道概述。关于如何使用严格模式流量泳道实现全链路流量管理，请参见 使用严格模式流量泳道。关于如何使用宽松模式流量泳道实现全链路流量管理...
JSON类型
得到假-如果一个字符串匹配一个基本 JSON 字符串，它就被认为存在：SELECT '"foo"':jsonb?'foo';当涉及很多键或元素时，JSON 对象比数组更适合于做包含或存在测试，因为它们不像数组，进行搜索时会进行内部优化，并且不需要被线性搜索。...
- 产品推荐
- 这些文档可能帮助您