LLM-敏感信息打码（DLC）
LLM-敏感信息打码（DLC）组件主要用于将敏感信息打码，例如将邮箱地址字符替换成[EMAIL]，手机/电话号码替换成[TELEPHONE]或[MOBILEPHONE]，身份证号码替换成[IDNUM]。输入的OSS数据文件（JSONL格式，示例）需符合：每一行是一个合法的JSON...
数据查询
在编辑器中编写SQL语句，并用转换后的HexCode编码字符替换转换前的值。例如，原查询语句如下：SELECT*FROM task WHERE ROW="master_ttl;替换后的语句如下：SELECT*FROM task WHERE ROW="6d61737465725f74746c;单击 执行。
LLM-敏感信息打码（MaxCompute）
该组件主要用于大语言模型（LLM）的文本数据预处理工作，可以将敏感信息打码，例如将邮箱地址字符替换成[EMAIL]，手机/电话号码替换成[TELEPHONE]或[MOBILEPHONE]，身份证号码替换成[IDNUM]。使用限制 仅支持MaxCompute计算引擎。算法简介 ...
数据查询
Lindorm宽表引擎在集群管理系统中提供了...在编辑器中编写SQL语句，并用转换后的HexCode编码字符替换转换前的值。假设原查询语句为 SELECT*FROM task WHERE ROW="xxxx1;则替换后的语句为 SELECT*FROM task WHERE ROW="7878787831;单击 执行。
FROM_CHARSET
TRANSLIT：使用指定编码格式中类似的字符替换。IGNORE：忽略报错的内容，然后继续完成命令。返回值 返回UTF-8编码格式的STRING类型数据。当参数为NULL或空字符串时，返回规则如下：任意一个输入参数为NULL时，返回结果为NULL。任意一个输入...
字符串相似性判断（fuzzystrmatch）
sub_cost 字符替换的开销。max_d 最大Levenshtein距离。说明 levenshtein_less_equal函数是Levenshtein函数的加速版本，在只计算小距离时使用：如果实际的距离低于或等于max_d，levenshtein_less_equal返回精确值。如果实际的距离大于max_d...
LLM数据处理
例如：将邮箱地址字符替换成[EMAIL]。将手机电话号码替换成[TELEPHONE]或[MOBILEPHONE]。将身份证号码替换成 IDNUM。以下是对content字段经过处理后的数据示例，其中的邮箱地址已被替换成了[EMAIL]。处理前 处理后 LLM-特殊内容移除-1 将...
字符串函数
LTRIM 删除字符串左端空白字符。REMOVE_STRING 移除字符串中的指定字符。REPLACE 将字符串中与指定字符串匹配的子串替换为另一字符串。RPAD 将字符串向右补足到指定位数。RTRIM 删除字符串右端空白字符。SUB_STRING 从一个字符串中的指定...
字符集
本文介绍SPL程所使用的字符集。SPL 程序使用以下字符集编写：大写字母 A 至 ...[]空格字符、制表符、空格和回车符。使用这些字符可编写SPL语言的标识符、表达式、语句、控制结构等。说明 SPL程序可以操纵的数据由数据库编码支持的字符集决定。
新增附加列
逆序从尾部开始 tail_replace_string_field(search,replace,all)search：将被替换的字符串 replace：用于替换的字符串 all:是否替换所有，true或者false 替换后的字符串 将所有字符串字段类型值的"\u000f"替换成空格 tail_replace_string_...
SPACE
生成空格字符串，长度为 n。命令格式 string space(bigint)参数说明 n：必填。BIGINT类型。长度不超过2 MB。返回值说明 返回STRING类型。返回规则如下：n 为空时，返回报错。n 值为NULL时，返回NULL。使用示例-返回10。select length(space...
Fn:Replace
调用内部函数Fn:Replace，用新字符串替换原字符串中的子字符串。函数声明 JSON {"Fn:Replace":[{"object_key1":"object_value1","object_key2":"object_value2"},"object_string"]} YAML 完整函数的语法。Fn:Replace:object_oldValue1:...
在DTS迁移或同步任务中配置ETL
所有字符串类型（如varchar、text、char等）的字段值替换 tail_replace_string_field(search,replace,all)search：待替换的字符串 replace：替换后的字符串 all:是否替换所有匹配的字符串，目前只支持取值为 true。说明 若您无需替换所有...
常规函数
字符串替换函数 舍入函数 舍入函数 字符串搜索函数 字符串搜索函数 字符串分割函数 字符串分割函数 字符串处理函数 字符串处理函数 时间窗口函数 时间窗口函数 元组数据函数 元组数据函数 类型转换函数 类型转换函数 处理ULID的函数 处理...
字符串替换
配置示例 通过字符串匹配方式进行替换 通过字符串匹配方式进行替换，将 content 字段值中的 Error:替换为空字符串。表单配置方式 原始日志如下："content":"2023-05-20 10:01:23 Error:Unable to connect to database."Logtail插件处理配置...
LTRIM
注意事项 从 str 的左端去除字符：如果未指定 trimChars，则默认去除空格字符。如果指定了 trimChars，则以 trimChars 中包含的字符作为一个集合，从 str 的左端去除尽可能长的所有字符都在集合 trimChars 中的子串。当前仅英文字符串支持 ...
RTRIM
命令格式 string rtrim(string[,])string trim(trailing[]from)参数说明 从 str 的右端去除字符：如果未指定 trimChars，则默认去除空格字符。如果指定了 trimChars，则以 trimChars 中包含的字符作为一个集合，从 str 的右端去除尽可能长...
TRIM
命令格式 string trim(string[,])string trim([BOTH][]from)参数说明 从 str 的左右两端去除字符：如果未指定 trimChars，则默认去除空格字符。如果指定了 trimChars，则以 trimChars 中包含的字符作为一个集合，从 str 的左右两端去除尽...
正则式函数
regexp_replace(x,regular expression,replace string)替换目标字符串中符合正则表达式的子串，返回被替换后的字符串。regexp_split函数 regexp_split(x,regular expression)使用正则表达式分割目标字符串，返回被分割后的子串集合。说明 ...
字符串函数
返回结果：+-+|val|+-+|abccc|+-+返回结果为 abccc，表示已将字符串 abcbc 中第3个字符至字符串末尾匹配 b 的子串替换为 c。REGEXP_SUBSTR函数 返回从字符串指定位置开始，匹配指定规则的子串。语法 REGEXP_SUBSTR('string',pat,[pos])参数...
如何书写正则表达式
在示例 2 中，\s 匹配空格字符，{0,3} 表示字词 stock 和 tip 之间可以出现 0-3 个空格。匹配新行的行首，允许 regex 匹配出现在行首的短语（该短语前无其他字符）。匹配行尾，允许 regex 匹配出现在行尾的短语（该短语后无其他字符）。在...
数据脱敏
您在使用Logtail采集日志时，可以使用processor_desensitize插件，将日志中的敏感数据替换为指定字符串或MD5值。本文介绍processor_desensitize插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON配置...
Fn:Sub
调用内部函数Fn:Sub，将字符串中的变量（key）的值替换为您指定的值。函数声明 JSON {"Fn:Sub":["String",{"Var1Name":"Var1Value","Var2Name":"Var2Value",.}]} YAML 完整函数名的语法。Fn:Sub:String-Var1Name:Var1Value Var2Name:Var2...
基本概念
字符串函数 字符串函数 用于处理字符串，包括字符串拼接、子串截取、字符串替换、字符串大小写转换等。常见的字符串函数有：SUBSTRING、CONCAT、REPLACE、UPPER、LOWER等。数学函数 数学函数 用于数字运算，常见的数学函数包括：ABS、CELL...
字符串函数
REGEXP_REPLACE 将字符串中指定位置的子字符串替换成新字符串后返回。SPLIT_PART 依照分隔符拆分字符串，返回指定闭区间的子串。SUBSTR 返回字符串从指定位置开始指定长度的子串。TOLOWER 返回英文字符串对应的小写字符串。TOUPPER 返回...
高级：账户字段表达式
Trim Trim(source)去除源值字符串前后的空白字符。ToLower ToUpper ToLower(source)ToUpper(source)字符串变为全大写或全小写。Substring Substring(source,fromIndex,endIndex)返回字符串的子字符串，即子字符串下标地址为[fromIndex,...
text
space 有效值 值 说明 nbsp 根据字体设置的空格大小 ensp 中文字符空格一半大小 emsp 中文字符空格大小 代码示例<view class = "page" ><view class="text-view"><text>{{text}}</text></view></view>Page({ data:{ text:`移动开发平台（Mobile...
可变长二进制函数
LTRIM：移除字符串左边的空白字符。MD5：计算参数MD5的hash值。ORD：如果字符串最左边的字符是多字节字符，则返回该字符的代码。REPEAT：返回重复指定次数的字符串。REVERSE：反转字符串中的字符。RIGHT：返回字符串最右边的`y`个字符。...
正则函数
regexp_matches|+-+|[["bar","beque"],["bazil","barf"]]|REGEXP_REPLACE regexp_replace(source,pattern,replacement[,position[,occurrence]])命令说明：将字符串source中匹配pattern的子字符串替换为replacement。如果指定position，则...
支持的函数
OVERLAY(string1 PLACING string2 FROM integer1[FOR integer2])返回一个字符串，该字符串从位置INT1用 STRING2替换STRING1的INT2（默认为 STRING2的长度）字符。SUBSTRING(string FROM integer1[FOR integer2])返回STRING从位置INT1开始，...
API返回参数支持哪些函数
CURRENT(<字段>)LOWER 字符串转小写 LOWER(<字段>)UPPER 字符串转大写 UPPER(<字段>)REPLACE 字符串替换 REPLACE(<字段>,<替换文本>,<替换对象>)SUBSTR 字符串截断 SUBSTR(<字段>,<起始位置>,<长度>)LPAD 字符串左补全 LPAD(<字段>,<长度>,...
SELECT语句
Y FORMAT(X,D)Y FROM_BASE64(str)Y HEX(str),HEX(N)Y INSERT(str,x,y,instr)将字符串str从第x位置开始，y个字符长的子串替换为字符串instr，返回结果。Y INSTR(str,substr)Y LCASE(str)将字符串str中所有字符变成小写，并返回结果。LOWER...
函数（Functions）
Fn:GetAtt:WebServer-InstanceId PublicIp:Value:Fn:GetAtt:WebServer-PublicIp 支持的函数 Fn:Base64Encode Fn:FindInMap Fn:GetAtt Fn:Join Fn:Select Ref Fn:Replace 内部函数Fn:Replace将字符串中指定子字符串用新字符串替换。...
使用OSS Foreign Table进行数据湖分析
TEXT格式：默认为未被引号引用的空白字符。说明 该参数仅适用于CSV和TEXT格式的文件。encoding 字符串 否 指定数据文件编码。默认情况下为客户端编码。说明 该参数仅适用于CSV和TEXT格式的文件。force_not_null 布尔型 否 是否声明字段的值...
电子表格支持函数说明
REPLACEB 根据特定字节数，将文本字符串的一部分替换为其他文本字符串。REPT 返回指定文本的多次重复。RIGHT 返回从指定字符串尾部提取的子串。RIGHTB 返回从指定字符串尾部提取的子串。SEARCH 返回字符串在文本中首次出现的位置。如果没有...
重写URL
如果您的源站资源的存放路径发生变化，但希望用户访问的URL路径保持不变，您可以在 全站加速 DCDN 节点上通过重写URL的方式，支持在用户请求需要回源时对URL中的路径和查询字符串（请求参数）进行改写，使用重写后的URL向源站请求资源。...
内置模板函数
replace(value,old,new)替换目标字符串。不支持 {{ replace("foo","oo","ly")}} 的结果为fly。wordcount(value)统计单词个数。支持 {{ wordcount("hello world")}} 的结果为2。truncate(value,n,end='')截断字符串。通过truncate(value,n)...
搭建Hadoop环境
Hadoop 3.3：Java 8和Java 11 Hadoop 3.0.x~3.2.x：Java 8 Hadoop 2.7.x~2.10.x：Java 7和Java 8 本文使用的版本为Hadoop 3.2.4和Java 8，如您使用其他版本，请参考Hadoop官网指南。更多信息，请参见 Hadoop Java Versions。步骤一：安装...
字符串函数
CHR：以字符串形式返回整数 N 对应的Unicode编码。CONCAT：字符串连接操作，其中任何一个参数为 null，则返回值为 null。LENGTH：返回字符串 str 的长度。LOWER/LCASE：将字符串 str 中的字母转换为小写。LPAD：将字符串 str 左边拼接 ...
字符串函数
本文介绍 AnalyticDB MySQL版 支持的字符串函数。ASCII：返回字符或者字符串最左边字符对应的ASCII值。BIN：返回整数的二进制字符串。BIT_LENGTH：以位为单位返回字符串的长度。CHAR：返回整数对应的ASCII码组成的字符串。CHAR_LENGTH或...
- 产品推荐
- 这些文档可能帮助您