功能特性
SQL注入 提供系统性的SQL注入库，以及基于正则表达式或语法抽象的SQL注入描述，发现数据库异常行为立即告警。黑白名单 通过准确而抽象的方式，对系统中的特定访问SQL语句进行描述，在这些SQL语句出现时立即告警。精细化报表 综合分析报表 ...
正则表达式函数
替换 regex_replace 根据正则表达式替换字符串中的指定字符。切分 regex_split 将一个字符串分割成字符串数组。regex_select 根据正则表达式提取符合条件的值。函数格式 regex_select(value,r"regular expression",mi=None,gi=None)参数...
数据脱敏
{"type":"processor_desensitize","detail":{"SourceKey":"password","Method":"const","Match":"full","ReplaceString":"*"} } 处理结果"password":"*"示例2 使用正则表达式指定目标字段值中的敏感内容，并替换为对应的MD5值，即设置 ...
REGEXP_REPLACE
系统会将pattern和replacement的字符串解析成正则表达式，正则表达式使用 Java Pattern 进行处理，因此pattern和replacement的字符串需遵从Java Regex语法。示例 测试数据 表 1.T1 str1(VARCHAR)pattern1(VARCHAR)replace1(VARCHAR)2014-03...
字符串替换
您在使用Logtail采集日志时，可以使用processor_string_replace插件，实现文本日志的全文替换、正则提取替换或去转义符。本文介绍processor_string_replace插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用...
DBMS_REDACT
如果此策略表达式的计算结果为TRUE，则会发生脱敏策略.regexp_pattern 允许使用正则表达式来脱敏数据。如果regexp_pattern与数据不匹配，则 返回NULL。regexp_replace_string 指定替换字符串值。regexp_position 指定搜索必须开始的字符...
添加识别特征
例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*。正则表达式：在输入框中输入正则表达式。例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*。识别阈值：只有内容匹配率超过识别阈值，该规则才会被认为是有效...
添加识别特征
例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*。正则表达式：在输入框中输入正则表达式。例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*。识别阈值：只有内容匹配率超过识别阈值，该规则才会被认为是有效...
UDF示例：使用正则表达式替换字符串
本文为您介绍如何分别通过Java UDF和Python UDF实现使用正则表达式替换字符串。命令说明 本示例将注册一个名称为 UDF_REPLACE_BY_REGEXP 的自定义函数，下面对命令格式和入参进行说明。命令格式：string UDF_REPLACE_BY_REGEXP(string,...
新建及管理数据分类
例如：您需要匹配所有名称中带有test，则正则表达式定义为.*test.*，可匹配存在test、Test、TEST等大小写兼容的名称。正则表达式：在输入框中输入正则表达式。例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*。识别阈值：...
新建及管理数据分类
例如：您需要匹配所有名称中带有test，则正则表达式定义为.*test.*，可匹配存在test、Test、TEST等大小写兼容的名称。正则表达式：在输入框中输入正则表达式。例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*。识别阈值：...
正则式函数
regexp_replace(x,regular expression,replace string)替换目标字符串中符合正则表达式的子串，返回被替换后的字符串。regexp_split函数 regexp_split(x,regular expression)使用正则表达式分割目标字符串，返回被分割后的子串集合。说明 ...
正则表达式
InfluxQL支持在以下场景中使用正则表达式：在 SELECT 子句中的field key和tag key。在 FROM 子句中的measurement。在 WHERE 子句中的tag value和字符串类型的field value。在 GROUP BY 子句中的tag key。目前，InfluxQL不支持在 WHERE 子句...
RDS安全
数据库名称：待监控的数据库名称（支持正则表达式）。默认值.*，表示监控阿里云账号下的所有数据库。外部配置 无 消除方法 检查出现慢SQL的RDS数据库是否存在异常。前提条件 确保已在日志审计服务中的 审计配置>云产品接入>全局配置 中打开...
SQL查询概述
Dataphin分析平台提供SQL查询功能，可在平台上创建SQL查询并编写SQL代码查询所需的数据，同时支持根据查询结果进行可视化统计与分析。应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持...
SQL查询概述
Dataphin分析平台提供SQL查询功能，可在平台上创建SQL查询并编写SQL代码查询所需的数据，同时支持根据查询结果进行可视化统计与分析。应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持...
场景：配置增量数据离线同步任务
在同步任务运行时，任务中配置的占位符参数都会被替换为调度参数表达式所表达的实际值，然后再执行数据同步。以同步MySQL数据为例：当不配置 数据过滤 时，默认同步全量数据至目标表中。当配置 数据过滤 时，将只同步满足过滤条件的数据至...
REGEXP_COUNT
更多正则表达式编写规范，请参见 正则表达式规范。pattern 为空串或其他类型时返回报错。start_position：可选。BIGINT类型常量，必须大于0。其他类型或值小于等于0时返回报错。不指定时默认为1，表示从 source 的第一个字符开始匹配。返回...
REGEXP_EXTRACT_ALL
在字符串中查找所有出现的正则表达式匹配模式的子字符串，并把找到的字符串以数组返回。命令格式 array<T>regexp_extract_all(string,string[,bigint])参数说明 source：必填。STRING类型。待分析的字符串。pattern：必填。STRING类型。待...
管理本地日志的数据接入任务
正则 本地日志数据的正则表达式。仅当 匹配模式 选择 完整正则模式 时，需要设置该参数。您可以手动输入正则表达式，也可以根据 示例日志 自动生成正则表达式。自动生成正则表达式的方法如下：在 示例日志 中输入日志示例。单击 确定输入。...
模式匹配
一些例子，使用#"定界返回串：substring('foobar' from '%"o_b#"%' for '#')oob substring('foobar' from '#"o_b#"%' for '#')NULL POSIX正则表达式 正则表达式匹配操作符表列出了所有可用于 POSIX 正则表达式模式匹配的操作符。...
表达式函数概览
regex_replace 根据正则表达式替换字符串中的指定字符。regex_split 将一个字符串分割成字符串数组。GROK函数 grok 根据正则表达式提取特定的值。特定结构化数据函数 json_select 根据JMES语法提取或计算JSON表达式中特定的值。json_parse ...
导入Amazon S3文件
跨行文本日志特有参数 参数 说明 正则匹配位置 设置正则表达式匹配的位置，具体说明如下：首行正则：使用正则表达式匹配一条日志的行首，未匹配部分为该条日志的一部分，直到达到最大行数。尾行正则：使用正则表达式匹配一条日志的行尾，未...
配置孪生规则
支持的运算符和函数，请参见 规则表达式。表达式中变量的字段名称必须使用 输入参数 中的 参数名称 字段。表达式中包含多个入参时，任何一个属性值变更，都会触发规则。执行规则时，其他入参的值，取对应节点属性的最新快照值。例如：定义...
管理动态脱敏白名单
选中 自定义 后，请输入正则表达式匹配数据表，例如：您需要匹配所有名称中带有test的数据表，则正则表达式定义为.*test.*。生效时段 自定义动态脱敏白名单的生效时段。生效状态 选择是否开启动态脱敏白名单。单击 确定，完成动态脱敏白...
管理动态脱敏白名单
选中 自定义 后，请输入正则表达式匹配数据表，例如：您需要匹配所有名称中带有test的数据表，则正则表达式定义为.*test.*。生效时段 自定义动态脱敏白名单的生效时段。生效状态 选择是否开启动态脱敏白名单。单击 确定，完成动态脱敏白...
字段操作函数
函数格式 e_drop_fields(key1,key2,.,regex=False)参数说明 参数 参数类型 是否必填 说明 key String 是 日志字段名，可以为正则表达式。当字段名完全满足条件时删除该字段，保留不满足条件的字段。关于正则表达式的更多信息，请参见 正则...
INSERT INTO
本文介绍如何用INSERT INTO 语句向 云数据库 ClickHouse 数据表中插入数据。基本语法 INSERT INTO 语句基本格式如下：INSERT INTO[db.]table[(c1,c2,c3)]VALUES(v11,v12,v13),(v21,v22,v23),.对于存在于表结构中但不存在于插入列表中的列，...
SQL限流
为应对突发的数据库请求流量、资源消耗过高的语句访问以及SQL访问模型的变化等问题，PolarDB-X 提供了节点级别的SQL限流功能来限制造成上述问题的SQL执行，从而保证实例的持续稳定运行。本文介绍如何使用SQL限流功能。创建限流规则 语法 ...
SQL Adapter
说明 如果使用正则替换，请谨慎配置正则规则，恶意的正则规则可能导致Adapter实例资源耗尽，目前Adapter暂不提供高可用保证。匹配文本 填写待匹配替换的文本或正则表达式。替换文本 填写替换的文本或正则表达式。规则生效范围 表示配置的...
数据质量入门
数据质量帮助您及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，阻断脏数据向下游蔓延。避免任务产出问题数据，影响正常使用和业务决策。本文示例配置表数据质量监控规则，保障产出的表数据...
REGEXP_SUBSTR
更多正则表达式编写规范，请参见 正则表达式规范。start_position：可选。其他BIGINT常量，必须大于0。不指定时默认为1，表示从 source 的第一个字符开始匹配。occurrence：可选。BIGINT常量，必须大于0。不指定时默认为1，表示返回第一次...
REGEXP_INSTR
更多正则表达式编写规范，请参见 正则表达式规范。pattern 为空串时返回报错。start_position：可选。BIGINT类型常量。搜索的开始位置。不指定时默认值为1。occurrence：可选。BIGINT类型常量。指定匹配次数，不指定时默认值为1，表示搜索...
函数总览
regex_replace 根据正则表达式替换字符串中的指定字符。regex_split 将一个字符串分割成字符串数组。GROK函数 grok 根据正则表达式提取特定的值。特定结构化数据函数 json_select 根据JMES语法提取或计算JSON表达式中特定的值。json_parse ...
条件表达式
本节描述在本数据库中可用的SQL兼容的条件表达式。重要 如果你的需求超过这些条件表达式的能力，你可能会希望用一种更富表现力的编程语言写一个服务器端函数。尽管 COALESCE、GREATEST 和 LEAST 在语法上类似于函数，但它们不是普通的函数...
正则函数
如果pattern中包含带括号的子正则表达式，那么结果数组中的元素为各个子正则表达式对应的子字符串，否则为单个匹配pattern的子字符串。输入值说明：source：待搜索的字符串，取值类型为VARCHAR。pattern：正则表达式。flag：标志一个或多个...
分区值格式说明
表示取20230530的数据${bizmonth} 表示运行日期的前一月（格式yyyymm）${202305}，表示取202304的数据 重要 调度参数赋值表达式中不支持空格，如使用$[yyyyMMdd HH-1/24]表达式时，如调度时间是 20230531 12:01:00，则表达式得到的值为...
创建并管理自定义规则模板
DataWorks数据质量支持通过统一管理自定义规则，形成自建的规则模板库，帮助您提升规则配置的效率。本文将为您介绍如何通过规则模板库页面和监控规则页面新建规则模板，以及如何操作规则模板。前提条件 您需要购买DataWorks企业版及以上...
SPL概述
本文介绍 日志服务 SPL语言的基本信息，包括工作原理、语法、指令表达式等。工作原理 日志服务SPL支持在实时消费、扫描查询和Logtail采集三个日志服务场景中使用，工作原理如下图：关于SPL在各个场景中的功能定义，请参见 SPL在不同场景的...
Babelfish简介
当您希望在单一的数据库实例中同时使用SQL Server和PostgreSQL能力，或计划将现有应用从SQL Server迁移到更具成本效益的PostgreSQL时，Babelfish for RDS PostgreSQL实现了对T-SQL语句和TDS协议的支持。本文从产品特性、架构、适用场景以及...
- 产品推荐
- 这些文档可能帮助您