动态数据脱敏
云原生数据仓库AnalyticDB PostgreSQL版 新增了动态数据脱敏（Dynamic Data Masking）功能，并提供多种脱敏函数，支持设置列级别的数据脱敏，且支持指定用户匹配脱敏策略。数据脱敏能够根据不同的用户，应用不同的脱敏函数将原始数据以脱敏...
RLIKE字符匹配
RLIKE是MaxCompute SQL提供的一种...示例3 如果字符串中有制表符TAB，系统在读入 \t 这两个字符时，已经将其存为一个字符，因此在正则表达式的模式中它也是一个普通的字符。select 'a\tb','a\tb' rlike 'a\tb';c0|_c1|+-+-+|a b|true|+-+-+
SQL表达式
本文主要介绍如何编写数据流转规则的SQL表达式。SQL表达式 重要 若物模型标识符以数字开头，不支持使用SQL表达式访问该物模型，即旧版云产品流转功能不支持流转标识符以数字开头的物模型数据。您可使用新版云产品流转功能，通过编辑脚本...
相关的云服务
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
REGEXP_COUNT
REGEXP_COUNT用于为正则表达式搜索字符串，且返回正则表达式发生的时间信息。语法 INTEGER REGEXP_COUNT(srcstr TEXT,pattern TEXT,position DEFAULT 1 modifier DEFAULT NULL)参数 参数名称 描述 srcstr 指定要搜索的字符串 pattern 指定...
正则表达式检查
使用示例：假设要检测客服在收到客户表扬后有没有进行礼貌性回复，可设置命中正则表达式为：（您|你）客气了|不用谢|不.{0,1}客气|应该{0,2}的|我的职责|我的荣幸|（高兴|荣幸）.{0,5}（服务|帮）|我该做的|不用，具体应用可参考下图：正则...
字段操作函数
关于正则表达式的更多信息，请参见 正则表达式。至少需要配置一个日志字段。regex Boolean 否 如果设置为False，表示不使用正则表达式进行匹配。当不配置该参数时，系统默认取值为True。返回结果 返回删除后的日志。函数示例 如果 content ...
新建及管理识别规则
例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*，同时进行扫描结果的大小写兼容处理。正则表达式：在输入框中输入正则表达式。例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*。说明 扫描范围的规则不超过5...
新建及管理识别规则
例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*，同时进行扫描结果的大小写兼容处理。正则表达式：在输入框中输入正则表达式。例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*。说明 扫描范围的规则不超过5...
数据脱敏
正则表达式 设置数据脱敏规则的正则表达式。过滤范围 设置需脱敏数据的 开始位置 和 截取长度。修改脱敏规则 单击待修改数据脱敏规则 操作 列的 编辑。在 编辑数据脱敏 面板，修改对应配置项，单击 保存。启用或禁用脱敏规则 在数据脱敏...
配置域名和路径的转发规则
注意事项 转发条件中正则表达式中包含的半角圆括号()需要与转发动作中重写或重定向路径中$变量的个数保持一致。转发动作中重写或重定向的路径中需要包含${1}、${2}、${3} 中的一个或多个，且这三个变量不支持使用其他字符代替。替换原理 ...
日志主题
说明 文件路径的正则表达式中，需要对正斜线（/）进行转义。例如不同用户将日志记录在不同目录下，但是日志文件名称相同，目录路径如下所示。logs|-/userA/serviceA|-service.log|-/userB/serviceA|-service.log|-/userC/serviceA|-service...
创建索引或约束
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，CREATE TABLE DDL 创建索引或约束支持的转换范围。索引或约束定义 create_definition:{ ...OceanBase 数据库 MySQL 租户不支持 FOREIGN KEY 约束中的某些函数/表达式。
配置域名和路径的转发策略
注意事项 转发条件中正则表达式中包含的半角圆括号()需要与转发动作中重写或重定向路径中$变量的个数保持一致。转发动作中重写或重定向的路径中需要包含${1}、${2}、${3} 中的一个或多个，且这三个变量不支持使用其他字符代替。替换原理 ...
CAST函数
输入值类型 DECIMAL(m,d)、FLOAT、INT/INTEGER、SMALLINT、TINYINT BIGINT DOUBLE VARCHAR JSON 转换规则 表达式 expr 的数值超过目标数据类型的数值范围时，类型转换会返回 null。例如，将BIGINT类型的数据 99999999 转换成SMALLINT类型，...
创建列
本文为您介绍迁移 MySQL 数据库的...OceanBase 数据库 MySQL 租户不支持在生成列中指定某些函数/表达式。OceanBase 数据库 MySQL 租户不支持某些字段类型被指定 UNIQUE KEY/PRIMARY KEY/KEY。OceanBase 数据库 MySQL 租户不支持某些 COLLATE。
REGEXP_EXTRACT
更多正则表达式编写规范，请参见 正则表达式规范。groupid：可选。BIGINT类型常量，必须大于等于0。说明 数据以UTF-8格式保存。对于中文字符可以用对应的16进制编码表示，中文字符编码的范围是[\\x{4e00},\\x{9fa5}]。返回值说明 返回...
GROUP BY
GROUP BY expression[,.]GROUP BY中列或表达式列表必须匹配查询列表中的非聚合表达式的列。例如，考虑以下简单查询中，查询列表包含两个聚合表达式。第一个聚合表达式使用SUM函数，第二个聚合表达式使用COUNT函数。必须将其余两个列...
UDF示例：使用正则表达式替换字符串
本文为您介绍如何分别通过Java UDF和Python UDF实现使用正则表达式替换字符串。命令说明 本示例将注册一个名称为 UDF_REPLACE_BY_REGEXP 的自定义函数，下面对命令格式和入参进行说明。命令格式：string UDF_REPLACE_BY_REGEXP(string,...
配置数据质量监控
1、配置分区表达式 此步骤中，找到目标表ads_log_info_1d，并为其配置所需分区表达式$[yyyymmdd-1]，即ads_log_info_1d表每次监控规则执行时，监控其业务时间对应分区的数据是否符合数据质量校验规则，并通过关联调度节点的方式，触发该表...
配置数据质量监控
1、配置分区表达式 此步骤中，找到目标表ads_user_info_1d，并为其配置所需分区表达式 dt=$[yyyymmdd-1]，即ads_user_info_1d表每次监控规则执行时，监控其业务时间对应分区的数据是否符合数据质量校验规则，并通过关联调度节点的方式，...
正则表达式入门教程
日志样例：[2021-09-23 10:23:45][INFO][user login][user login success]正则表达式：^\[\d{4}\-\d{2}\-\d{2} \d{2}:\d{2}:\d{2}\]\[(DEBUG|INFO|WARN|ERROR)\]\[.+\]\[.+\]$\[、\]表示匹配[]字符，因为[]在正则语法中有特殊含义，因此...
正则表达式配置
正则表达式配置详细说明：正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。常用字符：元字符 描述[]字符范围...
创建表 CREATE TABLE 的不兼容点
在生成列的基础上再定义生成列 通过 CREATE TABLE DDL 定义生成列时，表达式中使用了其它生成列。MySQL 数据库：支持。OceanBase 数据库 MySQL 租户：不支持。示例如下：CREATE TABLE group_by_t1(a INT GENERATED ALWAYS AS(1)VIRTUAL,b ...
消息队列指标
主要操作如下：搜索设置 正则过滤：输入正则表达式，可以将图表里的 key，按照正则表达式进行过滤。例如：曲线名或表格的列值里有 datasource_1、datasource_2，则搜索 datasource 即可过滤出所有含 datasource 的 key。应用场景包括：接口...
配置孪生规则
支持的运算符和函数，请参见 规则表达式。表达式中变量的字段名称必须使用 输入参数 中的 参数名称 字段。表达式中包含多个入参时，任何一个属性值变更，都会触发规则。执行规则时，其他入参的值，取对应节点属性的最新快照值。例如：定义...
导入Amazon S3文件
提取时间正则 当选择 数据格式 为 单行文本日志 或 跨行文本日志，您可以使用正则表达式提取日志中的时间。例如日志样例为 127.0.0.1-[10/Sep/2018:12:36:49 0800]"GET/index.html HTTP/1.1" 时，则您可以设置 提取时间正则 为[0-9]{0,2}\/...
系统单机指标
主要操作如下：搜索设置 正则过滤：输入正则表达式，可以将图表里的 key，按照正则表达式进行过滤。例如：曲线名或表格的列值里有 datasource_1、datasource_2，则搜索 datasource 即可过滤出所有含 datasource 的 key。应用场景包括：接口...
一键同步MaxCompute表结构
如果同步外部表时，存在外部表不支持的数据类型，则系统会报错 请在正则表达式中排除当前表再重新导入。在新建节点的编辑页面，单击 图标，保存配置信息。在新建节点的编辑页面，单击 图标，批量创建外部表结构。在 PG管理 页面，查看批量...
分区表达式介绍
Dataphin数据质量分区表达式，用于控制质量规则按照数据产出日期匹配触发，系统内置了常用的分区表达式，也允许通过自定义方式进行个性化控制。本文为您介绍分区表达式格式说明、分区表达式计算逻辑、内置分区表达式类型以及常用业务示例...
分区表达式介绍
Dataphin数据质量分区表达式，用于控制质量规则按照数据产出日期匹配触发，系统内置了常用的分区表达式，也允许通过自定义方式进行个性化控制。本文为您介绍分区表达式格式说明、分区表达式计算逻辑、内置分区表达式类型以及常用业务示例...
CreateQualityEntity
调用CreateQualityEntity创建数据质量的分区表达式。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
Tunnel命令常见问题
使用Tunnel Upload命令上传数据时，如果数据使用空格作为列分隔符，或需要对数据做正则表达式过滤时，如何解决？Tunnel Upload完成后，存在脏数据，如何解决？Tunnel Download Tunnel Download导出格式有哪些？在同一地域内使用Tunnel ...
配置数据计算和数据过滤
由于上报的JSON数据格式，可以是数组或者嵌套的JSON，因此，表达式中支持使用JSONPath获取其中的属性值。例如：{a:{key1:v1,key2:v2}} 可通过 a.key2 获取到值 v2。有关JSONPath的更多信息，请参见 LanguageManual UDF。表达式中使用变量时...
管理本地日志的数据接入任务
正则 本地日志数据的正则表达式。仅当 匹配模式 选择 完整正则模式 时，需要设置该参数。您可以手动输入正则表达式，也可以根据 示例日志 自动生成正则表达式。自动生成正则表达式的方法如下：在 示例日志 中输入日志示例。单击 确定输入。...
DeleteQualityFollower
您可以通过订阅管理，为分区表达式添加订阅用户，添加后，当该分区表达式的监控规则被触发，则相应用户会收到消息通知，方便您及时发现并处理问题。详情请参见 配置监控规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算...
RDS安全
数据库名称：待监控的数据库名称（支持正则表达式）。默认值.*，表示监控阿里云账号下的所有数据库。外部配置 无 消除方法 检查出现慢SQL的RDS数据库是否存在异常。前提条件 确保已在日志审计服务中的 审计配置>云产品接入>全局配置 中打开...
REGEXP_COUNT
计算字符串 abababc 中从第三个字符开始，正则表达式[[:alpha:]]{2}（任意连续两个字母）出现的次数：返回2。SELECT regexp_count('abababc','[[:alpha:]]{2}',3);示例2：任一输入参数为NULL。命令示例如下。返回NULL。SELECT regexp_count...
数据质量保障原则
不同行业有不同的评估数据质量的标准。对于MaxCompute，数据质量可以从完整性、准确性、一致性和及时性共四个角度进行评估。完整性 完整性是指数据的记录和信息是否完整，是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段...
敏感数据掩码
匹配正则 为敏感数据添加掩码时，需要匹配的正则表达式。掩码结果 匹配添加掩码的规则后，显示的添加掩码后的敏感数据。描述 敏感数据掩码规则的描述信息。测试内容 将敏感数据名称输入 测试内容 文本框中，单击 测试，可以在测试结果框中...
- 产品推荐
- 这些文档可能帮助您