创建并管理自定义规则模板
DataWorks数据质量支持通过统一管理自定义规则，形成自建的规则模板库，帮助您提升规则配置的效率。本文将为您介绍如何通过规则模板库页面和监控规则页面新建规则模板，以及如何操作规则模板。前提条件 您需要购买DataWorks企业版及以上...
管理动态脱敏白名单
选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称中带有test的业务板块，则正则表达式定义为.*test.*。表项目：选择数据表的项目。选中 全部，即选中所有的项目。选中 枚举 后，需配置项目，支持多选。选中 自定义...
管理动态脱敏白名单
选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称中带有test的业务板块，则正则表达式定义为.*test.*。表项目：选择数据表的项目。选中 全部，即选中所有的项目。选中 枚举 后，需配置项目，支持多选。选中 自定义...
自定义Cachekey
支持PCRE正则表达式。目标URI：以正斜线（/）开头的URI，不含http://头及域名。操作结果是使用改写后的目标URI来拼接Cachekey。参数操作 操作的对象是用户发起的原始请求URL中携带的参数，可以对参数进行新增、删除、修改、保留操作，操作...
自定义Cachekey
支持PCRE正则表达式。目标URI：以正斜线（/）开头的URI，不含http://头及域名。操作结果是使用改写后的目标URI来拼接Cachekey。请求参数 操作的对象是用户发起的原始请求URL中携带的参数，可以对参数进行新增、删除、修改、保留操作，操作...
自定义参数取值差异对比
取N小时前、N分钟前等时间数据时，建议使用$[.]自定义表达式。例如：$[yyyymmdd-1-1/24]表示取 前一天的 定时时间前一个小时对应的时间数据。说明$[…]参数不支持${yyyy-mm-dd-1/24} 等用法，建议您使用$[yyyy-mm-dd-1-1/24]。{…}和$[…]...
创建数据访问代理数据表
自定义：如果上述路由操作无法满足需求，用户也可以直接定义数据路由表达式，数据访问代理会根据指定的路由字段以及自定义表达式来进行路由。自定义分表规则支持 Groovy 表达式，更多详情参见 自定义分表规则。现在创建物理表：选中时点击 ...
自定义函数
本文为您介绍自定义函数组件。功能说明 自定义函数组件。计算逻辑原理 计算公式y=f(x)使用流程说明 使用组件参数’u[1]’,’u[2]’…表示自变量，如：100*sin(u[1])+exp(u[2]...输出参数 参数名 参数描述 Expression_out 自定义表达式函数输出
资源标签匹配指定正则表达式
规则详情 参数 说明 规则名称 资源标签匹配指定正则表达式 规则标识 matched-tag 标签 Tag 自动修正 支持 ACS-TAG-TagResources 规则触发机制 配置变更 规则支持的资源类型 ECS专有宿主机DDH ECS云盘 ECS实例 ECS实例启动模板 ECS弹性网卡 ...
自定义分表规则
自定义分表规则支持 Groovy 表达式。假设数据库名为 dbptest，数据表名为 user，分片数设置为 10 个，分表数为 100 个，自定义分表规则示例如下：示例一 路由字段为 user_id（整型）=123456 Integer.valueOf(String.valueOf(#user_id#)....
自定义粗排打分
您可以使用召回表中的任意数值字段定义打分表达式完成对召回结果的打分，需要注意的是用户需要确保打分表达式可以正确执行，否则会导致自定义打分异常而引起查询错误。另外对于向量召回引擎的自定义打分逻辑，我们强烈建议您使用match_...
创建变更规则
您可以选择 表达式配置、自定义编码：表达式配置：您可以选择自定义添加或引用系统规则，您可以单击 规则数配置指南 查看自定义配置的规则。自定义编码：您可以单击 说明文档，查看自定义编码的规则。选择变更规则的 校验逻辑。配置完成后...
创建变更规则
您可以选择 表达式配置、自定义编码：表达式配置：您可以选择自定义添加或引用系统规则，您可以单击 规则数配置指南 查看自定义配置的规则。自定义编码：您可以单击 说明文档，查看自定义编码的规则。选择变更规则的 校验逻辑。配置完成后...
JSON_VALUE
使用JSON_VALUE函数，从JSON字符串中提取指定路径的表达式。使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持JSON_VALUE函数。语法 VARCHAR JSON_VALUE(VARCHAR content,VARCHAR path)入参 参数 数据类型 说明 content VARCHAR 需要解析的...
添加识别特征
识别特征用于统一管理内置识别表达式，如手机号、身份证号等，本文为您介绍系统内置特征和自定义识别特征。权限说明 安全管理员支持新建及管理识别特征。自定义识别特征 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 ...
新建及管理识别特征
识别特征基于字段的数据内容、元数据属性，结合正则表达式、包含、不包含等运算条件对数据特征进行表达，从而智能推荐相关的数据分类分级或数据标准。Dataphin内置了多种识别特征表达式，如手机号、身份证号等。此外，您也可以自定义识别...
配置HTTP响应头
替换为 abc 正则表达式替换需要替换的参数值。匹配 匹配所有 匹配所有：所有匹配上的值都会被替换。例如 x-code:key1,key2,key3，正则匹配值key替换为abc，替换后的结果为 x-code:abc1,abc2,abc3。仅匹配第一个：只有第一个匹配上的值会被...
配置规则：按表（单表）
自定义模板规则：若系统内置规则模板无法满足您对分区表达式中数据质量的监控需求，则可使用 自定义规则模板。您也可以将常用的自定义规则固化为规则模板，便于后续快速复用。测试及订阅质量监控。使用限制 当前仅支持为MaxCompute、E-...
配置规则：按表（单表）
若内置表达式无法满足您的需要，则可根据需要输入自定义表达式。更多时间业务日期分区表达式，详情请参见 调度参数支持的格式。内置的业务日期格式分区表达式如下表。说明 数据质量规则中，分区表达式不支持使用大括号相关格式。例如，${...
配置HTTP请求头
替换为 abc 正则表达式替换需要替换的参数值。匹配 匹配所有 匹配所有：所有匹配上的值都会被替换。例如 x-code:key1,key2,key3，正则匹配值key替换为abc，替换后的结果为 x-code:abc1,abc2,abc3。仅匹配第一个：只有第一个匹配上的值会被...
配置规则：按模板（批量）
页面您可以进行如下操作：校验规则配置的合理性：试跑 规则创建完成后，您可以选择单个或多个规则进行试跑，在弹出来的 试跑 对话框中选择调度时间（模拟给定校验被触发的时间），系统会根据此时间以及设定的分区表达式，计算要验证的表的...
Prometheus告警规则模板
自定义PromQL 自定义PromQL语句 使用PromQL语句设置告警规则表达式。max(container_fs_usage_bytes{pod!namespace!arms-prom",namespace!monitoring"})by(pod_name,namespace,device)/max(container_fs_limit_bytes{pod!})by(pod_...
配置回源HTTP请求头
替换为 abc 正则表达式替换需要替换的参数值。匹配 匹配所有 匹配所有：所有匹配上的值都会被替换。例如 x-code:key1,key2,key3，正则匹配值key替换为abc，替换后的结果为 x-code:abc1,abc2,abc3。仅匹配第一个：只有第一个匹配上的值会被...
正则表达式
本文介绍正则表达式的匹配方式以及特殊字符的转义处理。完全匹配 正则表达式的值与字符串完全一致，则是完全匹配。例如 1234 与 \d+完全匹配。有些函数支持部分匹配，您可以在开头与结尾添加^与$将部分匹配的场景变成完全匹配。例如正则...
新建及管理识别特征
识别特征基于字段的数据内容、元数据属性，结合正则表达式、包含、不包含等运算条件对数据特征进行表达，从而智能推荐相关的数据分类分级或数据标准。Dataphin内置了多种识别特征表达式，如手机号、身份证号等。此外，您也可以自定义识别...
请求分组管理
正则表达式：指标准正则表达式，表示该分组规则对符合该正则表达式的请求有效。例如以下正则表达式：^www*：表示所有以www开头的字符串。[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(\.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+\.?符合域名格式得到匹配，例如...
正则表达式检查
正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。常用字符：元字符 描述[]字符范围。匹配指定范围内的任意...
Prometheus告警规则
Pod磁盘使用率告警 自定义PromQL语句 使用PromQL语句设置告警规则表达式。命名空间：{{$labels.namespace}}/Pod:{{$labels.pod_name}}/磁盘设备：{{$labels.device}} 使用率超过90%，当前值{{ printf"%.2f"$value }}%max(container_fs_...
消息过滤
SQL属性过滤 SQL属性过滤是在消息发送时设置消息的自定义属性，消费者订阅时使用SQL语法设置过滤表达式，根据自定义属性过滤消息，云消息队列 RocketMQ 版 根据表达式的逻辑进行计算，将符合条件的消息投递到消费端。说明 Tag属于一种特殊...
日志主题
提取文件路径中的单个值 您可以在创建Logtail配置时将 Topic生成方式 设置为 文件路径正则，并且输入文件路径的正则表达式，并使用捕获组捕获待提取的内容（此处的正则表达式需要完整匹配文件路径，捕获组有且仅有一个）。Logtail上报数据...
即席分析表格中的操作
自定义计算 除了上面提供的几种快捷计算，您还可以通过自定义计算来写表达式。重要 自定义计算中可引用的度量必须是已经拖入到表格中的度量。展示格式 拖拽生成表格后，如果遇到需要调整展示格式的度量，可以直接右键度量调整展示格式。...
高级配置
规则表达式 如果在设置规则表达式时开启 高级配置 开关，您可以使用 qlExpress 或 Groovy 自定义较为复杂的表达式。若选择 qlExpress，示例如下：引用数据源或文件时，需要使用数据节点名称。多个规则用英文逗号[,]隔开。获取数据节点上的...
功能导航条
自定义计算 除了上面提供的几种快捷计算，您还可以通过自定义计算来写表达式。重要 自定义计算中可引用的度量必须是已经拖入到表格中的度量。数据/模型切换 单击 数据/模型切换，会根据当前表格的数据内容切换到模型展示。当表格构建比较...
Quick BI中如何自定义水印内容
概述 本文为您介绍Quick BI中如何自定义水印的内容。详细信息 1....2.自定义水印的内容可以是文字和图片两种形式，文字可以选择账号，昵称，ip和当前时间等快捷选项，也可以在字段表达式中自定义想要的内容。适用于 Quick BI
Android客户端接入
修改授权页面主题，开发者可以通过 此方法修改授权页面主题，需在 getLoginToken接口之前调用*@param authUIConfig 登录授权页UI自定义配置*/AuthNumber public void setAuthUIConfig(AuthUIConfig authUIConfig)使用示例 mAuthHelper....
导入Amazon S3文件
跨行文本日志特有参数 参数 说明 正则匹配位置 设置正则表达式匹配的位置，具体说明如下：首行正则：使用正则表达式匹配一条日志的行首，未匹配部分为该条日志的一部分，直到达到最大行数。尾行正则：使用正则表达式匹配一条日志的行尾，未...
水印设置
Quick BI推出自定义水印设置，组织管理员可以设置私密等自定义水印、也可以使用自定义公式获取IP地址、当前账号、昵称等信息，帮助您有效防止数据泄露。本文为您介绍如何定义设置水印内容并展示水印的效果。应用场景 随着企业数字化的推广...
配置信任规则
添加一个条件后，您可以执行 正则校验，验证指定的内容是否与设置的正则表达式相匹配。操作步骤如下：单击条件下的 正则校验。在 正则校验 对话框，确认 正则表达式，并输入 校验的内容。单击 校验。编写 条件运算逻辑表达式。通过与（&）...
数据质量入门
自定义规则：如果模板规则不能满足您对分区表达式中数据质量的监控需求，您可通过创建自定义规则来满足个性化监控需求，详情请参见 配置规则：按表（单表）。单击 批量添加，完成规则的创建。创建的规则默认为强规则，您可根据需要修改规则...
配置过滤规则
添加一个条件后，您可以执行 正则校验，验证指定的内容是否与设置的正则表达式相匹配。操作步骤如下：单击条件下的 正则校验。在 正则校验 对话框，确认 正则表达式，并输入 校验的内容。单击 校验。编写 条件运算逻辑表达式。通过与（&）...
- 产品推荐
- 这些文档可能帮助您