管理本地日志的数据接入任务
正则 本地日志数据的正则表达式。仅当 匹配模式 选择 完整正则模式 时，需要设置该参数。您可以手动输入正则表达式，也可以根据 示例日志 自动生成正则表达式。自动生成正则表达式的方法如下：在 示例日志 中输入日志示例。单击 确定输入。...
管理动态脱敏白名单
选中 自定义 后，请输入正则表达式匹配数据表，例如：您需要匹配所有名称中带有test的数据表，则正则表达式定义为.*test.*。生效时段 自定义动态脱敏白名单的生效时段。生效状态 选择是否开启动态脱敏白名单。单击 确定，完成动态脱敏白...
管理动态脱敏白名单
选中 自定义 后，请输入正则表达式匹配数据表，例如：您需要匹配所有名称中带有test的数据表，则正则表达式定义为.*test.*。生效时段 自定义动态脱敏白名单的生效时段。生效状态 选择是否开启动态脱敏白名单。单击 确定，完成动态脱敏白...
UDF开发示例汇总
UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串（含有分隔符）Value UDF示例：引用文件资源 UDF示例：引用表资源 UDF示例：Python UDF使用第三...
通配符规则说明
背景信息 通配符规则使用类正则表达式的方式，目前数据传输支持的通配符规则包括"*"、?[]"和"!同时，数据传输支持 Schema 名称以通配符规则方式书写。例如，schema*.*。设置迁移对象规则和排除对象规则时，请注意区分大小写。如果...
基本概念
本文为您介绍资产质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中...分区表达式 定义资产质量规则作用的数据范围的表达式。
基本概念
本文为您介绍资产质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中...分区表达式 定义资产质量规则作用的数据范围的表达式。
正则表达式函数
本文介绍正则表达式函数的语法规则，包括参数解释、函数示例等。函数列表 类型 函数 说明 值提取函数 regex_select 根据正则表达式提取符合条件的值。regex_findall 根据正则表达式获得符合条件的所有值列表。匹配判断 regex_match 判断...
新建及管理数据分类
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
新建及管理数据分类
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
数据质量入门
数据质量帮助您及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，阻断脏数据向下游蔓延。避免任务产出问题数据，影响正常使用和业务决策。本文示例配置表数据质量监控规则，保障产出的表数据...
正则式函数
本文介绍正则式函数基本语法及示例。日志服务支持如下正则式函数。重要 在日志服务分析语句中，表示字符串的字符必须使用单引号（''）包裹，无符号包裹或被双引号（""）包裹的字符表示字段名或列名。例如：'status' 表示字符串status，...
事件检查函数
如果需要使用纯粹字符串匹配时（非正则表达式），可以使用函数 str_regex_escape 修饰正则表达式。full Bool 否 是否完全匹配，默认为 True 表示完全匹配。关于匹配模式请参见 正则表达式。返回结果 返回字段匹配的判断结果True或False。...
正则表达式
使用示例 示例1 正则表达式要匹配字符串 a+b，其中+是正则中的一个特殊字符，因此要用转义的方式表达。在正则表达式引擎中的表达方式是 a\\+b，由于还要解释一层转义，因此能够匹配该字符串的表达式是 a\\\+b。select 'a+b' rlike 'a\\\+b'...
RLIKE字符匹配
使用示例 示例1 正则表达式要匹配字符串 a+b，其中+是正则中的一个特殊字符，因此要用转义的方式表达。在正则表达式引擎中的表达方式是 a\\+b，由于还要解释一层转义，因此能够匹配该字符串的表达式是 a\\\+b。select 'a+b' rlike 'a\\\+b'...
动态数据脱敏
云原生数据仓库AnalyticDB PostgreSQL版 新增了动态数据脱敏（Dynamic Data Masking）功能，并提供多种脱敏函数，支持设置列级别的数据脱敏，且支持指定用户匹配脱敏策略。数据脱敏能够根据不同的用户，应用不同的脱敏函数将原始数据以脱敏...
脚本模式：高级SQL（Mybatis语法）示例
数据服务支持通过脚本模式来生成API，脚本模式可使用基础SQL或高级SQL语法编写查询逻辑。其中，高级SQL涵盖了Mybatis语法的常见标签类型（例如，if、choose、when、otherwise、trim、foreach、where），您可以借助标签语法来灵活实现空值...
滑动验证集成方式
阿里云验证码提供客户端滑动验证功能。在阿里云验证码控制台中根据场景添加配置后，您需要将系统生成的前端页面代码集成到您需要使用滑动验证功能的Web页面中。本文介绍了如何集成滑动验证的前端页面代码。前端接入代码示例 在需要使用滑动...
过滤日志
说明 日志字段的值完全匹配 采集日志 中的正则表达式，且不匹配 丢弃日志 中的正则表达式时，日志才会被采集，否则直接丢弃。参数 说明 采集日志 输入日志字段名和该字段值匹配的正则表达式。如果原始日志中的目标字段值符合对应的正则表达...
配置数据校验
本文介绍如何使用数据传输服务DTS（Data Transmission Service）配置数据校验任务，帮助您监控源库与目标库数据的差异。您可以在同步或迁移实例的 高级配置 阶段选择相应的 数据校验方式，或者单独配置数据校验任务，以便及时发现数据不...
ActivePDF
语法 表达式.ActivePDF 表达式：文档类型应用对象 示例 async function example(){ await instance.ready();const app=instance.Application;获取当前PDF文档 const ActivePDF=await app.ActivePDF;} 方法 ActivePDF.GetOperatorsInfo()...
添加识别特征
正则表达式：在输入框中输入正则表达式。例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*。识别阈值：只有内容匹配率超过识别阈值，该规则才会被认为是有效识别，进入该字段的识别结果中比较。按字段名称扫描：根据元数据中...
添加识别特征
正则表达式：在输入框中输入正则表达式。例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*。识别阈值：只有内容匹配率超过识别阈值，该规则才会被认为是有效识别，进入该字段的识别结果中比较。按字段名称扫描：根据元数据中...
新建及管理质量规则模板
字段格式校验：内容识别形式：可选择 识别表达式、正则表达式 两种方式，表达式用于匹配符合规则的数据。识别表达式：输入SQL表达式函数。例如${column1}>0，其中${column} 为内置参数。说明 识别表达式支持使用函数，但需要注意执行时的...
新建及管理质量规则模板
字段格式校验：内容识别形式：可选择 识别表达式、正则表达式 两种方式，表达式用于匹配符合规则的数据。识别表达式：输入SQL表达式函数。例如${column1}>0，其中${column} 为内置参数。说明 识别表达式支持使用函数，但需要注意执行时的...
Workbook
语法 表达式.ActiveWorkbook 表达式：文档类型应用对象 示例 async function example(){ await instance.ready();const app=instance.Application;获取活动工作簿 const activeWorkbook=await app.ActiveWorkbook;} 方法 ActiveWorkbook....
其他函数
函数 功能 BETWEEN AND表达式 筛选满足区间条件的数据。CASE WHEN表达式 根据表达式的计算结果，灵活地返回不同的值。CAST 将表达式的结果转换为目标数据类型。COALESCE 返回参数列表中第一个非NULL的值。DECODE 实现 if-then-else 分支...
分区表达式介绍
Dataphin数据质量分区表达式，用于控制质量规则按照数据产出日期匹配触发，系统内置了常用的分区表达式，也允许通过自定义方式进行个性化控制。本文为您介绍分区表达式格式说明、分区表达式计算逻辑、内置分区表达式类型以及常用业务示例...
字段操作函数
关于正则表达式的更多信息，请参见 正则表达式。至少需要配置一个日志字段。regex Boolean 否 如果设置为False，表示不使用正则表达式进行匹配。当不配置该参数时，系统默认取值为True。返回结果 返回删除后的日志。函数示例 如果 content ...
CASE 表达式
CASE 表达式返回一个值，该值在 CASE 表达式位于某一表达式内时被替换。CASE 表达式有两种格式：一种称为搜索 CASE，另一种使用选择器。选择器 CASE 表达式 选择器 CASE 表达式尝试将一个称为选择器的表达式与一个或多个 WHEN 子句中指定的...
正则表达式入门教程
正则表达式是一种强大的文本匹配工具，可以用于在文本中查找特定的模式。本文将提供简单且实用的正则表达式快速上手教程，帮助您快速掌握其基本用法。 重要 本文档可能包含第三方产品信息，该信息仅供参考。阿里云对第三方产品的性能、...
Tunnel SDK示例（Python）
Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据，TunnelSDK是PyODPS的一部分，本文为您介绍使用Python版TunnelSDK上传下载数据的简单示例。注意事项 下文为您介绍简单的上传、下载数据的Python SDK示例，...
分区表达式介绍
Dataphin数据质量分区表达式，用于控制质量规则按照数据产出日期匹配触发，系统内置了常用的分区表达式，也允许通过自定义方式进行个性化控制。本文为您介绍分区表达式格式说明、分区表达式计算逻辑、内置分区表达式类型以及常用业务示例...
正则表达式
不匹配 示例 SELECT 子句中使用正则表达式指定field key和tag key"class="reference-link">在 SELECT 子句中使用正则表达式指定field key和tag key>SELECT/l/FROM"h2o_feet"LIMIT 1 name:h2o_feet time level description location water_...
Shape
语法 表达式.ActiveDocument.InlineShapes 表达式：文档类型应用对象 示例 async function example(){ await instance.ready();const app=instance.Application;获取文档中的所有嵌入式图形对象 const info=await app.ActiveDocument....
Cron表达式
AnalyticDB PostgreSQL版 设置周期执行的计划时，需要使用Cron表达式，本文为您介绍什么是Cron表达式以及相关示例。Cron表达式是一个具有时间含义的字符串，字符串以5~6个空格隔开，分为6~7个域，格式为 秒 分钟 小时 日期 月份 星期 年。...
Sub
语法 表达式.Sub.ClipboardCopy=Function 表达式：文档类型应用对象 返回值 属性 数据类型 描述 copyId String 剪切板ID。isRestoreFocus Boolean 是否复原焦点。text String 复制的内容。示例 async function example(){ await instance....
DBMS_REDACT
regexp_pattern 指定用于脱敏数据的正则表达式模式。如果regexp_pattern不匹配，则返回NULL。regexp_replace_string 指定替换字符串值。regexp_position 指定搜索必须开始的字符位置。默认情况下，函数参数是RE_BEGINNING。regexp_...
配置信任规则
添加一个条件后，您可以执行 正则校验，验证指定的内容是否与设置的正则表达式相匹配。操作步骤如下：单击条件下的 正则校验。在 正则校验 对话框，确认 正则表达式，并输入 校验的内容。单击 校验。编写 条件运算逻辑表达式。通过与（&）...
附录：ODS层示例数据
本文为您提供ODS层各表格的示例数据，仅供您测试参考。s_auction.csv s_biz_order_delta.csv s_logistics_order_delta.csv s_pay_order_delta.csv s_sale.csv s_users_extra.csv
- 产品推荐
- 这些文档可能帮助您