配置ClickHouse输出组件
同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源及...
有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段长度的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有。主键（PRIMARY KEY）约束下字段长度的修改 ...
管理敏感数据
说明 开通敏感数据管理功能后，即可查看当前实例中的数据库相关信息和数据库中敏感字段的扫描结果。根据扫描出来的信息，您可以单击 前往DMS使用敏感数据保护 前往DMS数据管理服务控制台对敏感数据执行管控操作。更多信息，请参见 管理敏感...
有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有、all 表示全部类型。主键（PRIMAEY KEY）约束下...
批量创建质量规则
合格数据比例：将当前规则最近一次执行成功的校验记录中的正常数据的比例（即正常率）作为分数，如数据格式有效性是80%，那么质量分就是80分。不同的规则模板支持的计分方式不同，仅支持 质量校验状态 计分方式说明如下：唯一性规则大类的...
批量创建质量规则
合格数据比例：将当前规则最近一次执行成功的校验记录中的正常数据的比例（即正常率）作为分数，如数据格式有效性是80%，那么质量分就是80分。不同的规则模板支持的计分方式不同，仅支持 质量校验状态 计分方式说明如下：唯一性规则大类的...
设置逻辑表质量规则
通过设置逻辑表质量规则并运行质量检测计划后，您可以查看逻辑表质量检查结果，方便用户掌握当前逻辑表的质量状况，您可以通过可视化方式与自定义SQL方式制定表级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...
设置逻辑表质量规则
通过设置逻辑表质量规则并运行质量检测计划后，您可以查看逻辑表质量检查结果，方便用户掌握当前逻辑表的质量状况，您可以通过可视化方式与自定义SQL方式制定表级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...
新建及管理质量规则模板
有效性 当 模板类型 选择为 有效性 大类时，对应的参数如下所示。数据标准码表参照对比（需开通数据标准模块）：码表：选择在数据标准下已发布状态的码表，如需创建码表，请参见 新建和管理标准代码（码表）。码表参照：根据此处选择的参照...
ALTER DATABASE
ALTER DATABASE 更改一个数据库的属性。简介 ALTER DATABASE 更改一个数据库的属性。第一种形式更改某些针对每个数据库的设置。只有数据库拥有者或者超级用户可以更改这些设置。第二种形式更改数据库的名称。只有数据库拥有者或者超级用户...
代码评审报告
代码评审要求 用例小类 测试要点 说明 是否已检查 数据一致性测试 主键唯一性 产出表必须有物理主键或逻辑主键，且在数据上主键成立。是 主键和外键逻辑关系 检查设计文档里关于主外键的设计是否在开发阶段得以实现，且在数据上成立，例如...
配置规则：按表（单表）
若规则是 SQL任务表行数，7天平均值波动检测，则基准值是前7天的表行数据的平均值。您可设置 橙色阈值 和 红色阈值，对不同严重程度的问题进行监控。场景一：校验值小于或等于橙色阈值，则返回 正常。场景二：校验值大于橙色阈值，小于或...
新建及管理质量规则模板
质量规则模板常用于抽象质量规则配置中逻辑一致或相似的逻辑，可以提升后续配置质量监控规则的效率。Dataphin内置支持20+质量规则模板，并支持通过自定义SQL的方式灵活拓展，以满足企业的质量监控诉求。本文为您介绍如何新建质量规则模板。...
导入数据字典
为了创建完整的字段标准，需要先完善数据字典的管理，创建好数据字典后，可以用来规范数据标准字段的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量。通过导入数据字典可以实现批量创建数据字典。本文介绍...
空间分析
数据库自治服务DAS为RDS PostgreSQL提供空间分析功能，可以直观地查看数据库实例的空间使用概况、空间剩余可用天数，以及数据库中某个表的空间使用情况、空间异常诊断等，能够帮助您及时发现数据库中的空间异常，避免影响数据库稳定性。...
导入数据字典
为了创建完整的字段标准，需要先完善数据字典的管理，创建好数据字典后，可以用来规范数据标准字段的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量。通过导入数据字典可以实现批量创建数据字典。本文介绍...
数据集成侧同步任务能力说明
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
新建表
关联数据库（MySQL 模式下）使用 外键约束 时需指定关联表（父表）所在的数据库。关联表 使用 外键约束 时需指定关联表（父表）。关联字段 使用 外键约束 时需指定关联字段（父表）。删除 指定删除关联表（父表）中的数据时，当前表（子表...
备份恢复性能说明
测试环境 配置项 配置内容 数据库类型 RDS MySQL（通用型）数据库内存 2,400M 数据库CPU 8核 数据库IOPS 1,200 测试数据 测试数据 说明 数据示例 数据库大小 测试数据库的总大小，单位为GB。102 GB 总记录数 测试数据库中所有表的总记录...
DMS分类分级扫描原理介绍
DMS分类分级扫描能够对数据库中的敏感数据进行检测，并自动为符合识别规则的字段打上相应的分类分级标签，还可以保护高敏感等级的字段，并将敏感字段直观地展示在识别结果中。本文介绍DMS敏感数据保护分类分级扫描功能的原理。原理介绍 DMS...
功能更新动态（2023年）
集成任务通道配置优化，减少集成任务因各类异常导致的无效等待时长：数据库重试连接次数默认值由7次改为1次，减少因数据库连接问题导致过久的重试及等待时长。新增SQL执行超时时长，默认为30分钟，准备语句或结束语句执行时间超过该配置时...
关联数据
如果自定义规则需要对固定的数据库对象生效，您可以通过新增对象组，直接在自定义规则中使用新增对象组。以下步骤介绍如何新增对象组。登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 规则配置>关联数据。...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
添加及管理识别结果
生效结果：为您展示当前字段生效的数据分类及对应的数据分级、识别方式、优先级、实际匹配度、分类修改时间和更新时间信息。您可对识别结果执行 指定数据分类（未配置数据分类支持）、编辑识别结果（已配置数据分类支持）操作。数据分级：...
添加及管理识别结果
生效结果：为您展示当前字段生效的数据分类及对应的数据分级、识别方式、优先级、实际匹配度、分类修改时间和更新时间信息。您可对识别结果执行 指定数据分类（未配置数据分类支持）、编辑识别结果（已配置数据分类支持）操作。数据分级：...
物理化逻辑表
通过物理化逻辑表，可以将您在 数据资源平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。本文介绍如何物理化逻辑表。前提条件 已生成待物理化逻辑表的DDL语句，具体操作，请...
物理化逻辑表
通过物理化逻辑表，可以将您在 企业数据智能平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。本文介绍如何物理化逻辑表。前提条件 已生成待物理化逻辑表的DDL语句，具体操作，...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
管理问题数据
支持保留问题数据的规则列表与问题数据口径 目前支持保留问题数据的监控规则，及各规则问题数据的定义，详情请参见：附录：支持保留问题数据的规则列表与问题数据口径。注意事项 目前仅MaxCompute表支持配置保留问题数据功能。目前仅部分...
操作流程
物理化逻辑表 通过物理化的方式，将 企业数据智能平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。具体操作，请参见 物理化逻辑表。设置逻辑表质量规则 通过可视化方式设置...
操作流程
物理化逻辑表 通过物理化的方式，将 数据资源平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。具体操作，请参见 物理化逻辑表。设置逻辑表质量规则 通过可视化方式设置质量...
通过数据同步功能同步SLS数据至数仓版
例如：AnalyticDB for MySQL 集群数据表的字段名为name，源端SLS数据字段名为user_name，系统会自动以name填充 源字段 和 目标字段，此时您需要手动修改 源字段 为user_name。同步配置 的参数说明如下：参数名称 参数说明 投递起始位点 ...
数据建模诊断
在倾斜表中，您可以查看某个数据库中已经存在倾斜的表，重新进行分布字段的选择。具体方法，请参见 表结构设计。复制表合理性诊断 AnalyticDB MySQL版 在创建表时可以指定数据的分布方式为复制方式（DISTRIBUTED BY BROADCAST），复制表会...
索引、属性、字段作用详解
通俗说就是数据库的名字 字段 在es中索引创建完了之后，是类型，类型之后，是字段 通俗说就是某个表里面的属性的名称 属性 字段的类型（string、int、double.）字段的类型（string、int、double.）OpenSearch：名词 OpenSearch解释 与关系...
规则概述
数据库审计服务提供内置安全规则，该规则包含常见的数据库危险操作，并支持自定义安全规则。重要 数据库审计C100实例对各类规则生效的优先级为（从高到低）：过滤规则、信任规则、安全规则。数据库审计触发规则匹配的流程如下，在产生审计...
数据源插件说明
OpenSearch中的数据，既支持通过API/SDK/上传界面的方式导入，也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据，可以参照API手册直接上传，不支持本文中的插件配置。如果选择同步云端数据的方式，则需要将数据源的...
有约束的列修改类型
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，OceanBase 数据库 Oracle 租户允许执行修改一列是经过类型映射后的结果。本文表格中，短横线（-）表示没有、...
配置MySQL输出组件
比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表Target_A重命名为Service_B，最后删除Temp...
配置MySQL输出组件
比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表Target_A重命名为Service_B，最后删除Temp...
数据质量规则配置流程
质量规则列表 在上图的区域②，为您展示 规则名称、规则ID、表名、规则字段、分区表达式、关联调度、规则模板、强/弱、启停状态、配置人 等质量规则详细信息，同时您可以在操作列对规则进行 订阅管理、修改 规则、删除 规则、停止/启动 ...
- 产品推荐
- 这些文档可能帮助您