创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
创建文件数据源
数据字段 文件上传至数据库后，会以数据库表的形式存储，数据库字段名称 和 字段类型 为生成数据库表的字段名和类型，而 文件字段名 为上传文件的表头名，会变成数据库表的字段备注。您可以在文件上传时，修改 文件字段名、数据库字段名称 ...
CREATE STREAM
physical_column_definition 是 物理列，指通常意义下的数据库字段，包括字段名称、字段类型和字段顺序等。外部系统根据物理字段读取或写入数据。column_name：物理列的列名。column_type：物理列的数据类型。column_constraint：物理列...
Quick BI使用仪表板中图表的钻取功能后发现字段重复
问题描述 本文主要介绍如何解决Quick BI使用仪表板图表钻取功能后发现字段重复。问题原因 钻取后会显示下个钻取字段并隐藏上个钻取字段，多个钻取字段都存在字段中就会导致钻取字段显示2个。解决方案 字段中只选择一个钻取字段，能解决该...
质量规则模板类型
字段重复值个数校验 用于对单个字段重复且多余的数据进行校验。及时性 时间函数比较 用于对单字段和业务日期之间的及时性的对比。单表时间字段比较 用于对同一表的两列的时间差进行比较。两表时间字段比较 用于对不同表的两列的时间差进行...
质量规则模板类型
字段重复值个数校验 用于对单个字段重复且多余的数据进行校验。及时性 时间函数比较 用于对单字段和业务日期之间的及时性的对比。单表时间字段比较 用于对同一表的两列的时间差进行比较。两表时间字段比较 用于对不同表的两列的时间差进行...
质量规则参数配置
说明 识别表达式支持使用函数，但需要注意执行时的数据库需要支持该函数。支持多个字段之间的业务逻辑的校验。如总销售额=单价*销售数量，校验总销售额是否出错可以用${total_sales}=${unit_price}*{sales_volume}。两表字段值一致性比较：...
质量规则参数配置
说明 识别表达式支持使用函数，但需要注意执行时的数据库需要支持该函数。支持多个字段之间的业务逻辑的校验。如总销售额=单价*销售数量，校验总销售额是否出错可以用${total_sales}=${unit_price}*{sales_volume}。两表字段值一致性比较：...
有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有、all 表示全部类型。主键（PRIMAEY KEY）约束下...
有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段长度的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有。主键（PRIMARY KEY）约束下字段长度的修改 ...
删除有约束的列
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于删除不同约束下字段的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型。删除主键（PRIMARY KEY）约束下的列 如果删除的 主键列 中包含下表中的字段类型...
有约束的列修改长度
主键（PRIMAEY KEY）约束下字段长度的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 OceanBase 数据库 Oracle 租户的区别如下。Oracle 数据库的字段...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
设计阶段
数据探查的内容主要包括但不限于以下内容：源表数据主键字段重复数。源表字段空值/异常值的统计数。源表之间关联关系。源表字段的数据格式。源表增量规则。探查完成后，最终产出 数据探查报告。如果发现当前数据无法支撑需求的实现，则要将...
有约束的列修改类型
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，OceanBase 数据库 Oracle 租户允许执行修改一列是经过类型映射后的结果。本文表格中，短横线（-）表示没有、...
公共规范
公共层数据不允许字段重复率大于60%的相同粒度数据表冗余，可以选择在原表基础上拓宽或者在下游应用中通过JOIN方式实现。数据拆分 数据的水平和垂直拆分是按照访问热度分布和数据表非空数据值、零数据值在行列二维空间上分布情况进行划分的...
从RDS MySQL数据库获取数据进行数据富化
time:1563436326 data:123 city:nanjing province:jiangsu 加工规则 根据指定的RDS MySQL数据库表中的字段值（例如 content 字段的值）去匹配日志字段，其中指定的RDS MySQL数据库表中的字段值为Key-Value形式，Key对应日志字段，Value为正...
批量创建质量规则
不同的规则模板支持的计分方式不同，仅支持 质量校验状态 计分方式说明如下：唯一性规则大类的字段分组个数校验、字段重复值个数校验。一致性规则大类的单表字段统计值一致性比较、跨源两表字段统计值一致性比较。稳定性规则大类。自定义...
批量创建质量规则
不同的规则模板支持的计分方式不同，仅支持 质量校验状态 计分方式说明如下：唯一性规则大类的字段分组个数校验、字段重复值个数校验。一致性规则大类的单表字段统计值一致性比较、跨源两表字段统计值一致性比较。稳定性规则大类。自定义...
数据建模
重复值 对应分区，总行数减去重后的个数，即字段重复值的个数。重复值个数与期望的固定值进行比较，符合规则则通过。比较方式包括：>、、>=、、=和!重复率 对应分区，重复值个数与总行数的比率与一个期望固定值进行比较，符合规则则通过。...
配置威胁检测规则
在威胁检测数据库匹配指定字段，如果命中返回true。NOT_IN_IP_DATASET：与数据集的主键进行匹配。需要指定数据集的主键为IP类型字段，支持IP地址和CIDR格式。IN_IP_DATASET：与数据集的主键进行匹配。需要指定数据集的主键为IP类型字段，...
返回状态码说明
2022 分区不存在 InexistentColumn-2023 字段不存在 InexistentKey-2024 主键不存在 DuplicateCollection-2025 集合已存在 DuplicatePartition-2026 分区已存在 DuplicateKey-2027 文档主键重复 DuplicateField-2028 文档字段重复 ...
新建及管理质量规则模板
两表字段统计值一致性比较/单表字段统计值一致性比较：统计方式：可统计字段分组个数、字段最大值、字段重复率等，详情请参见 创建全域数据表质量规则。两表字段业务逻辑一致性比较：业务逻辑：输入SQL表达式函数。例如${T1.total_sales}=$...
新建及管理质量规则模板
两表字段统计值一致性比较/单表字段统计值一致性比较：统计方式：可统计字段分组个数、字段最大值、字段重复率等，详情请参见 模板类型说明。两表字段业务逻辑一致性比较：业务逻辑：输入SQL表达式函数。例如${T1.total_sales}=${T2.unit_...
修改任务字段生成重复字段
一、问题原因 情况一：当在管理后台或者项目中修改自定义字段内容（不包括字段名称）时，选择「同步修改所有引用该字段的场景」，此时出现的结果为：1、使用场景的项目中，修改者拥有修改字段权限，则新字段内容会直接覆盖旧字段；...
没有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改没有约束的列的字段长度的不兼容场景。如果列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY/CHANGE COLUMN DDL 对该列进行字段长度修改操作，MySQL 数据库...
没有约束的列修改长度
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改没有约束的列的字段长度的不兼容场景。如果列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 ...
没有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改没有约束的列的字段类型的不兼容场景。如果列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY/CHANGE COLUMN DDL 对该列进行字段类型修改操作，MySQL 数据库...
算子功能详解
可自定义字段名，注意不能和已有字段重复。Sorter排序 排序字段：单选，Recall 组件返回字段+前面所有Join组件返回字段+前面所有Score 组件的score字段。去重字段：单选，Recall 组件返回字段+前面所有Join组件返回字段。插件参数：设置...
没有约束的列修改类型
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改没有约束的列的字段类型的不兼容场景。说明 本文表格中，OceanBase 数据库 Oracle 租户允许执行修改一列是经过类型映射后的结果。本文表格中，短横线（-）表示没有、all...
添加字段
忽略重复字段 存在相同的字段名时，是否忽略重复的字段。配置示例 添加 aaa2 字段和aaa3字段，配置示例如下：原始日志"aaa1":"value1"Logtail插件处理配置 处理结果"aaa1":"value1""aaa2":"value2""aaa3":"value3"JSON配置方式 参数说明 ...
查看内置规则模板
总行数减去重后的个数，即字段重复值的个数。重复值个数与固定值进行比较。唯一值个数/总行数。唯一值个数与总行数的比率与一个固定值进行比较。离散值（状态值），固定值。group by之后的分组，每组count数，与固定值进行比较。离散值...
创建全域数据表质量规则
支持选择指定SQL、离线管道、Python、Shell、Datax、Spark_jar、Hive_MR、数据库SQL节点的任务类型触发任务。说明 适用于表的修改任务固定的情况。固定任务触发只能选择生产环境任务，若规则强度配置了强规则，调度任务校验失败，可能会...
创建全域数据表质量规则
支持选择指定SQL、离线管道、Python、Shell、Datax、Spark_jar、Hive_MR、数据库SQL节点的任务类型触发任务。说明 适用于表的修改任务固定的情况。固定任务触发只能选择生产环境任务，若规则强度配置了强规则，调度任务校验失败，可能会...
创建数据表质量规则
支持选择指定SQL、离线管道、Python、Shell、Datax、Spark_jar、Hive_MR、数据库SQL节点的任务类型触发任务。说明 适用于表的修改任务固定的情况。固定任务触发只能选择生产环境任务，若规则强度配置了强规则，调度任务校验失败，可能会...
创建数据表质量规则
支持选择指定SQL、离线管道、Python、Shell、Datax、Spark_jar、Hive_MR、数据库SQL节点的任务类型触发任务。说明 适用于表的修改任务固定的情况。固定任务触发只能选择生产环境任务，若规则强度配置了强规则，调度任务校验失败，可能会...
使用评估表达式设置触发条件
如果多个查询和分析结果中不含重复字段，则在评估表达式中引用字段时，可以不加$0、$1、$2等前缀。例如 name='sls'。如果多个查询和分析结果中含重复字段，则在评估表达式中引用字段时，必须加$0、$1、$2等前缀。例如$0.name='sls'|$1.name...
扩展字段
可类比关系型数据库中字段的 DEFAULT 值。数据类型：不可编辑。默认值：可编辑。字段类型：下拉框 Select 数据类型：指定数据为字符串或数字。数据项：定义下拉框中不同选项的键值对。处于数据兼容性考虑，数据项创建完成后无法删除，只能...
根据领域对象批量生成相关模型
重复数据处理策略 支持以下取值：跳过重复数据 生成结构对象和数据模型时，如果编码已经存在，则结构对象和数据模型的名称、编码以及所有的字段都不做任何修改。生成应用服务时，如果服务编码已存在，服务本身信息不做修改，并继续判断方法...
BI分析模式数据面板功能介绍
使用BI分析模式配置组件数据是一个全新的数据配置功能，需要与您准备的数据集内容相结合，您可以使用BI分析模式，为组件自由分配所需数据集的字段内容，合理配置图表数据映射和其他数据筛选等功能。本文介绍BI分析模式下组件数据配置面板...
- 产品推荐
- 这些文档可能帮助您