数据去重
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择去重字段 选择需要去重的字段，选中的字段将作为该算子的输出字段，数据中若包含多条重复记录则仅保留第一条数据。
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
数据表管理
字段中文名：是对字段所表示的含义进行解释，将直接影响召回信息，对问答效果有影响，建议根据字段含义认真填写。字段类型/输出格式：字段在机器人回复答案中的输出格式。当前支持的字段类型有：数字范围型格式：第一个数字必须小于第二个...
数据加工
拆分字段 在 字段列表 视图下，根据字段值进行拆分字段。说明 仅字段类型为 文本 时，才支持此操作。重命名字段 鼠标悬浮至目标字段上，单击右侧的 图标（①），或者双击目标字段名称（②），均可以重命名字段。编辑字段 说明 新增计算字段...
Quick BI交叉表中怎样对文本字段去重计数
概述 Quick BI交叉表中怎样对文本字段去重计数。详细信息 1.维度字段不支持去重计数。当需要去重计数的字段是维度的时候，需要将该字段在数据集编辑页转换为度量字段，或者可以新建字段，字段表达式选择需要去重计数的字段，数据类型选择...
合作数据管理
添加数据至合作空间 在DataTrust首页，单击顶部菜单栏的 通用计算。进入 合作数据 页面。按照下图指引，进入 添加数据 对话框。在 添加数据 对话框中，配置参数。参数 描述 数据名称 选择已创建的数据。数据别名 可根据已选数据创建别名。...
有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有、all 表示全部类型。主键（PRIMAEY KEY）约束下...
有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段长度的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有。主键（PRIMARY KEY）约束下字段长度的修改 ...
DMS分类分级扫描原理介绍
DMS分类分级扫描能够对数据库中的敏感数据进行检测，并自动为符合识别规则的字段打上相应的分类分级标签，还可以保护高敏感等级的字段，并将敏感字段直观地展示在识别结果中。本文介绍DMS敏感数据保护分类分级扫描功能的原理。原理介绍 DMS...
Quick BI使用仪表板中图表的钻取功能后发现字段重复
问题描述 本文主要介绍如何解决Quick BI使用仪表板图表钻取功能后发现字段重复。问题原因 钻取后会显示下个钻取字段并隐藏上个钻取字段，多个钻取字段都存在字段中就会导致钻取字段显示2个。解决方案 字段中只选择一个钻取字段，能解决该...
删除有约束的列
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于删除不同约束下字段的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型。删除主键（PRIMARY KEY）约束下的列 如果删除的 主键列 中包含下表中的字段类型...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
公共规范
公共层数据不允许字段重复率大于60%的相同粒度数据表冗余，可以选择在原表基础上拓宽或者在下游应用中通过JOIN方式实现。数据拆分 数据的水平和垂直拆分是按照访问热度分布和数据表非空数据值、零数据值在行列二维空间上分布情况进行划分的...
数据排序
排序包含字段排序和按堆积总和两种，按字段排序时，Quick BI按照某个...按堆积总和升序 选择按堆积总和排序时，排序优先级为先根据堆积总和排序，再根据字段排序，字段排序不影响总和的排序顺序。按堆积总和降序 单击 更新，完成图表排序。
有约束的列修改长度
主键（PRIMAEY KEY）约束下字段长度的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 OceanBase 数据库 Oracle 租户的区别如下。Oracle 数据库的字段...
使用评估表达式设置触发条件
如果多个查询和分析结果中不含重复字段，则在评估表达式中引用字段时，可以不加$0、$1、$2等前缀。例如 name='sls'。如果多个查询和分析结果中含重复字段，则在评估表达式中引用字段时，必须加$0、$1、$2等前缀。例如$0.name='sls'|$1.name...
SPL指令
示例 示例1：根据字段内容过滤数据条目。where userId='123' 示例2：使用匹配字段名的正则表达式过滤数据条目。where regexp_like(server_protocol,'\d+')示例3：转换数据类型后，匹配所有服务端错误数据。where cast(status as BIGINT)>=...
映射富化函数
函数列表 类型 函数 说明 字段映射 e_dict_map 与目标数据字典进行映射，根据输入的字段映射一个新字段。支持和其他函数组合使用。相关示例，请参见 使用e_dict_map、e_search_dict_map函数进行数据富化。e_table_map 与目标表格进行映射，...
配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制推送至DM（达梦），进行数据整合和再加工。本文为您介绍如何配置DM（达梦）输出组件。前提条件 已创建DM（达梦）数据源...
有约束的列修改类型
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，OceanBase 数据库 Oracle 租户允许执行修改一列是经过类型映射后的结果。本文表格中，短横线（-）表示没有、...
配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制推送至DM（达梦），进行数据整合和再加工。本文为您介绍如何配置DM（达梦）输出组件。前提条件 已创建DM（达梦）数据源...
识别规则及识别方式
说明 自动继承开启后，下游会根据字段血缘关系自动继承直接上游字段的敏感等级，同时根据默认脱敏规则的配置，以实现对新增数据的自动保护，减少手动配置成本，也能更大程度上保证关联数据识别结果一致性和相关性。继承场景 支持选择 识别...
数据集成服务
当您的现有业务对数据库的并发读写、扩展性和可用性的要求较高，且需要使用复杂的检索或大数据分析时，如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大，则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到...
查看识别规则运行记录
序号 描述 ① 搜索区 您可根据字段或数据分类的名称关键字搜索字段。② 列表区 为您展示字段名称、数据分类、数据分级信息。同时，您可单击 操作 列下的查看 图标查看字段识别信息详情，请参见 字段识别详情。字段识别详情 为您展示字段的...
查看识别规则运行记录
序号 描述 ① 搜索区 您可根据字段或数据分类的名称关键字搜索字段。② 列表区 为您展示字段名称、数据分类、数据分级信息。同时，您可单击 操作 列下的查看 图标查看字段识别信息详情，请参见 字段识别详情。字段识别详情 为您展示字段的...
识别规则及识别方式
说明 自动继承开启后，下游会根据字段血缘关系自动继承直接上游字段的敏感等级，同时根据默认脱敏规则的配置，以实现对新增数据的自动保护，减少手动配置成本，也能更大程度上保证关联数据识别结果一致性和相关性。继承场景 支持选择 识别...
配置Teradata输出组件
使用限制 不支持写入Teradata数据库的视图。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照如下图操作指引，进入 Teradata输出配置 对话框。在 Teradata输出配置 对话框，...
配置Teradata输出组件
使用限制 不支持写入Teradata数据库的视图。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照如下图操作指引，进入 Teradata输出配置 对话框。在 Teradata输出配置 对话框，...
没有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改没有约束的列的字段长度的不兼容场景。如果列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY/CHANGE COLUMN DDL 对该列进行字段长度修改操作，MySQL 数据库...
配置TiDB输出组件
是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，...
配置TiDB输出组件
是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，...
逻辑表和字段资产详情
③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据字段名称关键字进行模糊搜索。特殊的，若存在跨周期的循环依赖，则无法继续展开，需从起始节点继续查看下游。点击 中心字段 可通过字段关键字进行模糊搜索以...
逻辑表和字段资产详情
③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据字段名称关键字进行模糊搜索。特殊的，若存在跨周期的循环依赖，则无法继续展开，需从起始节点继续查看下游。点击 中心字段 可通过字段关键字进行模糊搜索以...
没有约束的列修改长度
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改没有约束的列的字段长度的不兼容场景。如果列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 ...
没有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改没有约束的列的字段类型的不兼容场景。如果列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY/CHANGE COLUMN DDL 对该列进行字段类型修改操作，MySQL 数据库...
修改任务字段生成重复字段
一、问题原因 情况一：当在管理后台或者项目中修改自定义字段内容（不包括字段名称）时，选择「同步修改所有引用该字段的场景」，此时出现的结果为：1、使用场景的项目中，修改者拥有修改字段权限，则新字段内容会直接覆盖旧字段；...
StarRocks物理表和字段详情
③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据字段名称关键字进行模糊搜索。特殊的，若存在跨周期的循环依赖，则无法继续展开，需从起始节点继续查看下游。点击 中心字段 可通过字段关键字进行模糊搜索以...
配置StarRocks输出组件
stream load同步数据延迟说明 当使用stream load方式向StarRocks数据库导入数据时，返回的状态有以下几种情况，可能出现publish timeout情况，此情况下任务也是成功的，但是会存在查询延迟情况。请关注运行日志中的状态：Success：表示导入...
配置StarRocks输出组件
stream load同步数据延迟说明 当使用stream load方式向StarRocks数据库导入数据时，返回的状态有以下几种情况，可能出现publish timeout情况，此情况下任务也是成功的，但是会存在查询延迟情况。请关注运行日志中的状态：Success：表示导入...
配置MaxCompute输出组件
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的...
- 产品推荐
- 这些文档可能帮助您