数据库管理
修改运维连接地址 在数据库实例列表，选中需要修改运维连接地址的数据库实例，选择 批量>数据库账户>修改运维连接地址，然后在对话框中选择 数据库IP类型，单击 确定，并单击 完成。数据库IP类型包括 内网域名 和 公网域名。移除数据库 在...
几何求差
本文介绍几何求差算子的使用方法。用途 几何求差算子用于计算主表相...输出字段 配置当前节点输出到下游节点的字段列表，默认包含一个差集结果的几何字段（字段代码difference_result）和主表的全部字段，可按需对主表字段进行删减和重命名。
自定义血缘配置
Dataphin支持自动解析SQL类型计算任务和逻辑表任务的血缘信息，针对非SQL类型的计算任务，支持自定义配置血缘信息，以...查看血缘 任务提交发布完成后，您可以在数据表详情页面查看自定义配置的表级和字段级血缘关系，详情请参见 物理表详情。
自定义血缘配置
Dataphin支持自动解析SQL类型计算任务和逻辑表任务的血缘信息，针对非SQL类型的计算任务，支持自定义配置血缘信息，以...查看血缘 任务提交发布完成后，您可以在数据表详情页面查看自定义配置的表级和字段级血缘关系，详情请参见 物理表详情。
数据表管理
更新从数据库导入的数据表 字段同步 当数据库中新增或删除有关列的字段后，通过 同步字段 功能，系统会自动检测数据库中的字段变更内容，并可根据实际业务需求选择是否对有关元数据做字段变更同步。具体操作如下：选择 知识中心>数据问答>...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
调整字段安全级别
当您需要提升或降低字段的安全级别时，您可参考本文在数据管理DMS的SQL Console中调整字段的安全级别。前提条件 实例已开启敏感数据保护功能。具体操作，请参见 开通敏感数据保护。设置敏感等级的影响 设置敏感等级后，对使用数据的影响：...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
功能简介
云计算资源扫描：支持将云计算资源的已有物理表Meta信息扫描到逻辑表相应层级下，并提供通过正则表达式筛选需要扫描的物理表范围，并且对导入的物理表提供表列表、表数量预览，确认后导入。Excel导入：支持将Excel里的逻辑表表名、字段信息...
数据标准概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化生产，节约后续数据应用和处理的成本。应用场景 DataWorks的数据标准包含 字段标准、标准代码、度量单位、...
索引、属性、字段作用详解
通俗说就是数据库的名字 字段 在es中索引创建完了之后，是类型，类型之后，是字段 通俗说就是某个表里面的属性的名称 属性 字段的类型（string、int、double.）字段的类型（string、int、double.）OpenSearch：名词 OpenSearch解释 与关系...
管理敏感数据
页面介绍 元数据信息汇总：可查看实例中数据库相关信息，包括 数据库数量、已扫描的 表数量、已扫描的 字段数量 以及 涉敏字段数量。涉敏字段-法案分布：可查看数据库中的敏感字段涉及哪些法案或政策，以及相关敏感字段的数量和分布情况。...
功能简介
云计算资源扫描：支持将云计算资源的已有物理表Meta信息扫描到逻辑表相应层级下，并提供通过正则表达式筛选需要扫描的物理表范围，并且对导入的物理表提供表列表、表数量预览，确认后导入。Excel导入：支持将Excel里的逻辑表表名、字段信息...
配置MySQL输出组件
比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表Target_A重命名为Service_B，最后删除Temp...
配置MySQL输出组件
比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表Target_A重命名为Service_B，最后删除Temp...
数据接口配置说明
可视化应用中查看并使用数据接口 在区块编辑器中配置完数据接口后，您可以在画布编辑器中使用区块时，查看到区块的所有数据接口信息，具体在可视化应用中配置并查看接口信息的步骤如下。在区块编辑器中，对配置的数据接口内容，进行预览和...
增强E-R
越来越多的系统设计采用应用系统来保障业务之间的依赖关系，导致数据库的外键信息并不会真正的沉淀到数据库外键设计上，不易通过实际数据库的外键信息看到业务数据表中的逻辑关系，进而影响您梳理数据库内的表之间真实的逻辑关系。...
批量创建外部表
更新，修改同名表：创建表时，如果数据库中已存在当前创建的表名称，则更新已有表的数据。报错，不再重复创建：创建表时，如果数据库中已存在当前创建的表名称，则发送报错，不再重复创建。数据类型不支持 报错，导入失败：如果创建表时...
数据源插件说明
OpenSearch中的数据，既支持通过API/SDK/上传界面的方式导入，也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据，可以参照API手册直接上传，不支持本文中的插件配置。如果选择同步云端数据的方式，则需要将数据源的...
V4.5.1版本说明
V4更新 数据接入 数据导入：支持从计算源导入数据表时不导入部分表字段，需要在表结构配置中关闭该字段的导入开关，请参见 表结构配置文档，支持在编辑时关闭/开启导入开关。用户营销 人群管理页面：支持基于文本型、多值型标签，为选中的...
配置SAP Table输入组件
批量条数 批量读取数据的条数，可根据数据库性能以及数据量修改。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除少量的字段，则可以单击 操作 列下的 图标，...
配置SAP Table输入组件
批量条数 批量读取数据的条数，可根据数据库性能以及数据量修改。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除少量的字段，则可以单击 操作 列下的 图标，...
自定义表格模板
用户仅需通过一张模板数据的可视化拖拉拽配置参照字段、识别字段或表头&待识别的列表区域，字段属性等，无需进行数据标注和模型训练，即可实现相同版式数据的自定义结构化识别抽取。经过配置调优的模板识别准确率可达85%以上。同时 工具箱 ...
自定义表格模板
用户仅需通过一张模板数据的可视化拖拉拽配置参照字段、识别字段或表头&待识别的列表区域，字段属性等，无需进行数据标注和模型训练，即可实现相同版式数据的自定义结构化识别抽取。经过配置调优的模板识别准确率可达85%以上。同时 工具箱 ...
自定义字段
弹出提示窗口如下：若选择「仅修改当前字段」，代表仅修改管理后台中这个字段内容，之前使用该字段的任务类型不受影响，后续项目添加这个字段会使用更新的内容。若选择「同步修改所有引用该字段的场景」，则代表已有项目中这个字段的内容...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
数据源插件说明
OpenSearch中的数据，既支持通过API/SDK/上传界面的方式导入，也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据，可以参照API手册直接上传，不支持本文中的插件配置。如果选择同步云端数据的方式，则需要将数据源的...
索引、属性、字段作用详解
通俗说就是数据库的名字 字段 在es中索引创建完了之后，是类型，类型之后，是字段 通俗说就是某个表里面的属性的名称 属性 字段的类型（string、int、double.）字段的类型（string、int、double.）OpenSearch：名词 OpenSearch解释 与关系...
配置MaxCompute输出
大数据计算服务MaxCompute（原名ODPS）为您提供完善的数据导入方案，能够快速解决海量数据的计算问题。前提条件 配置MaxCompute输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步能力说明。背景信息 写入数据不支持...
通过日志服务导入至数仓版
左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间 配置...
数据集成侧同步任务能力说明
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
查看数据
在进行联邦建模前，应先确认联邦建模中可用的建模数据。...在联邦表详细信息页面可以查看该联邦表中的所有字段和字段类型、生成该联邦表的任务名称、以及联邦表中的数据涉及到的节点信息等。单击任务名称可以查看任务的详情。
数据源表授权
添加组织数据源，然后将数据源中的表授权给空间。根据使用范围，数据源分为：组织数据源：组织管理员在组织中添加的数据源，在空间使用组织数据源前，需要组织管理员向空间授权。空间数据源：空间管理员、组织管理员在空间中添加的数据源，...
元数据
背景信息 元数据（字典）是属于数据库本身的一些数据，包含数据库名、数据库字符集、表名、表的大小、表的记录行数、表的字符集、表的字段、表的索引、表的描述、字段的类型、字段的精度、字段的描述等。所有信息均来源于 information_...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
updateMany
在 users 集合中查找所有 age 字段值大于18的记录，同时将该记录的 name 字段和 age 字段更新，其他字段默认保留。若没有找到符合条件的记录，就将 {name:"Smith",age:22} 作为新记录插入。mpserverless.db.collection('users').updateMany...
同步时源库为Oracle的注意事项及限制
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。由于DTS的延迟时间是根据同步到目标库最后一条数据的时间戳和当前时间戳对比得出，源库长时间未执行DML操作可能...
新建镜像表
镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 单击 确定。步骤三：预览镜像关系 在镜像表开发页面，页面右侧为您展示 镜像关系预览 面板。在 镜像关系预览 面板，查看实时表、离...
新建镜像表
镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 单击 确定。步骤三：预览镜像关系 在镜像表开发页面，页面右侧为您展示 镜像关系预览 面板。在 镜像关系预览 面板，查看实时表、离...
配置TiDB输出组件
是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，...
- 产品推荐
- 这些文档可能帮助您