长文档信息抽取
整体指标-均值 精确率：算法模型精确率（Precision），未经规则后处理修正，为被识别为正类别的样本中，真实为正类别的比例，有正确预测的字段个数/所有预测的字段个数，即测试集中被识别出来的字段占该类字段标注框一致（内容+位置）比例...
长文档信息抽取
整体指标-均值 精确率：算法模型精确率（Precision），未经规则后处理修正，为被识别为正类别的样本中，真实为正类别的比例，有正确预测的字段个数/所有预测的字段个数，即测试集中被识别出来的字段占该类字段标注框一致（内容+位置）比例...
管理明细及汇总表任务字段
本文为您介绍明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）字段支持的运维操作。字段以及批量操作 页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 明细及汇总表 任务字段管理...
管理明细及汇总表任务字段
本文为您介绍明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）字段支持的运维操作。字段以及批量操作 页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 明细及汇总表 任务字段管理...
配置TiDB输出组件
是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，...
配置AnalyticDB for PostgreSQL输出组件
同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中，完成源数据的信息配置后，需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 离线管道...
批量助手
批量助手简介 批量助手功能可以帮助您实现对数据库迁移任务的批量发起，支持多种源端数据库到阿里云数据库的迁移，支持自定义迁移的库表映射关系，支持全量迁移任务和全量+增量迁移任务，适用于数据上云迁移、阿里云内部跨实例数据迁移等...
新建事实逻辑表
添加字段：支持添加 数据字段 和 分区字段，您可根据业务情况编辑字段的 名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 信息。说明 MaxCompute引擎下支持创建不超过6级分区字段。③ 字段列表...
配置数据识别规则
说明 对CDH引擎中数据进行识别和脱敏时，您需要通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别，抽样采集的数据不会存储至DataWorks中，没有数据泄漏风险。详情请参见：CDH Hive数据...
新建事实逻辑表
添加字段：支持添加 数据字段 和 分区字段，您可根据业务情况编辑字段的 名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 信息。说明 MaxCompute引擎下支持创建不超过6级分区字段。ArgoDB、...
通过Kettle导入至数仓版
目标表：您需要手动输入 AnalyticDB MySQL版 数据库中的表名。勾选 指定数据库字段。勾选 使用批量插入。在 表输出 的 数据库字段 选项卡中，单击 获取字段 和 输入字段映射，可以设置Excel中的列与 AnalyticDB MySQL版 表中列名间的映射...
新建普通维度逻辑表
添加字段：支持添加 数据字段 和 分区字段，您可根据业务情况编辑字段的 名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 信息。说明 MaxCompute引擎下支持创建不超过6级分区字段。④ 字段列表...
Quick BI如何从数据集中将字段批量添加到图表维度中
概述 Quick BI如何从数据集中将字段批量添加到图表维度中。详细信息 如果需要选中的字段在数据集中是连续的，首先点击开始字段，然后按住Shift和鼠标左键点击末尾字段可以选中连续区域字段，然后正常使用鼠标左键进行拖动到图表需要的位置...
配置目标节点
完成数据解析的处理配置后，您可根据处理节点的输出字段，完成Topic解析任务最终的输出配置。本文介绍配置目标节点的具体操作。前提条件 已配置源节点，具体操作，请参见 配置源节点。背景信息 数据解析功能说明，请参见 使用说明。数据...
新建普通维度逻辑表
添加字段：支持添加 数据字段 和 分区字段，您可以根据业务情况编辑字段的 名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 信息。说明 MaxCompute引擎下支持创建不超过6级分区字段。ArgoDB、...
数据集常见问题
在数据库中修改某字段类型后，如何处理数据集该字段类型没有更新的问题？如何处理重新加载被删除的数据源后，表结构同步成功但数据同步依然失败的问题？如何在数据集中添加已删除的维度或度量？MaxCompute数据源同步表结构是否有延迟？源...
操作流程
物理化逻辑表 通过物理化的方式，将 企业数据智能平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。具体操作，请参见 物理化逻辑表。设置逻辑表质量规则 通过可视化方式设置...
手动新建逻辑表
通过手动新建逻辑表，建立您期望的数据表样式和字段，并支持将逻辑表物理化至云计算资源中，为后续的表加工和使用做基础。本文介绍如何手动新建逻辑表。前提条件 已新建目录，具体操作，请参见 新建模型目录。操作步骤 登录企业数据智能...
数据服务
字段信息 字段信息显示数据表在所选存储数据库下的字段及信息，具体包括字段名、数据类型、字段描述、分区字段、数据质量以及告警信息。鼠标点击或移动至告警信息处，可显示该字段的所有规则。如下图所示，其中告警规则会以红色高亮显示。...
SQL窗口介绍
SQL窗口界面介绍 表 1.SQL窗口界面介绍 序号 区域 说明 ① 可视化操作区域 可视化地管理数据库：表 可查看当前数据库中的所有表，包含表的字段、字段类型、索引。也可以右键单击目标表，快捷编辑表结构、管理表、导出数据、导入数据、批量...
操作流程
物理化逻辑表 通过物理化的方式，将 数据资源平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。具体操作，请参见 物理化逻辑表。设置逻辑表质量规则 通过可视化方式设置质量...
过滤条件不下推
filter_not_pushdown_columns=[test01.table01:id|product]*/示例2：以3.1.4及以上的内核版本为例，当前查询，包含数据库 test01 的表 table01 中字段 id、product，数据库 test02 的表 table03 中字段 key 的过滤条件不会下推。...
编辑维表
您无需编写SQL代码，在维表的编辑页面进行可视化编辑，即可修改通过维表创建的MaxCompute表的信息。前提条件 已创建完成一个维表，详情请参见 创建维表。操作步骤 数据分析概述。在数据分析页面的左侧菜单栏，单击 图标进入 维表 页面。在 ...
手动新建逻辑表
通过手动新建逻辑表，建立您期望的数据表样式和字段，并支持将逻辑表物理化至云计算资源中，为后续的表加工和使用做基础。本文介绍如何手动新建逻辑表。前提条件 已新建目录，具体操作，请参见 新建模型目录。操作步骤 登录 数据资源平台...
分布式序列
数据访问代理上的逻辑表，示例如下：dbp_sequence 的分表规则，示例如下：物理数据库中的表和内容示例如下：说明 表中内容是客户端运行 SQL 后自动创建的，其中 SQL 是用来获取 sequence 的。获取 sequence 的 SQL 代码，示例如下：注意...
行业算法版表结构
应用结构 数据推送到行业算法版后会先保存到离线数据表中，在此阶段，为了方便用户推送数据，数据表允许用户根据实际业务场景定义多个表（需要指定关联字段），并提供了数据处理的插件。数据处理完毕后会join成一张索引表，这种索引表主要...
添加及管理识别结果
② 列表区 为您展示识别结果的表、字段、所属项目/板块、数据分类、数据分级、生效状态/日期、识别方式信息。生效状态：生效状态配置后立即生效。开启后，识别结果会进入后续的展示、统计、脱敏等使用流程；关闭后当前字段的识别结果不会...
添加及管理识别结果
② 列表区 为您展示识别结果的表、字段、所属项目/板块、数据分类、数据分级、生效状态/日期、识别方式信息。生效状态：生效状态配置后立即生效。开启后，识别结果会进入后续的展示、统计、脱敏等使用流程；关闭后当前字段的识别结果不会...
创建与管理数据模型
数据模型是在数据库创建及编排的一系列的数据表，是驱动应用开发的基础，继而生成DDL语句，创建数据库表。本文为您介绍如何创建、编辑及删除数据模型。前提条件 当前账号拥有项目权限。已完成限界上下文的创建。具体操作，请参见 创建与...
数据推送
同时，数据处理是异步的，系统返回“OK”后只表示系统接收数据成功，数据处理过程的错误会在控制台错误信息中展示，请注意及时检查。CMD为“add”表示新增文档，会做全字段数据更新（更新中没有出现字段会默认为空）。如果该主键对应文档...
配置AnalyticDB for PostgreSQL输出组件
同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中，完成源数据的信息配置后，需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 通过离线...
使用DataWorks同步数据
本文以MaxCompute为例介绍如何将数据通过DataWorks同步至 云数据库ClickHouse。背景信息 您可以通过DataWorks，将支持的各种数据源数据离线同步至 云数据库ClickHouse。离线同步支持的数据源类型，具体请参见 支持的数据源与读写插件。前提...
手动修正数据
批量修正数据 选中需要批量修正的字段，单击上图区域③的 批量修正 按钮，弹出 批量修正识别结果 对话框，敏感字段类型 下拉框列表中为您展示当前租户下默认分类分级模板中 已发布 的敏感字段类型，你可以选择正确的敏感字段类型，单击 ...
全增量实时同步至Hologres
如上图所示，使用 源端数据库名 将源端数据库名作为目标schema名称，并且将所有满足 order_db.*正则表达式的源库写入目标Hologres名为 order_db 的schema中。自定义目标表名映射规则 在 目标表名映射自定义 列，单击 编辑 按钮。可以使用...
配置IBM DB2输入组件
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
配置IBM DB2输入组件
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
管理字段
字段是指某一个事物的一个特征，或者说是属性。本文为您介绍如何通过DDM管理字段。创建字段 主键是指唯一标识的一条记录，不能重复，不允许为空。表中，中央横线的上方创建的字段就是主键字段，字段前会有一个红色的标志。外键是指一个表的...
MySQL分库分表同步至Hologres（方案1.0）
将分表数据写入目标单表：将源表满足 t_order.*正则表达式的表数据写入到Hologres名为 t_order 的表中，所有满足 t_user.*正则表达式的表数据写入到Hologres名为 t_user 的表中。为表加上统一前缀：在目标名前统一加上 cdo_前缀。schema：...
配置MaxCompute输出组件
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的...
查看血缘关系
在Flink全托管中，我们提供了N层作业的表级别和字段级别的数据血缘关系的查看和分析能力，具体的优势详情如下表所示。优势 详情 提升数据确认效率 通过溯源数据，可以全面了解数据的各个方面，包括作业涉及的产品、数据库和表情况，表字段...
- 产品推荐
- 这些文档可能帮助您