概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
开关
简介 滑动型开关，仅用于绑定布尔型字段。属性配置 开关组件属性由以下部分组成：分类 参数 示例 说明 基础属性 只读 开启只读开关，开关组件会变成不可编辑状态。样式 宽度、间距、颜色 开关组件的宽度、间距以及颜色设置属于页面组件通用...
对话分组
Manifest 格式中 data 字段的下一级字段均对应一个数据集字段，字段名 可自定义，在配置数据集字段名时选择对应的字段名即可。CSV 及 XLSX 格式 item1 item2 item3 {""prompt"":""prompt11"",""reply"":""reply11""} {""prompt"":""prompt...
读数据表
用途 读数据表 算子用于从数据源中读取数据，作为下游节点输入数据的来源。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择计算资源 选择需要读取的数据源，支持的数据源类型...
上传数据
上传CSV数据 重要 CSV文件数据格式为不带BOM的UTF-8编码格式，CSV文件数据内容需要使用英文逗号作为分隔符，如当字段内出现分隔符（,）时，需要使用转义符（"）包裹该字段，避免读取数据时造成字段的错误分割。CSV文件格式注意事项，请参见...
上传数据
上传CSV数据 注意 CSV文件数据格式为不带BOM的UTF-8编码格式，CSV文件数据内容需要使用英文逗号作为分隔符，如当字段内出现分隔符（,）时，需要使用转义符（"）包裹该字段，避免读取数据时造成字段的错误分割。CSV文件格式注意事项，请参见...
DataSource
rds 示例 {"instanceId":"rds-instance-id","dbName":"my_db","dbTableName":"my_table","dbUser":"my","dbPassword":"my_passwd","filter":"","autoSync":true } 结构 字段 类型 描述 instanceId String 实例ID dbName String 数据库名 ...
数据标准概述
DataWorks数据建模支持在建模前规划制定数据标准，或在建模使用过程中根据业务情况沉淀企业业务的数据标准。通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化...
DataSource
rds 示例 {"instanceId":"rds-instance-id","dbName":"my_db","dbTableName":"my_table","dbUser":"my","dbPassword":"my_passwd","filter":"","autoSync":true } 结构 字段 类型 描述 instanceId String 实例ID dbName String 数据库名 ...
数据标准
通过设计标准数据元、数据指标、维度和维度属性，对关键业务对象以及属性和值域进行定义，制定并管理平台遵循的统一数据标准，管控数据的一致性和数据质量。模型标准设计 逻辑表命名规则：支持对逻辑表命名标准的规范设计，可基于模型命名...
基本概念
Trajectory Attribute Field 轨迹属性字段（以下简称字段），轨迹属性中的某个字段，比如速度字段，轨迹属性字段值的个数与轨迹点个数一致。Trajectory Field Value 轨迹属性值，轨迹属性在某一时刻某个字段的值。Trajectory Events 轨迹...
新建和管理公共标准属性
属性类型 选择公共标准属性类型，包含 业务属性、技术属性、管理属性、质量属性、主数据属性、生命周期属性、安全属性。是否必填 默认选中 否，可切换为 是。属性字段类型 默认选择 字符型/STRING。属性字段类型可针对创建标准时输入的，...
新建和管理公共标准属性
属性类型 选择公共标准属性类型，包含 业务属性、技术属性、管理属性、质量属性、主数据属性、生命周期属性、安全属性。是否必填 默认选中 否，可切换为 是。属性字段类型 默认选择 字符型/STRING。属性字段类型可针对创建标准时输入的，...
索引结构
索引结构 索引结构分为：索引字段和属性字段。其中索引字段为文本类型字段分词，提供检索服务，而属性字段则提供统计、排序、过滤、聚合等功能。支持创建为索引字段的类型 INT，INT_ARRAY，TEXT，SHORT_TEXT，LITERAL，LITERAL_ARRAY，...
OSS-HDFS数据源
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品，OSS-HDFS数据源为您提供读取和写入OSS-HDFS的双向通道，本文为您介绍DataWorks的OSS-HDFS数据同步的能力支持情况。使用限制 离线读 使用OSS-HDFS Reader时，请注意以下事项：由于...
配置图表数据区
您可以在数据加工页面，进行以下操作：切换数据集（①）编辑数据集（②）新建计算字段（③）新建分组维度（④）新建维度组（⑤）新建占位符（⑥）预览数据集中的数据（⑦）上传本地文件（⑧）新建数据集（⑨）可视化配置 在仪表板内完成...
索引结构
索引结构 索引结构分为：索引字段和属性字段。其中索引字段为文本类型字段分词，提供检索服务，而属性字段则提供统计、排序、过滤、聚合等功能。支持创建为索引字段的类型 INT，INT_ARRAY，TEXT，SHORT_TEXT，LITERAL，LITERAL_ARRAY，...
常见问题
可以排查数据集中新建计算字段的表达式中是否引用了其他计算字段，注意计算字段表达式中只能使用数据库中原始字段，不能引用之前创建的计算字段，您也可以使用前计算字段的表达式来代替。日期类型的字段，在不转换文本的情况下是否支持...
数据对比分析
时（即hh格式的字段）、分（即hh:mm格式的字段）、秒（即hh:mm:ss格式的字段），年月日时分秒（即yyyymmdd hh:mm:ss格式的字段）订单日期(day)、订单日期(minute)、订单日期(second)、订单日期(ymdhms)不支持配置数据对比。效果示意图如下...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
创建电子表格
入口四：从数据集列表中创建 入口五：从 数据集编辑 页面中创建 入口四和入口五从已有数据集新建电子表格后，右侧数据面板会直接基于这个数据集加载对应的维度和度量，直接拖拽至字段区域即可。说明 入口三 可以选择 空白新建（新版）或 ...
附录：消息格式
op 对应源端读取到的消息类型，取值如下：INSERT：数据插入 UPDATE_BEFOR：数据更新前 UPDATE_AFTER：数据更新后 DELETE：数据删除 TRANSACTION_BEGIN：数据库事务开始 TRANSACTION_END：数据库事务结束 CREATE：数据库建表 ALTER：数据库...
HTTP头字段
如果您需要自定义HTTP头字段，并希望通过ALB监听的附加HTTP头字段实现部分特定功能，您可以通过本文查看ALB支持的附加头字段及如何添加附加HTTP头字段。ALB支持的附加头字段 HTTP头字段是指在超文本传输协议（HTTP）的请求和响应消息中的...
配置图表字段
配置度量数据 配置维度数据 切换数据集 搜索维度字段和度量字段 同环比 字段过滤 数据排序 配置度量数据 以订单数量字段为例，配置度量字段：将鼠标悬浮在度量字段上，单击右侧的 图标。根据业务场景，配置度量字段：数据展示格式 自动 ...
基本概念
Trajectory Attribute Field 轨迹属性字段（以下简称字段），轨迹属性中的某个字段，比如速度字段，轨迹属性字段值的个数与轨迹点个数一致。Trajectory Field Value 轨迹属性值，轨迹属性在某一时刻某个字段的值。Trajectory Events 轨迹...
功能简介
通过数据标准的管理功能，模型设计者可通过设计标准数据元素，定义关键业务对象、业务对象属性及值域，规范标准数据字典，制定并管理平台遵循的统一数据标准，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。模型标准设计 ...
功能简介
通过数据标准的管理功能，模型设计者可通过设计标准数据元素，定义关键业务对象、业务对象属性及值域，规范标准数据字典，制定并管理平台遵循的统一数据标准，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。模型标准设计 ...
新建及管理标准模板
属性类型 选择标准模板属性类型，包含 业务属性、技术属性、管理属性、质量属性、主数据属性、生命周期属性、安全属性。是否必填 默认选中 否，可切换为 是。属性字段类型 默认选择 字符型/STRING。属性字段类型可针对创建标准时输入的，...
新建及管理标准模板
属性类型 选择标准模板属性类型，包含 业务属性、技术属性、管理属性、质量属性、主数据属性、生命周期属性、安全属性。是否必填 默认选中 否，可切换为 是。属性字段类型 默认选择 字符型/STRING。属性字段类型可针对创建标准时输入的，...
CreateLabelTable-创建label表
INT32 Attributes array 是 字段属性列表，可选值包括：●Partition-分区字段。FeatureField-特征字段。FeatureGenerationReserveField-FG 保留字段。EventTime-事件时间。LabelField-Label 字段。string 否 字段属性。Partition 返回参数 ...
基本概念
Trajectory Attribute Field 轨迹属性字段（以下简称字段），轨迹属性中的某个字段，比如速度字段，轨迹属性字段值的个数与轨迹点个数一致。Trajectory Field Value 轨迹属性值，轨迹属性在某一时刻某个字段的值。Trajectory Events 轨迹...
通用参考
SPL读取存储在SLS的LogGroup结构数据作为输入（LogGroup定义详情请参见 数据编码方式），如果原始写入日志服务的数据不符合标准LogGroup编码规范，即某些保留字段并未按照标准编码在对应位置，而是放在LogContent中，则SPL在读取此类保留...
客户管理
如下图所示：客户属性展示：客户属性 字段来源于客户属性的设置，您在客户设置中所设置的属性，其信息都会展示在这里，并且系统默认将 客户编号、创建自、创建时间和来源 字段显示在所有客户属性字段的底部。如下图所示：客户平台身份信息...
漏斗图
更多数据显示格式请参见 数据显示格式说明，仅在标注字段选择 value 或 type+value 时显示。相对偏移：漏斗标注相对梯形块区域在垂直和水平方向的偏移量，单位为px。文本样式：漏斗标注的文本样式，包括文本的字体样式、文字粗细、字号和...
同构数据源访问
本地数据库名称 本地实例A的数据库名称 local_db。本地初始账号 本地实例A的账号。本地初始密码 账号对应的密码。远程实例Id 远程实例B的ID。远程数据库名称 远程实例B的数据库名称 remote_db。远程数据库账号 远程实例B的账号。该账号需要...
查看敏感数据血缘（公测）
DataWorks的数据血缘功能支持可视化展示敏感数据的血缘关系，自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段，帮助您梳理敏感数据的扩散情况及影响面，提高数据识别效率。本文为您介绍如何查看血缘关系图。背景信息 数据血缘...
跨库查询
当需要查询分散在不同数据库中的数据时，您可以使用 云原生数据仓库 AnalyticDB PostgreSQL 版 的跨库查询功能方便地将数据聚合在一起，进行高效查询，提高数据访问效率。功能介绍 Database是PostgreSQL生态下数据库的最高级别，同一个实例...
逻辑表和字段资产详情
④ 对象详情区 鼠标悬停在表上，为您展示字段的 名称、对象类型、存储格式、字段所在逻辑表及逻辑视图的 所属板块/字段所在物理表及物理视图的 所属项目、所属表、表负责人、数据类型、描述、血缘来源 信息，同时您可以进行 查看血缘 和 ...
数据库高级特性管理
您可以在RDS管理控制台查看或修改数据库中的各类属性，也可以手动收缩数据库事务日志和更新数据库统计信息，以优化数据库性能和提高查询效率。前提条件 已创建数据库。创建方法，请参见 创建数据库。实例所在地域必须在：华东1（杭州）、...
- 产品推荐
- 这些文档可能帮助您