从RDS MySQL数据库获取数据进行数据富化
匹配成功后，返回RDS MySQL数据库表中的 province、city 和 population 字段和字段值，与Logstore中的数据拼接，生成新的数据。说明 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时，如果RDS MySQL数据库表字段存在多个相同的值...
关联数据
管理对象组 对象是指数据库中特定表和字段的集合。对象组功能可以帮您管理数据库中表和字段的集合。如果自定义规则需要对固定的数据库对象生效，您可以通过新增对象组，直接在自定义规则中使用新增对象组。以下步骤介绍如何新增对象组。...
管理数据表
本文为您介绍如何快速查找数据表，并查看数据表中的数据字段和数据类型等信息。查询数据表 当数据源中的数据表过多，无法快速定位到自己所需的数据表时，您可以按照以下步骤操作。登录 Quick BI控制台。按照下图指引，进入数据源管理页面。...
创建逻辑模型：应用表
统计粒度：用于关联维度表和维度表中的字段。例如，商品维度、商家维度。派生指标：指定汇总表字段需要整合的统计数值的派生指标。例如，近7天盒马App支付下单的金额数。原子指标：指定汇总表字段需要整合的统计数值的原子指标。例如，支付...
新建及管理质量规则模板
指定表+字段：单击编辑框中的 填入表名1+字段名1，快捷输入表名+字段名变量$[t1.c1]。仅支持上述变量写法，其他变量形式将统一被解析为校验表的字段变量，如${t6}、${table1}、${a.b}等，请避免使用其他变量表达式。单击 预览SQL，可查看...
创建逻辑模型：汇总表
统计粒度：用于关联维度表和维度表中的字段。例如，商品维度、商家维度。派生指标：指定汇总表字段需要整合的统计数值的派生指标。例如，近7天盒马App支付下单的金额数。原子指标：指定汇总表字段需要整合的统计数值的原子指标。例如，支付...
新建及管理质量规则模板
指定表+字段：单击编辑框中的 填入表名1+字段名1，快捷输入表名+字段名变量$[t1.c1]。仅支持上述变量写法，其他变量形式将统一被解析为校验表的字段变量，如${t6}、${table1}、${a.b}等，请避免使用其他变量表达式。单击 预览SQL，可查看...
生成测试数据
在 规则 和 细则 列中对选择的表中的 字段名称 和 字段类型 设置模拟数据生成的规则。其中 规则 列中会根据字段类型提供一些内置的对应规则。细则 列会根据您选择的规则展示具体的规则信息，用户可以单击细则信息后的编辑图标对细则信息...
质量规则参数配置
选择比较表：选择物理表中的需要比较的表及该物理表的需要比较的字段。关联表达式：内置数据表参数T1、T2，T1为检测表，T2为比较表，例如：T1.id=T2.id。时间差：支持选择 校验字段-（减）比较字段、比较字段-（减）校验字段，取单位项小数...
质量规则参数配置
选择比较表：选择物理表中的需要比较的表及该物理表的需要比较的字段。关联表达式：内置数据表参数T1、T2，T1为检测表，T2为比较表，例如：T1.id=T2.id。时间差：支持选择 校验字段-（减）比较字段、比较字段-（减）校验字段，取单位项小数...
FieldSchema
重要 字段名称必须与数据表中的字段名称相同。field_type FieldType 是 字段类型。更多信息，请参见 数据类型映射。重要 多元索引的字段类型必须与数据表中字段类型相匹配。analyzer string 否 分词器类型。默认值为单字分词。当字段类型为...
文档更新动态（2023年）
新增说明 数据探查全局配置 新建及管理专题分组 MaxCompute物理表和字段详情 查看及管理资产专题 资产全景及目录-数据探查（需开通质量模块才可使用该功能）新增数据探查功能，支持针对物理表、物理视图、逻辑表配置自动探查和手动探查任务...
功能更新动态（2023年）
数据探查全局配置 新建及管理专题分组 MaxCompute物理表和字段详情 查看及管理资产专题 数据探查 新增数据探查功能（需开通质量模块才可使用该功能），支持针对物理表、物理视图、逻辑表配置自动探查和手动探查任务。支持配置探查数据范围...
增强E-R
E-R图能较好的描述业务数据中的关联关系、数据库存储表和字段之间的依赖和关联关系，并通过此关系将业务或数据库存储的逻辑关系沉淀到数据库设计中。随着业务规模的增大和数据库外键性能的降低，越来越多的系统设计采用应用系统来保障业务...
过滤条件不下推
colName2,table2.colName1]*/重要 关闭特定字段的过滤条件下推能力既支持对同一个数据库中的表使用Hint，也支持对不同数据库中的表使用Hint。当3.1.4以下版本，跨库使用Hint时，需要保证两个库中的表名不同，否则Hint可能会影响到不需要...
通过SQL模式创建API（Dataphin表）
前提条件 MaxCompute计算引擎支持逻辑表创建API，需完成以下步骤：基于逻辑表生成API的场景中，需要完成逻辑表（维度逻辑表、事实逻辑表和汇总逻辑表）的创建。具体操作，请参见 规范建模概述。基于创建好的逻辑表，在集成中配置同步任务，...
数据规范
物品详情表 物品详情表至少需要有两个数据字段，其中一个字段为 主键，同时也是 分片字段，其他字段为物品属性字段。表中的记录和物品一一对应，主键 为物品的唯一标识，因此 主键 必须是唯一的。主键 的字段类型必须为 STRING。其他物品...
配置数据过滤转换
数据过滤插件可以对数据进行规则过滤，例如过滤字段的大小等，符合规则的数据才会被保留。前提条件 配置数据过滤节点前，您需要先配置好相应的输入节点，详情请参见 实时同步支持的数据源。操作步骤 进入 数据开发 页面。登录 DataWorks...
数据加工
主表（数据输入1）中的字段和数据将全部展示，次表（数据输入2）中相同的字段对应的数据将在行上进行扩展，不同的字段与数据不会展示。字段列表：展示主表数据输入1的字段。清洗加工 去掉数据表中不需要的列和行，并新增需要的列和行。从...
通过Kettle导入至数仓版
目标表：您需要手动输入 AnalyticDB MySQL版 数据库中的表名。勾选 指定数据库字段。勾选 使用批量插入。在 表输出 的 数据库字段 选项卡中，单击 获取字段 和 输入字段映射，可以设置Excel中的列与 AnalyticDB MySQL版 表中列名间的映射...
Quick BI数据集的维度字段无法转换为度量
问题描述 Quick BI数据集的维度字段，在功能设置中，找不到“转换为度量”的功能选项。问题原因 通过新建计算字段生成的维度字段无法...直接使用数据源表中原始的字段即可直接使用转换为度量的功能将维度字段类型转换为度量。适用于 Quick BI
元数据
背景信息 元数据（字典）是属于数据库本身的一些数据，包含数据库名、数据库字符集、表名、表的大小、表的记录行数、表的字符集、表的字段、表的索引、表的描述、字段的类型、字段的精度、字段的描述等。所有信息均来源于 information_...
配置OceanBase输出组件
快速映射 根据上游的输入和目标表的字段，可以手动选择字段映射。快速映射 包括 同行映射 和 同名映射。单击 确认，完成 OceanBase 输出组件的属性配置。后续步骤 完成输出组件的配置后，即可配置离线单条管道的容错、并发度及内存等参数。...
多表连接
主表 多表连接算子中的 主表 是输入节点中的其中一个节点，主表的作用主要是提供连接的字段与其它节点进行连接操作。系统默认指定第一个输入节点为主表，用户可以自由将其它节点设置为主表。重要 如果已经配置了连接条件，重新设置主表将会...
配置IBM DB2输出组件
本文为您介绍如何配置IBM DB2输出组件。操作步骤 请参见 离线管道组件开发入口，进入离...快速映射 根据上游的输入和目标表的字段，可以手动选择字段映射。快速映射 包括 同行映射 和 同名映射。单击 确认，完成 IBM DB2 输出组件的属性配置。
配置IBM DB2输出组件
本文为您介绍如何配置IBM DB2输出组件。操作步骤 请参见 离线管道组件开发入口，进入离...快速映射 根据上游的输入和目标表的字段，可以手动选择字段映射。快速映射 包括 同行映射 和 同名映射。单击 确认，完成 IBM DB2 输出组件的属性配置。
配置Teradata输出组件
使用限制 不支持写入Teradata数据库的视图。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照如下图操作指引，进入 Teradata输出配置 对话框。在 Teradata输出配置 对话框，...
配置Teradata输出组件
使用限制 不支持写入Teradata数据库的视图。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照如下图操作指引，进入 Teradata输出配置 对话框。在 Teradata输出配置 对话框，...
添加及管理识别结果
基本信息：为您展示表名称和字段名称信息。生效结果：为您展示当前字段生效的数据分类及对应的数据分级、识别方式、优先级、实际匹配度、分类修改时间和更新时间信息。您可对识别结果执行 指定数据分类（未配置数据分类支持）、编辑识别...
添加及管理识别结果
基本信息：为您展示表名称和字段名称信息。生效结果：为您展示当前字段生效的数据分类及对应的数据分级、识别方式、优先级、实际匹配度、分类修改时间和更新时间信息。您可对识别结果执行 指定数据分类（未配置数据分类支持）、编辑识别...
SQL数据类型映射
SQL中字段数据类型 数据表中字段数据类型 多元索引中的字段数据类型 BIGINT Integer Integer VARBINARY（主键）MEDIUMBLOB（属性列）Binary Binary VARCHAR（主键）MEDIUMTEXT（属性列）String KeyWord Text DOUBLE Double Double BOOL ...
配置Vertica输出组件
本文为您介绍如何配置Vertica输出组件。操作步骤 请参见 离线管道组件开发入口，进入离...快速映射 根据上游的输入和目标表的字段，可以手动选择字段映射。快速映射 包括 同行映射 和 同名映射。单击 确认，完成 Vertica 输出组件的属性配置。
概述
Create Table Like Mapping 我们通常的建表语句是要求填写好所有的字段信息的，比如在DLA里面建一个底层映射到MongoDB的表的语法是这样的：create external table person(id int,title varchar(127),age int,create_time timestamp);...
配置Microsoft SQL Server输出组件
本文为您介绍如何配置Microsoft SQL Server输出组件。...快速映射 根据上游的输入和目标表的字段，可以手动选择字段映射。快速映射 包括 同行映射 和 同名映射。单击 确认，完成 Microsoft SQL Server 输出组件的属性配置。
配置Microsoft SQL Server输出组件
本文为您介绍如何配置Microsoft SQL Server输出组件。...快速映射 根据上游的输入和目标表的字段，可以手动选择字段映射。快速映射 包括 同行映射 和 同名映射。单击 确认，完成 Microsoft SQL Server 输出组件的属性配置。
配置PostgreSQL输出组件
本文为您介绍如何配置PostgreSQL输出组件。操作步骤 请参见 离线管道组件开发入口，...快速映射 根据上游的输入和目标表的字段，可以手动选择字段映射。快速映射 包括 同行映射 和 同名映射。单击 确认，完成 PostgreSQL 输出组件的属性配置。
GetMetaTableColumn-获取表的字段信息
0 Position integer 字段在表中的顺序。1 Nullable boolean 字段是否允许为空，返回值说明如下：true：允许为空 false：不允许为空 false DataLength long 字段长度。0 ErrorMessage string 错误信息。TableGuid is mandatory for this ...
配置Vertica输出组件
快速映射 根据上游的输入和目标表的字段，可以手动选择字段映射。快速映射 包括 同行映射 和 同名映射。单击 确认，完成 Vertica 输出组件的属性配置。后续步骤 完成输出组件的配置后，即可配置离线单条管道的容错、并发度及内存等参数。...
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见 ...
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见...
- 产品推荐
- 这些文档可能帮助您