Dataphin公有云多租户环境升级到3.7版本之后，提交...
问题原因 3.7版本之后有做字段类型的强校验，比如逻辑表字段类型是 Double,但来源表中字段类型实际是 String，提交校验的时候就会出现该问题。解决方案 修改逻辑表字段的类型和计算逻辑的类型保持一致即可。适用于 Dataphin公有云多租户3.7...
质量规则模板类型
单字段业务逻辑一致性比较 用于对同一表多个字段的复杂业务逻辑是否正确进行校验。两表字段值一致性比较 用于对不同表两个字段原值进行数据的对比。两表字段统计值一致性比较 用于对不同表两个字段进行统计数据的对比，如求和值、最大值等...
质量规则模板类型
单字段业务逻辑一致性比较 用于对同一表多个字段的复杂业务逻辑是否正确进行校验。两表字段值一致性比较 用于对不同表两个字段原值进行数据的对比。两表字段统计值一致性比较 用于对不同表两个字段进行统计数据的对比，如求和值、最大值等...
Quick BI仪表板图表在添加多个维度字段后，同环比不...
问题描述 Quick BI仪表板图表在添加多个维度字段后，同环比不显示。解决方案 同环比的条件是需要除了日期外的所有维度字段数据都相同，才会进行下一步的同环比数据对比。适用于 Quick BI 适用于v4.4及以下版本
从RDS MySQL数据库获取数据进行数据富化
说明 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时，如果RDS MySQL数据库表字段存在多个相同的值（例如RDS MySQL数据库表有多个值为 1 的 cid 字段。e_table_map函数只获取匹配到的第一行数据。e_table_map函数只支持单行匹配，...
分区
MaxCompute将分区列的每个值作为一个分区（目录），您可以指定多级分区，即将表的多个字段作为表的分区，分区之间类似多级目录的关系。分区表的意义在于优化查询。查询表时通过WHERE子句查询指定所需查询的分区，避免全表扫描，提高处理...
算子级别诊断结果
聚合算子聚合度低 过滤条件没有下推 Join存在数据膨胀 Join的右表过大 存在Cross Join 扫描算子读取字段个数较多 表扫描数据量倾斜 索引不高效 聚合算子聚合度低 问题 聚合算子的聚合度一般指GROUP BY分组聚合操作中的输入数据量和输出数据...
DataV6.0数据集介绍
如果遇到比较复杂的多表，您可以通过创建视图的方式，生成多表联合查询，在左侧可以看到视图的结果，选择视图，查看视图中的内容。设置完成后，单击 下一步，进入 保存数据表 模块，输入数据库的名称和相关描述，单击 创建。创建成功后，...
创建和管理自定义存储表
管理自定义存储表 重要 自定义存储表可应用于数据服务的多个功能，需注意以下几点：SQL分析任务的结果存储到自定义存储表时，自定义存储表的表结构字段已添加并保存。无数据输出的自定义存储表，仅可作为一个数据解析或SQL分析任务的输出...
存储成本优化
您可以指定多级分区，即将表的多个字段作为表的分区，分区之间的关系类似多级目录的关系。在使用数据时如果指定了需要访问的分区名称，则只会读取相应的分区，避免全表扫描，提高处理效率，降低费用。假如最小统计周期为天，建议采用日期...
Kafka增量数据同步至MaxCompute
不允许一个源头表字段映射到多个目标表字段，也不允许一个目标表字段映射到多个目标表字段。调度配置 本实践示例涉及的调度配置要点如下。通用的调度配置指导及全量调度相关参数的介绍请参见 调度配置。配置调度参数。在上述配置数据来源与...
Kafka增量数据同步至MaxCompute
不允许一个源头表字段映射到多个目标表字段，也不允许一个目标表字段映射到多个目标表字段。调度配置 本实践示例涉及的调度配置要点如下。通用的调度配置指导及全量调度相关参数的介绍请参见 调度配置。配置调度参数。在上述配置数据来源与...
场景化建表调优指南
场景6：多表JOIN查询 场景 如果您的查询场景为多表JOIN查询，以TPC-H Lineitem表和Orders表为例，按查询语句 Q4 进行JOIN查询，SQL样例如下：SELECT o_orderpriority,count(*)AS order_count FROM orders WHERE o_orderdate>=date '1996-07...
创建多物理表服务单元
多个物理表间的计算逻辑是JOIN，主表即左连接计算时的左表，其他表则为右表。后续您需要选择左表中的某个字段作为多个物理表的关联字段，该字段在调用API时会作为传参。如果调用SQL语句中没有该字段，则调用API会失败。如果已有的服务单元...
单元格填报
选择 已有表 为对应的 控件 选择写入的 表字段名，将自动匹配表字段名的 字段描述、字段类型，您也可以自定义设置该字段是否为 主键。您可以 添加 和 删除 字段映射行。选择 新建表 您可以新建一张物理表，并自定义填写 表名、表字段名、...
表格填报
选择 已有表 为对应的 控件 选择写入的 表字段名，将自动匹配表字段名的 字段描述、字段类型，您也可以自定义设置该字段是否为 主键。您可以 添加 和 删除 字段映射行 选择 新建表 您可以新建一张物理表，并自定义填写 表名、表字段名、...
数据集填报
选择 已有表 为对应的 控件 选择写入的 表字段名，将自动匹配表字段名的 字段描述、字段类型，您也可以自定义设置该字段是否为 主键。您可以 添加 和 删除 字段映射行。选择 新建表 您可以新建一张物理表，并自定义填写 表名、表字段名、...
映射富化函数
原始日志 data:123 city:nj pop:800 加工规则 e_table_map(tab_parse_csv("city,pop,province nj,800,js sh,2000,sh"),["city","pop"],"province",)加工结果 data:123 city:nj pop:800 province:js 示例8：多个日志匹配字段，且日志匹配...
Quick BI同一个查询控件关联多个图表中的同名字段时...
概述 描述同一个查询控件关联多个图表中的同名字段时，选项值来源设置方法。详细信息 当同一个查询控件关联多个图表中的同名字段时，配置选项值来源选择自动解析即可。适用于 Quick BI
查询及分析日志
查询多字段 查询指定客户端 192.XX.XX.22 访问目的地址 192.XX.XX.54 的访问日志。src_ip:192.XX.XX.22 and dst_ip:192.XX.XX.54 查询字段是否存在 查询包含 cloud_instance_id 字段的日志。cloud_instance_id:*查询不包含 cloud_instance_...
配置数据识别规则
支持.*通配符，如.*name表示以name为后缀，private.*表示以private为前缀，多个表名或字段名请用英文逗号分隔。您可以单击 添加自定义范围 添加多个自定义扫描范围，最多添加10个自定义范围，最终扫描范围取多个自定义范围的并集。设置完...
配置DataWorks平台GDB Writer
{0}-#{1} 表示进行多字段拼接，也可以在任意位置添加固定字符串，例如 test-#{0}-test1-#{1}-test2 是 无 column:columnType 点或边字段映射关系配置 columnType 字段。点或边字段映射字段的分类，支持以下枚举值：primaryKey 表示该字段...
多表合并
用途 多表合并算子可以将多张数据表按照设置的对齐字段进行数据合并。多表合并 算子是 两表并集 算子的高级版本，满足多张数据表合并的需求。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是...
新建事实逻辑表
编辑关联逻辑 关联逻辑 选择事实逻辑表中的字段，并配置事实逻辑表字段与需要关联维度逻辑表中的主键的关系。维表版本策略 选择关联维表的版本（分区），默认使用与主表相同周期分区版本。缺联策略 缺联策略用于定义来源主表（左表）中存在...
新建事实逻辑表
编辑关联逻辑 关联逻辑 选择事实逻辑表中的字段，并配置事实逻辑表字段与需要关联维度逻辑表中的主键的关系。维表版本策略 选择关联维表的版本（分区），默认使用与主表相同周期分区版本。缺联策略 缺联策略用于定义来源主表（左表）中存在...
新建普通维度逻辑表
若来源是多个表，请使用自定义SQL预先完成多表的关联。说明 若您需要配置多个来源对象，您可单击 添加来源对象 进行新增。来源对象 选择 物理表：支持选择当前租户下所有具有读取权限的物理表（非Dataphin自动生成的物理表）、物理视图（非...
新建普通维度逻辑表
若来源是多个表，请使用自定义SQL预先完成多表的关联。说明 若您需要配置多个来源对象，您可单击 添加来源对象 进行新增。来源对象 选择 物理表：支持选择当前租户下所有具有读取权限的物理表（非Dataphin自动生成的物理表）、物理视图（非...
表格问答
4、如果相关表字段需进行文本问答，可打开文本问答按钮，给需要进行文本问答的字段指定字段标签。5、填入分区条件（不填分区条件默认拉取全部分区数据），点击完成等待构建完毕后可在 问答测试 页面测试问答效果。6、构建完毕后在数据配置...
Sensors Data（神策）数据源
脚本示例如下："item":{"itemIdColumn":"item_id","itemType":"testItem","typeIsColumn":false } column 通过index和name参数，来定义来源表字段与目标表字段的映射关系。name（必选）：目标表的字段名称。index（必选）：来源表的字段...
子表查询
UNNEST(simple4.sub_simple4_table)WHERE field_int8>=2 子表字段过滤：SELECT field_int32,field_int32+1 as output FROM simple4,UNNEST(simple4.sub_simple4_table)WHERE field_int8>=2 AND sub_id注意 如果WHERE语句中带有子表字段的...
任务表格视图
设置表格视图表头字段 在表格视图下，任务标题、完成状态、任务列表以及任务的各个字段组成了表头，点击表头最右侧的齿轮按钮可以设置表头：可以添加和管理表头字段 可以打钩去钩设置显示表头字段 可以鼠标点按拖拽排序表头字段的顺序 表格...
查看并管理明细汇总表任务
每个逻辑表节点即多个物化节点的组合，可能存在多个字段或明细汇总表任务节点归属于同一个物化节点。使用说明 规范建模采用动态物化逻辑，因此在可基于物理运维视角和逻辑运维视角进行运维管理：基于物理运维视角：您可能需要通过查看最新...
查看并管理明细汇总表任务
每个逻辑表节点即多个物化节点的组合，可能存在多个字段或明细汇总表任务节点归属于同一个物化节点。使用说明 规范建模采用动态物化逻辑，因此在可基于物理运维视角和逻辑运维视角进行运维管理：基于物理运维视角：您可能需要通过查看最新...
几何求差
本文介绍几何求差算子的使用方法。用途 几何求差算子用于计算主表相...输出字段 配置当前节点输出到下游节点的字段列表，默认包含一个差集结果的几何字段（字段代码difference_result）和主表的全部字段，可按需对主表字段进行删减和重命名。
Dataphin表中存在字段，查询时报错没有该字段
问题描述 本文主要介绍如何解决Dataphin表中...查询表字段存在使用的字段。查找该字段报错没有该字段。问题原因 该问题的原因是数据表在dataphin上元数据不同步导致。解决方案 在数据资产进行元数据的刷新。点击资产>地图>。适用于 Dataphin
任务导出
同时，在设置导出字段的时候，也可以直接拖动调整字段的排序，排序和导出的表头字段对应。二、项目任务导出 在项目中点击任务面板右上角的三个点，即可看到「导出任务」的操作按钮，支持三种导出方式。自定义表头字段导出当前筛选条件下的...
QuickBI数据集同步表结构勾选字段后，为什么字段顺序...
详细信息 在数据源的数据表更新表结构之后，通过数据集勾选新增字段，就会发现字段顺序和默认顺序不同，原因如下：拖拽表建数据集，数据集字段顺序不会同数据源表字段顺序一致，这里会根据维度与度量字段来按先后顺序排序。当手动勾选源表...
查看及管理逻辑表下游对象
逻辑表的下游对象，指引用当前逻辑表字段生成的原子指标和业务限定。本文为您介绍如何查看及管理逻辑表的下游对象。逻辑表下游对象入口 请参见 规范建模入口，进入 规范建模 页面。按照下图操作指引，选择您需查看及管理下游对象的逻辑表，...
查看及管理逻辑表下游对象
逻辑表的下游对象，指引用当前逻辑表字段生成的原子指标和业务限定。本文为您介绍如何查看及管理逻辑表的下游对象。逻辑表下游对象入口 请参见 规范建模入口，进入 规范建模 页面。按照下图操作指引，选择您需查看及管理下游对象的逻辑表，...
新建镜像表
镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 单击 确定。步骤三：预览镜像关系 在镜像表开发页面，页面右侧为您展示 镜像关系预览 面板。在 镜像关系预览 面板，查看实时表、离...
- 产品推荐
- 这些文档可能帮助您