多表连接
连接条件 连接条件指定了两张数据表之间使用哪些字段进行连接，当数据表中某条数据（假定为a）的所有连接字段的值与另一张数据表某条数据（假定为b）的所有连接字段的值相同，则这a、b两条数据成功连接。多表连接算子支持指定多张数据表...
质量规则参数配置
稳定性 统计值（1天波动率、7天波动率、30天波动率）与1天、7天、30天前采集的表行数进行比较，对比波动率，再与设定的阈值进行比较，只要有一个不符合规则，则触发报警。自定义SQL 异常行数/正常行数/异常率/正常率 正常行数：唯一值行数...
质量规则参数配置
稳定性 统计值（1天波动率、7天波动率、30天波动率）与1天、7天、30天前采集的表行数进行比较，对比波动率，再与设定的阈值进行比较，只要有一个不符合规则，则触发报警。自定义SQL 异常行数/正常行数/异常率/正常率 正常行数：唯一值行数...
索引、属性、字段作用详解
字段另一个用法就是需要与数据源的字段进行映射，因为字段是OpenSearch里定义的，所以如果需要通过数据源导入数据到OpenSearch的话，就需要将数据源的字段与OpenSearch的字段做映射（类型匹配，字段名称与内容对应）。温馨提示：这里的对...
数据建模
标准字典值校验 对应分区，字段值与对应数据字典的值编码进行比较，字段值全部存在于字典的值编码中的，则规则通过。自定义SQL规则：单表自定义SQL：除了表和字段不支持的规则外的其他自定义SQL规则返回值和期望值做对比。说明 Select结果...
文档更新动态（2023年）
更新说明 创建全域数据表规则 创建数据表质量规则 资产安全-敏感数据识别 安全扫描适配分区字段不是ds或者无分区的情况，采用 全表扫描+Limit条数 的方式进行扫描。数据目录、个人中心、数据表基本信息中支持展示表字段的最高数据分级。...
功能更新动态（2023年）
创建全域数据表规则 创建数据表质量规则 数据安全 安全扫描适配分区字段不是ds或者无分区的情况，采用 全表扫描+Limit条数 的方式进行扫描。数据目录、个人中心、数据表基本信息中支持展示表字段的最高数据分级。创建、配置及手动触发识别...
通用参考
输入数据中存在冲突 在原始日志中包含大小写不敏感重复的字段时，如某一条日志同时存在 Status、status 两个字段，SPL会随机选取其中一个字段作为输入，舍弃另一列；举例如下：SPL语句*|extend status_cast=cast(status as bigint)输入数据...
MongoDB数据源
可以通过赋值节点将字段处理为目标数据类型后，再传入数据集成进行数据同步。例如，当MongoDB存储的增量字段为时间戳，您可以通过赋值节点将时间类型字段通过引擎函数转换为时间戳，再传给离线同步任务使用，关于赋值节点的使用详情请参见...
交叉表
其中一组列在表的左侧，另一组列在表的上部。行和列的交叉处可以对数据进行多种汇总计算，例如求和、平均值、记数、最大值和最小值。本文为您介绍如何为交叉表添加数据并配置样式。前提条件 已创建仪表板，请参见 新建仪表板。图表概述 ...
离线同步常见问题
odps端该表字段指定的字段大小小于MySQL端该字段数据大小。数据同步原则：来源端数据源的数据要能写入目的端数据源（来源端和目的端类型需要匹配，字段定义的大小需要匹配），即源端数据类型需要与写端数据类型匹配，源端是VARCHAR类型的...
索引、属性、字段作用详解
字段另一个用法就是需要与数据源的字段进行映射，因为字段是OpenSearch里定义的，所以如果需要通过数据源导入数据到OpenSearch的话，就需要将数据源的字段与OpenSearch的字段做映射（类型匹配，字段名称与内容对应）。温馨提示：这里的对...
使用拆分字段
拆分原则 数据表拆分的首要原则，就是要尽可能找到数据表中的数据在业务逻辑上的主体，并确保大部分（或核心的）数据库操作都是围绕这个主体的数据进行，然后可使用该主体对应的字段作为拆分字段，进行分库分表。选择业务逻辑主体 业务逻辑...
数据加工
当任一表中的值在另一个表中没有匹配项时，将在数据视图中看到null值。两个关联的表中如果有相同的字段，将自动对字段进行重命名。查看数据详情。支持查看 数据探查、数据详情 和 字段列表。数据加工完成后，您可以将加工后的数据导出。请...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
CREATE INDEX
索引定义中使用的所有函数和运算符必须是“不可变”的，其结果必须仅依赖于其参数，并且绝不会依赖于任何外部影响（例如另一个表的内容或当前时间）。此限制确保正确地定义索引的行为。要在索引表达式中使用用户定义的函数，请记住在创建...
数据规范
物品详情表 物品详情表至少需要有两个数据字段，其中一个字段为 主键，同时也是 分片字段，其他字段为物品属性字段。表中的记录和物品一一对应，主键 为物品的唯一标识，因此 主键 必须是唯一的。主键 的字段类型必须为 STRING。其他物品...
新建事实逻辑表
③ 字段列表 字段列表为您展示字段的 序号、字段名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 等字段的详细信息。序号：表字段序号。每新增1个字段，自增+1。字段名称：表字段名称。您可...
新建事实逻辑表
③ 字段列表 字段列表为您展示字段的 序号、字段名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 等字段的详细信息。序号：表字段序号。每新增1个字段，自增+1。字段名称：表字段名称。您可...
通过向导模式配置离线同步任务
说明 当源端某字段未与目标端字段进行映射时，源端该字段数据将不会同步到目标端。支持同名映射、同行映射。在使用过程中，您还可以：为目标字段赋值：通过 添加一行 的方式，为目标表添加常量、变量。例如，‘123’，'${变量名}'。说明 在...
新建普通维度逻辑表
④ 字段列表 字段列表为您展示字段的 序号、字段名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 等字段的详细信息。序号：表字段序号。每新增1个字段，自增+1。字段名称：表字段名称。您可...
新建普通维度逻辑表
④ 字段列表 字段列表为您展示字段的 序号、字段名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 等字段的详细信息。序号：表字段序号。每新增1个字段，自增+1。字段名称：表字段名称。您可...
空间关联
A和B存在部分公共点但不存在一个包含另一个的情况，并且相交区域的维度与A、B相同 5、A在B内部：A的所有点都不位于B的外部，并且A至少有一个点位于B的内部 6、A与B交叉：A与B至少有一个内部的公共点，并且A与B互相不包含 关联逻辑示意图...
基本概念
固定值：是指数据质量运行的一行一列结果与期望的固定值进行比较，根据比较条件判断质量结果执行是否通过。趋势：指的是质量规则设定的模式，分为固定值、固定值和固定值比较，以及固定值波动率比较。数据建模 数据模型：是数据特征的抽象...
几何求差
本文介绍几何求差算子的使用方法。用途 几何求差算子用于计算主表相...输出字段 配置当前节点输出到下游节点的字段列表，默认包含一个差集结果的几何字段（字段代码difference_result）和主表的全部字段，可按需对主表字段进行删减和重命名。
数据集成服务
具体数据源配置如下：源数据源：MaxCompute数据源 目标数据源：Tablestore数据源 同步表格存储数据表中数据到另一个数据表 表格存储数据表数据只支持迁移到表格存储另一个数据表中。迁移过程中会使用到表格存储的Reader脚本配置和Writer...
创建文件数据源
已有CSV文件，如果需要追加或替换Excel文件中的某个Sheet下的数据时，只要保持新数据文件的字段名和字段数据类型与历史上传数据文件的字段名和字段数据类型一致即可。在完成第一次的业务数据文件上传后，新追加或替换的文件字段顺序及数据...
结构设计
结构变更 中的模板如下所示：检测点 模板 保存编辑，校验表头 新建表，禁止表名为关键字 新建表，限制表名长度 新建表，表必须填写备注 新建表，限制表名全部小写 新建表，必须要有主键（PK）新建表，必须要有唯一键（PK/UK）索引数量合理...
公共规范
数据冗余 一个表做宽表冗余维度属性时，应该遵循以下建议准则：冗余字段与表中其它字段高频率（大于3个下游应用SQL）同时访问。冗余字段的引入不应造成其本身的刷新完成时间产生过多后延。公共层数据不允许字段重复率大于60%的相同粒度数据...
概述
汇总表 您可以结合业务数据分析和数仓分层，将一些明细的事实数据和维度数据先进行汇总分析，创建汇总表，后续数据分析时直接取用汇总表中的数据即可，无需再取用明细表和维度表中的数据。逆向建模 逆向建模主要用于将其他建模工具生成的...
表设计规范
如果有多个事实表（不包括维度表）进行JOIN，应将作为查询条件的字段置为分区列。选择GROUP BY或DISTINCT包含的列作为分区列。选择值分布均匀的列，而不要选择数据倾斜的列作为分区列。常用SQL语句中如果包含某列的等值或IN的查询条件，则...
常见问题
有的同一数据集的两个表可以用高级联动功能，而有的同一个数据集的两个表却不能使用高级联动功能？图表联动设置时提示“请设置维度关联关系，并关联非同源字段”？指标看板中没有维度，不能设置联动么？仪表板可以创建事件吗？例如单击A...
数据准备与预处理
本示例的数据预处理主要包括三个处理流程：将原始数据表中，取值为非数值类型的字段，通过SQL替换为数值类型的取值，以保证此预处理后，表中所有字段的取值都是数值类型。将表中字段转换为double类型，以保证此预处理后，表中字段均满足...
SQL其他常见问题
由于MaxCompute中DOUBLE类型的数值存在一定的精度差，因此不建议直接使用等号（=）对两个DOUBLE类型的数据进行比较。请对两个DOUBLE类型数据相减，然后取绝对值，当绝对值足够小时，判定两个DOUBLE类型的数据数值相等。如何解决DECIMAL数据...
配置示例：MaxCompute
配置关联调度 如果您需要在生产链路上监控离线数据质量，需要将数据质量规则与产出表数据的调度节点进行关联：产出表数据的调度节点必须发布后才可以关联调度。关联前，请确保您在关联的两个工作空间中，同时拥有 管理员、开发 或 运维 中...
创建并管理数据集
如果做了数据库迁移，您可以使用切换数据源功能，将数据集对应的数据表从一个数据源切换至另一个。例如把数据从MaxCompute同步到了ADB，但之前已经基于MaxCompute的数据表制作了数据集及仪表板，您可以单击 切换数据源，Quick BI会自动改为...
DML操作常见问题
使用INSERT和WHERE条件，将需要的数据导入到另一个新分区或新表中。INSERT支持源表和目标表相同。insert overwrite table sale_detail select*from sale_detail where name='mengyonghui';如果表数据量较大，如何删除非分区表中的重复数据...
函数总览
满足条件则进行对应操作，不满足条件则不进行对应操作，直接进行下一个条件判断。对于某一条日志，如果其中某一操作删除了日志，则不会再执行后续操作。e_if_else 根据条件判断的结果进行对应操作。e_switch 条件与操作的组合。满足条件则...
DLA Lakehouse实时入湖
数据库路径 数据表路径 数据表文件 进行数据分析。工作负载任务启动成功后，在 数据湖管理>元数据管理 页面中，查看从RDS数据源同步过来的元数据信息。单击 操作 列的 查询数据，在 Serverless Presto>SQL执行 页面，查看从RDS数据源同步...
离线同步能力说明
示例：创建一个离线同步任务，每天从源MySQL订单表中同步前一天新产生的订单数据到MaxCompute目标表的当天分区，原表订单的创建时间字段为 gmd_created,目标odps表的分区字段为 ds，可以将任务配置如下：同步任务配置：调度参数配置：订单...
- 产品推荐
- 这些文档可能帮助您