管理健康报告
表分析 该页面展示数据表的查询热度、查询SQL类型、数据分布均衡度等相关的指标，为优化数据表提供判断依据。主要指标如下表所示。指标 说明 SQL执行次数 是指包含这张表的SQL的总执行次数。一般的，表的执行次数越多，越需要对表设计进行...
质量规则模板类型
数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...
质量规则模板类型
数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...
AUTO OPTIMIZE语句
参数说明 类别 参数 说明 单位和默认值 表监控相关参数 auto-optimize.table-monitor.interval 每隔多长时间对表进行一次监控来判断是不是应该对表进行优化。您可以根据您的期望，设置该参数值的大小。建议如下：如果您期望尽早对表进行...
恶意行为防御自定义规则最佳实践
进程hash 告警加白规则配置：收到如下图所示的MD5误拦截告警，则加白规则配置参考下表。说明 系统通过 恶意文件md5 字段判断，拦截恶意文件MD5。配置项 说明 规则名称 建议按照误拦截告警规则命名，例如误报的挖矿程序加白。规则类型 选择 ...
创建单物理表服务单元
在编辑单物理表服务单元时，如果系统判断到源表字段已删除，则支持删除该服务单元字段，提交配置后，在引用该服务单元新建API时，不会有该字段，避免调用API时因源表字段不存在而失败。服务单元字段描述 填写对服务单元字段简单的描述。...
查看热点表信息
您可以通过控制台查看热点表信息，判断延迟是否由于热点表所导致，并根据实际情况开启热点合并功能以降低任务延迟。前提条件 已创建同步或迁移实例。若为迁移实例，需要包含 增量迁移 任务。注意事项 当源库增量变更的数据同步或迁移到目标...
查看并管理已提交实例
整个补数据实例的运行状态，根据所有业务日期的归一状态判断，判断逻辑如下表。补数据实例存在暂停的实例时，补数据状态 除展示 归一状态 外，也将展示当前补数据下是否存在暂停的实例，存在部分暂停的实例则展示为 部分暂停，所有实例均为...
查看并管理已提交实例
整个补数据实例的运行状态，根据所有业务日期的归一状态判断，判断逻辑如下表。补数据实例存在暂停的实例时，补数据状态 除展示 归一状态 外，也将展示当前补数据下是否存在暂停的实例，存在部分暂停的实例则展示为 部分暂停，所有实例均为...
Dataphin修改了维度逻辑表的字段类型，为什么维度逻辑...
解释如下：维度逻辑表的物化拆分，涉及产出时间、行为属性（字段来源）、主外键冗余、主子维度冗余、汇总表时间周期等因素，而修改字段类型，会致使模型版本刷新，建立新的物理表，及判断新的字段类型是否兼容。适用于 Dataphin 说明：本文...
依赖关系
如果下游节点同时配置上了依赖多个任务，是否需要依赖所有节点需要您进行业务判断，如果表数据有强相关依赖的，建议将所有节点都设置上依赖关系。节点是否需要设置依赖关系，请参考 为什么要设置调度依赖 例如，下游节点C同时依赖日调度...
全局二级索引
支持通过HINT指定索引，自动判断是否需要回表。示例1：增加拆分维度。例如，对于在线商城的订单表，假设按照买家用户维度拆分，那么对于卖家查询（例如，查询某个卖家的本月所有订单）就需要扫描所有分区。但是借助全局二级索引，可以仅仅...
全局二级索引
支持通过HINT指定索引，自动判断是否需要回表。常见问题 Q：全局二级索引能够解决什么问题？A：如果查询的维度与逻辑表的拆分维度不同，会产生跨分片查询。跨分片查询的增加会导致查询卡慢、连接池耗尽等性能问题。GSI能够通过增加拆分维度...
时序表操作
重要 在时序表中，系统判断数据产生时间以用户传入的时间列为准，并非数据写入表中的时间。取值：大于等于86400秒（一天）或-1（数据永不过期）。示例 创建名称为mytable的时序表，表中数据永不过期。create-m timeseries-t mytable-ttl-1 ...
车场心跳数据缺失
此时就要查询边缘车行应用的日志,确认边缘车行应用调用API 写入边缘数据模型表的日志，是否有异常 3.2 方案二 车场心跳缺失 如果是边缘车行应用直接调用API 写云端的数据模型表,先要判断iot中台是否有心跳数据 3.2.1 查看iot中台数据...
导入场景
ifBegin 判断指令开始节点 ifEnd 判断指令结束节点 表 3.节点配置类型 类型 YAML脚本字段 PTS API压测字段 chain accessId 协议ID。beginStep 虚拟用户模式时表示业务会话上的起始虚拟用户；RPS模式时表示API上的起始RPS。checkPoints 检查...
通过控制台使用分析存储
重要 在时序表中，系统判断数据产生时间以用户传入的时间列为准，并非数据写入表中的时间。取值必须大于等于86400秒（一天）或者必须为-1（数据永不过期）。在 创建时序表 对话框，创建分析存储。重要 一个时序表只能创建一个分析存储。...
CREATE TABLE AS
[IF NOT EXISTS]判断新创建的表是否已存在，若存在则跳过。src_table_name 源表或视图（VIEW）名称，即要复制的表或视图名称。说明 Hologres从 V2.1.21版本开始，支持将视图（VIEW）作为数据源，即支持复制视图的结构和数据创建表。select_...
手工表概述
将校验成员对表的权限，判断该成员是否能查看、编辑或改表结构。修改表结构：支持通过DDL导入和从表引入方式修改表数据。表详情：查看表的详情信息，包括 数据表名、负责人、手工表最近修改人、手工表最近修改时间、表描述、表结构。版本：...
手工表概述
将校验成员对表的权限，判断该成员是否能查看、编辑或改表结构。修改表结构：支持通过DDL导入和从表引入方式修改表数据。表详情：查看表的详情信息，包括 数据表名、负责人、手工表最近修改人、手工表最近修改时间、表描述、表结构。版本：...
导入场景
ifBegin 判断指令开始节点 ifEnd 判断指令结束节点 表 3.节点配置类型 类型 YAML脚本字段 PTS API压测字段 chain accessId 协议ID。beginStep 并发模式时表示串联链路上的起始并发；RPS模式时表示API上的起始RPS。checkPoints 检查点配置：...
基于PostgreSQL标准权限模型授权
在标准的PostgreSQL授权语句中，您需要根据Ownership来判断是否可以删除表。可以删除表的角色如下：表的Owner（即建表者）。表所在Schema的Owner。Superuser 在PostgreSQL中，系统会默认创建表的用户为表的Owner，拥有该表的所有权限，包括...
时序表操作
重要 在时序表中，系统判断数据产生时间以用户传入的时间列为准，并非数据写入表中的时间。取值必须大于等于86400秒（一天）或者必须为-1（数据永不过期）。创建分析存储 分析存储功能主要用于时序数据长期存储和分析场景。使用分析存储...
通过控制台使用时序模型
重要 在时序表中，系统判断数据产生时间以用户传入的时间列为准，并非数据写入表中的时间。取值必须大于等于86400秒（一天）或者必须为-1（数据永不过期）。创建分析存储 分析存储功能主要用于时序数据长期存储和分析场景。使用分析存储...
DescribeDBInstanceDataBloat-查看数据膨胀相关信息
期望表大小为系统判断没有膨胀情况下的表大小。1MB RealTableSize string 实际表大小。1.2MB BloatSize string 膨胀表的大小，为可释放的空间量。0.2MB BloatCeoff string 数据膨胀的系数，膨胀系数计算公式如下：系统统计的死行数/系统...
SQL其他常见问题
如何将开发环境的表数据同步至生产环境的表中？如何判断一个字段是否为空？是否可以通过DataWorks的Shell节点调取MaxCompute SQL？如何在SQL中实现循环？如何在SQL中调用赋值节点？SQL作业查看 如何查看MaxCompute日执行的所有SQL？如何...
分布键Distribution Key
两表Join字段未都设置为Distribution Key 在两表关联（Join）的场景，如果两表Join字段在对应表里未都设置为Distribution Key，那么查询时数据就会在各个Shard Shuffle（执行计划会根据关联的两个表大小，来判断是进行Shuffle还是Broadcast...
创建应用
否，请继续判断。应用的业务表达或接入数据中，是否存在地理信息系统业务或地理数据。是，请继续判断。否，请使用平面类型。地理信息系统提供的数据中，是否包含了几何信息（如二维瓦片、三维瓦片等）。是，请继续判断。否，请使用平面类型...
解决MDL锁导致无法操作数据库的问题
其他需要操作表 sbtest2 的会话中，从 Id 为 267 会话的 State 列状态可以判断，此会话正在对表 sbtest2 进行操作，造成了阻塞。说明 本文以状态 Sending data 为例，请根据实际的会话状态进行判断。您也可以用如下命令查询长时间未完成的...
数据导入性能优化
然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法。通用外表导入数据调优 检查分布键 分布键决定着数据导入的一级分区，每个表在导入时以一级...
数据导入性能优化
然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法。通用外表导入数据调优 检查分布键 分布键决定着数据导入的一级分区，每个表在导入时以一级...
日志投递MaxCompute后，如何检查数据完整性
使用保留字段_partition_time_作为表分区列，如何判断分区数据是否已完整_partition_time_由日志的time字段计算得到，由日志的真实时间按照时间格式字符串向下取整得出。其中，日志真实时间既不是投递数据的时间，也不是日志写入服务端时间...
配置数据质量监控
2、配置监控规则 表ods_raw_log_d用于接收从OSS同步过来的网站访问记录，为用户画像分析场景源头表，所以为避免后续无效加工及质量问题，我们针对该表配置表行数大于0的强监控规则，来判断同步任务是否往该表该分区写入数据。当监控到ods_...
配置数据质量监控
2、配置监控规则 表ods_raw_log_d用于接收从OSS同步过来的网站访问记录，为用户画像分析场景源头表，所以为避免后续无效加工及质量问题，我们针对该表配置表行数大于0的强监控规则，来判断同步任务是否往该表该分区写入数据。当监控到ods_...
REPLACE INTO
写入数据时，会先根据主键判断待写入的数据是否已经存在于表中，并根据判断结果选择不同的方式写入数据：如果待写入数据已经存在，则先删除该行数据，然后插入新的数据。如果待写入数据不存在，则直接插入新数据。说明 本文所指的主键既...
可视化图表概述
表格类 图表名称 样例 适用场景 数据要素 交叉表 用于多维度、多指标交叉分析场景，通过多指标交叉分析并进行决策判断。行 列 明细表 用于指标在维度中展示详细数据的分析场景，通过分布及排名顺序等不同角度的明细数据分析并进行决策判断...
CREATE TABLE AS SELECT（CTAS）
IF NOT EXISTS 判断 table_name 指定的表是否存在，若存在，则不执行建表语句。IGNORE 可选参数，若表中已有相同主键的记录，新记录不会被写入。REPLACE 可选参数，若表中已有相同主键的记录，新记录将替换已有相同主键的记录。示例 本示例...
新建及管理数据分类
按表中文名扫描：根据数据表的中文名称进行扫描判断。正则（大小兼容）：在输入框中输入正则表达式。例如您需要匹配所有名称中带有 信息，则正则表达式定义为.*信息.*。正则表达式：在输入框中输入正则表达式。例如您需要匹配所有名称中带...
新建及管理数据分类
按表中文名扫描：根据数据表的中文名称进行扫描判断。正则（大小兼容）：在输入框中输入正则表达式。例如您需要匹配所有名称中带有 信息，则正则表达式定义为.*信息.*。正则表达式：在输入框中输入正则表达式。例如您需要匹配所有名称中带...
MERGE INTO
命令格式 merge into<target_table>as<alias_name_t>using|table_name>as<alias_name_s>-从on开始对源表和目标表的数据进行关联判断。on<boolean expression1>-when matched…then指定on的结果为True的行为。多个when matched…then之间的...
- 产品推荐
- 这些文档可能帮助您