使用全局临时表
同时，全局临时表在表上和列上的统计信息也是在会话间独立的，这是为了让全局临时表相关的查询获得更优的查询计划。全局临时表支持手动进行vacuum 和analyze，用于清理垃圾数据和收集统计信息。示例 create global temp table gtt1(a int ...
使用全局临时表
同时，全局临时表在表上和列上的统计信息也是在会话间独立的，这是为了让全局临时表相关的查询获得更优的查询计划。全局临时表支持手动进行vacuum 和analyze，用于清理垃圾数据和收集统计信息。示例 create global temp table gtt1(a int ...
两表关联分析
根据某左表/右表，统计未关联的比例，即关联异常比例；根据表中某个分析字段，统计未关联、已关联的数据分布、维度分析。常用于检查行为数据的可用性、id唯一性，特征是否可用等。重要 业务时间，是对落盘到对应日期分区内的数据，而非统计...
腾讯广告数据
当选择 日期-广告名称 时，详细数据表将首先按日期显示统计数据，并在每行（每个日期）前提供 箭头图标，单击即可展开该日期中按广告名称的详细数据。当 报表形式 为人群时，详细数据 区域右上角显示一对 省份、市级 按钮，用于切换详细...
查看资源使用情况-半托管
仅统计已发布到生产环境（Basic项目下的任务提交即发布）、周期调度的任务或表；不统计手动任务，不限制生成的周期实例数量。实时集成任务和实时计算任务单独售卖，不纳入数据处理单元统计。达到资源使用上限后，所有类型的任务均无法继续...
全景视角
背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角：在数据资产管理、数据安全加固、数据权限管理等数据管理场景下，建议您使用数据管理视角，关注查看数据管理过程中，表的统计数据、安全权限...
广告监测数据
当选择 日期-活动组 时，详细数据表将首先按日期显示统计数据，并在每行（每个日期）前提供 箭头图标，单击即可展开该日期中按活动组的详细数据。当 报表形式 为人群报表时，详细数据 区域右上角显示一对 省份、市级 按钮，用于切换详细...
查看资源使用情况-全托管
仅统计已发布到生产环境（Basic项目下的任务提交即发布）、周期调度的任务或表；不统计手动任务，不限制生成的周期实例数量。达到资源使用上限后，所有类型的任务均无法继续发布 说明 为您展示折算后的数据处理单元数量。基础研发版和敏捷...
管理字段
表中，中央横线的上方创建的字段就是主键字段，字段前会有一个红色的标志。外键是指一个表的外键为另一个表的主键，外键可以重复，允许空值。外键字段是与带有主键的父表，建立主键关联后生成的字段，字段前会有一个 标志。DDM提供两种创建...
常见问题以及改进措施
Hash Join中，右表创建Hash，左表去右表中查找符合条件的数据，一般右表要尽量小于左表，以减少创建Hash表的开销以及Hash表的大小。您可以通过检查Join表过滤后的大小来查看对应的左右表选择是否合理。但由于还有多表Join的中间结果，以及...
DescribeAppStatistics-获取应用版本的统计结果
LCU）result.quota.instance.quota Integer 配额容量（单位：GB）result.quota.instance.outOfLimit Boolean 是否超出配额 result.quota.instance.tables Object 各数据表使用统计结果 键名为表名，值为使用容量 result.quota.qps Object ...
创建原子指标
统计周期标识 统计周期标识可指定某一个事件（业务过程）的发生时间字段。仅支持流程事实逻辑表（df表）和维度逻辑表，不支持事件事实逻辑表（di表）（也可以理解为默认为ds分区字段）。计算逻辑 编写定义原子指标的计算逻辑。例如 count...
创建原子指标
统计周期标识 统计周期标识可指定某一个事件（业务过程）的发生时间字段。仅支持流程事实逻辑表（df表）和维度逻辑表，不支持事件事实逻辑表（di表）（也可以理解为默认为ds分区字段）。计算逻辑 编写定义原子指标的计算逻辑。例如 count...
设置优化器的Join Reorder
为了提高列存索引（IMCI）处理复杂查询的能力，列存索引优化器通过结合变换规则与表中各个列的统计信息，基于代价生成高效的执行计划，以此来增强自身的优化器能力。本文介绍列存索引查询优化功能的工作原理、使用方法以及使用限制等内容。...
Dataphin根据周期快照事实表生成的指标获取数据为空
问题描述 Dataphin根据周期快照事实表生成的指标获取数据为空。问题原因 原子指标配置的统计周期标识字段hh是系统生成的分区字段，在统计周期的SQL翻译中，TO_CHAR(TO_DATE(HH,'yyyymmddhhmiss'),'yyyymmddhhmiss')假设HH=06，则会将该数据...
进入数据质量概览（新版）
TOP质量问题概况 根据问题质量规则数排行，为您统计截止到所选时间内的TOP10质量问题表及质量问题负责人列表，您可以单击右上角的查看更多，进入 任务查询 界面了解表历史校验记录及校验详情，并及时处理。说明 质量规则负责人为数据表分区...
支持的连接器
在这个作业中，订单表作为驱动源表输入，用户信息表作为静态维表，统计结果表作为作业最终输出。订单表不能作为维表，必须作为驱动表输入数据；而用户信息表不能作为驱动表，只能作为辅助维表补充订单数据。支持的连接器 连接器 支持类型 ...
列存索引配置参数说明
说明 如果查询语句中涉及的表没有统计信息，或未启用列存索引的基数估计和代价计算功能，即使该参数设置为ON，列存索引的join reorder功能也不会启用。loose_imci_ap_threshold 分发至列存节点的SQL语句的预估执行代价阈值。取值范围：1~...
性能调优
统计信息不更新的原因有如下两点：表的统计信息未过期。统计信息默认过期比例是0.1（10%），即数据变化量（Update、Delete、Insert或Replace）需要超过10%才会更新。如果数据变化量不大，可以再观察一周继续正常使用即可。表和列太多且数据...
功能更新动态（2023年）
新建统计周期 规范建模 支持创建无指标汇总逻辑表。业务限定支持根据不同业务日期区间配置不同的计算逻辑。新建汇总逻辑表 创建业务限定 计算任务 支持完整数据下载，可下载查询语句的完整结果。下载审批支持通过 管理中心-数据下载 进行...
结果错误
执行完成后结果表为空 报错信息 任务执行完成后，结果表为空。解决方法 目前部分用户是通过直接在本地odpscmd或者DataWorks中执行任务，通过命令启动任务后，随即就对电脑进行锁屏，此时本地执行的任务实际已经中断，因为任务实际上是多个...
文档更新动态（2023年）
新增说明 通知设置 逻辑表字段和业务限定运算符优化 逻辑表字段配置优化，可设置资产治理相关属性，如可为字段匹配词根、标准、设置字段是否唯一、是否为空和字段的安全分类。业务限定逻辑运算符优化，通过 与、或、非 三种逻辑运算符，...
ANALYZE
ANALYZE命令用于收集表数据统计信息来获取元数据，为优化查询性能提供帮助。命令格式 非分区表。analyze table<table_name>compute statistics for columns[([,<col_name>.])];分区表。analyze table<table_name>partition()compute ...
通过文件管理优化性能
Data skipping 当你向Delta表中写入数据时，Delta Engine会自动收集表的前32列的统计信息（最小最大值，为空的行的数量）以提升查询效率。该特性是自动开启的，不需要进行任何配置。收集长字符串列的统计信息开销会很大，为了避免Delta ...
聚合函数
统计sensor表中device_id为F07A1260的行数。SELECT COUNT(*)FROM sensor WHERE region='F07A1260';统计sensor表的行数。SELECT COUNT(*)FROM sensor;MAX 返回指定列的最大值。语法 MAX(column_name)参数说明 参数 描述 column_name 列名。...
查看物理表监控明细
物理表监控明细为您展示物理表的质量监控报告详情，包含质量评分、质量评分规则统计、表质量评分详情、字段质量详情，通过查看物理表维度最新质量评估结果，方便研发运维人员第一时间发现并定位物理表质量问题。本文介绍如何查看物理表监控...
查看物理表监控明细
物理表监控明细为您展示物理表的质量监控报告详情，包含质量评分、质量评分规则统计、表质量评分详情、字段质量详情，通过查看物理表维度最新质量评估结果，方便研发运维人员第一时间发现并定位物理表质量问题。本文介绍如何查看物理表监控...
调优集群性能
统计信息过期或者统计信息评估不准 当Join操作的两表不是源表，而是经过了多次的聚合、过滤、其他Join等计算后，基于源表的统计信息很难准确统计两表的大小。或者当统计信息过期，没有及时更新，也会错误选择了较大的表作为Build表，并为其...
数仓构建流程
下图为MaxCompute数据仓库构建的整体流程。...如果您需要统计全表的数据，则粒度为全表。在指定粒度时，您需要充分考虑到业务和维度的关系。统计粒度常作为派生指标的修饰词而存在。基本概念之间的关系和举例如下图所示。
06物理表质量监控明细
物理表监控明细为您展示物理表的质量监控报告详情，包含质量评分、质量评分规则统计、表质量评分详情、字段质量详情，通过查看物理表维度最新质量评估结果，方便研发运维人员第一时间发现并定位物理表质量问题。本文介绍如何查看物理表监控...
数仓构建流程
本文为您介绍构建MaxCompute数据仓库的流程。...如果您需要统计全表的数据，则粒度为全表。在指定粒度时，您需要充分考虑到业务和维度的关系。统计粒度常作为派生指标的修饰词而存在。基本概念之间的关系和举例如下图所示。
统计MaxCompute TOPN费用账号及耗时作业
进入DataWorks数据开发界面，创建ODPS SQL节点（topn）并配置定时调度，用于定时将cost_topn表中统计的数据写入user_ram表。完成后单击左上角 图标保存。创建ODPS SQL节点操作，请参见 创建ODPS SQL节点。ODPS SQL节点运行的命令示例如下：...
数仓构建流程
如果您需要统计全表的数据，则粒度为全表。在指定粒度时，您需要充分考虑到业务和维度的关系。统计粒度也被称为粒度，是维度或维度组合，一般用于派生指标构建，是汇总表的唯一性识别方式。基本概念之间的关系 具体示例
新功能发布记录
弹性物化视图 列组统计信息 列组统计信息收集同一张表多个列的统计信息，描述多个列之间的关联程度。统计信息 手动收集分区统计信息 湖仓版（3.0）集群支持使用 ANALYZE TABLE 命令全量收集OSS外表分区的基础统计信息。收集分区统计信息 可...
DELETE
结果有效，但表为空。说明 TRUNCATE 命令提供删除表中所有行的更快机制。仅当在 SPL 程序中使用 DELETE 命令时，才能指定 RETURNING INTO { record|variable[,.]} 子句。另外，DELETE 命令的结果集不得包括多个行，否则会引发异常。如果...
ListMessageMetrics-获取短信发送统计
接口说明 获取[开始日期,结束日期]闭区间内的数据，返回数据按日期升序排列，发送统计为空的日期不返回。发送数据在 48 小时内会随实际短信发送状态不断更新，最终数据以 48 小时后数据为准。调试 您可以在OpenAPI Explorer中直接运行该...
Dataphin汇总逻辑表可以查询到数据，但是count统计为0
问题原因 汇总表是一张稀疏表，查询主键的时候需要和具体的派生指标一起查询才有意义，如果单独查询主键，dataphin会随机选择一张物化表查询主键，刚好那张物化表是空的。解决方案 通过嵌套子查询的方式进行count统计，子查询里面有查询了...
通过任务编排实现跨库数据同步
创建统计表t_order_report_daily的SQL语句：CREATE TABLE `t_order_report_daily`(`dt` varchar(64)NOT NULL COMMENT '统计日期',`product_type` varchar(64)NOT NULL COMMENT '产品类型',`cnt` bigint(64)NOT NULL COMMENT '笔数',`amt` ...
我是数采实施商
excel点表介绍 什么是模板表（全称为技术属性模板表）什么是设备表（全称为设备配置表）什么是点位表（用于离散点位管理）以一个例子来展开说明3张表的差异，假设工厂中通过PLC接入了 10个电机、1个机械臂，且10个电机在PLC协议地址空间中...
Grouping Sets
(size),())如上所示，是grouping sets的典型使用场景，我们想对手机表分别根据品牌和尺寸统计其价格，并统计整个手机表所有手机的价格，这样我们的group by就有三个子集brand（根据品牌统计），size（根据尺寸统计，空）（统计所有手机价格...
- 产品推荐
- 这些文档可能帮助您