配置汇总逻辑表属性
参数 描述 基本信息 统计粒度 当前汇总逻辑表的统计粒度信息，不支持修改。英文名称 当前汇总逻辑表的英文名称信息，不支持修改。中文名称 支持配置当前汇总逻辑表的中文名称。支持 汉字、字母、数字、下划线（_）或 中划线（-），64个字符...
系统表
hologres_statistic.hg_table_statistic Hologres的统计信息表，用于多节点共享统计信息存储。pg_catalog.pg_stats PostgreSQL原生统计信息表，在单节点本地直接供planner使用。pg_catalog.pg_roles 查看实例内角色及其权限信息。...
使用ANALYZE收集统计信息
AUTO ANALYZE将检查具有大量插入、更新或删除的表，并在需要的时候主动对表执行ANALYZE来收集更新表的统计信息。当前默认情况下，当表改动行数超过10%时，AUTO ANALYZE会自动对表触发一次ANALYZE操作。对于MULTI MASTER实例，当前暂时只能...
动态文件剪枝
由于我们使用了 ss_item_sk IN(40,41,42)作为where查询条件，Delta Engine会利用表文件的统计信息对表文件剪枝，跳过不包含 ss_item_sk IN(40,41,42)的表文件。上述查询的逻辑执行计划如下图所示，过滤条件被往下推，很大程度减少了扫描的...
DescribeAppStatistics-获取应用版本的统计结果
LCU）result.quota.instance.quota Integer 配额容量（单位：GB）result.quota.instance.outOfLimit Boolean 是否超出配额 result.quota.instance.tables Object 各数据表使用统计结果 键名为表名，值为使用容量 result.quota.qps Object ...
查看资源使用情况-半托管
仅统计已发布到生产环境（Basic项目下的任务提交即发布）、周期调度的任务或表；不统计手动任务，不限制生成的周期实例数量。实时集成任务和实时计算任务单独售卖，不纳入数据处理单元统计。达到资源使用上限后，所有类型的任务均无法继续...
查看资源使用情况-全托管
仅统计已发布到生产环境（Basic项目下的任务提交即发布）、周期调度的任务或表；不统计手动任务，不限制生成的周期实例数量。达到资源使用上限后，所有类型的任务均无法继续发布 说明 为您展示折算后的数据处理单元数量。基础研发版和敏捷...
汇总数据层（DWS）
举例如下：dws_report（report汇总表）dws_user（user汇总表）创建汇总逻辑表 组成汇总表的统计指标有两种来源，具体如下：系统按照相同统计粒度，自动汇聚。派生指标提交后，系统会自动生成新的汇总表。派生指标组成部分，如下图所示。...
使用全局临时表
同时，全局临时表在表上和列上的统计信息也是在会话间独立的，这是为了让全局临时表相关的查询获得更优的查询计划。全局临时表支持手动进行vacuum 和analyze，用于清理垃圾数据和收集统计信息。示例 create global temp table gtt1(a int ...
使用全局临时表
同时，全局临时表在表上和列上的统计信息也是在会话间独立的，这是为了让全局临时表相关的查询获得更优的查询计划。全局临时表支持手动进行vacuum 和analyze，用于清理垃圾数据和收集统计信息。示例 create global temp table gtt1(a int ...
两表关联分析
根据某左表/右表，统计未关联的比例，即关联异常比例；根据表中某个分析字段，统计未关联、已关联的数据分布、维度分析。常用于检查行为数据的可用性、id唯一性，特征是否可用等。重要 业务时间，是对落盘到对应日期分区内的数据，而非统计...
DescribeTableStatistics-查询表统计信息
查询目标AnalyticDB MySQL集群中的表信息统计详情。接口说明 说明 更多关于表信息统计的详情，请参见 监控信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码...
批量创建质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
新建及管理质量规则模板
一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致性比较、跨源两表字段统计值一致性比较。及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL ...
新建及管理质量规则模板
一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致性比较、跨源两表字段统计值一致性比较。及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL ...
元数据仓库共享模型（MaxCompute）
数据服务调用次数统计表dws_dataphin_service_api_mi新增api_ex_count字段。v3.11 物理表dim_dataphin_table 新增is_external_table、schema_name字段。新增项目用户表dim_dataphin_project_user。安全分类表dim_dataphin_security_...
元数据仓库共享模型（Hadoop）
数据服务调用次数统计表dws_dataphin_service_api_mi新增api_ex_count字段。v3.11 物理表dim_dataphin_table 新增is_external_table、schema_name字段。新增项目用户表dim_dataphin_project_user。安全分类表dim_dataphin_security_...
批量创建质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
质量规则参数配置
单表字段统计值一致性比较：统计方式：可统计字段计数、字段最大值、字符重复率等，详情请参见指标 稳定性 大类的统计方式描述。校验字段、校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。比较字段：选择物理表中需要比较的字段。...
质量规则参数配置
单表字段统计值一致性比较：统计方式：可统计字段计数、字段最大值、字符重复率等，详情请参见指标 稳定性 大类的统计方式描述。校验字段、校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。比较字段：选择物理表中需要比较的字段。...
进入数据质量大盘
TOP质量问题概况 根据问题质量规则数排行，为您统计截止到所选时间内的 TOP质量问题表 及 质量问题负责人 列表，您可以单击右上角的查看更多，进入 运行记录 界面了解表历史校验记录及校验详情，并及时处理。说明 质量规则负责人为数据表...
常见问题以及改进措施
Hash Join中，右表创建Hash，左表去右表中查找符合条件的数据，一般右表要尽量小于左表，以减少创建Hash表的开销以及Hash表的大小。您可以通过检查Join表过滤后的大小来查看对应的左右表选择是否合理。但由于还有多表Join的中间结果，以及...
ANALYZE
ANALYZE命令用于收集表数据统计信息来获取元数据，为优化查询性能提供帮助。命令格式 非分区表。analyze table<table_name>compute statistics for columns[([,<col_name>.])];分区表。analyze table<table_name>partition()compute ...
统计分析
统计分析中的统计项、统计指标及查询周期，请参见下表。统计项 统计指标 查询周期 PV和UV PV（页面浏览量）、UV（独立访客量）。今天、昨天、近7天、近30天、自定义（90天内）。地区和运营商 区域、总流量、流量占比、带宽、访问次数、访问...
调优集群性能
以下原因可能导致Hash表占用较多内存：Build表本身较大：云原生数据仓库 AnalyticDB MySQL 版 会根据统计信息评估Join操作两边的表的大小，以较小的表作为Build表，但不排除Build表仍然较大。统计信息过期或者统计信息评估不准 当Join操作...
通过文件管理优化性能
Data skipping的原理：我们以一张Delta表的x列为例，假设给定的表文件x列的最小值为5，最大值为10，如果查询条件为 where x，则根据表文件的统计信息，我们可以得出结论：该表文件中一定不包含我们需要的数据，因此我们可以直接跳过该表...
创建原子指标
原子指标是对指标统计口径、具体算法的抽象。Dataphin创新性地提出了设计即开发的理念，指标定义同时也明确了设计统计口径（即计算逻辑），提升了研发效率，并保证了统计结果的一致性。本文为您介绍如何创建原子指标。操作步骤 在Dataphin...
创建原子指标
原子指标是对指标统计口径、具体算法的抽象。Dataphin创新性地提出了设计即开发的理念，指标定义同时也明确了设计统计口径（即计算逻辑），提升了研发效率，并保证了统计结果的一致性。本文为您介绍如何创建原子指标。操作步骤 在Dataphin...
编码规范
系统根据汇总逻辑表的来源表和统计周期，会生成多张物化表，当使用 select*语法查询汇总逻辑表时，底层物化SQL会将所有物化表全部关联，造成大量资源的浪费。该配置选择 是，可规避资源浪费的问题。重要 因为关闭使用 select*语法的权限，...
编码规范
系统根据汇总逻辑表的来源表和统计周期，会生成多张物化表，当使用 select*语法查询汇总逻辑表时，底层物化SQL会将所有物化表全部关联，造成大量资源的浪费。该配置选择 是，可规避资源浪费的问题。重要 因为关闭使用 select*语法的权限，...
腾讯广告数据
当选择 日期-广告名称 时，详细数据表将首先按日期显示统计数据，并在每行（每个日期）前提供 箭头图标，单击即可展开该日期中按广告名称的详细数据。当 报表形式 为人群时，详细数据 区域右上角显示一对 省份、市级 按钮，用于切换详细...
广告监测数据
当选择 日期-活动组 时，详细数据表将首先按日期显示统计数据，并在每行（每个日期）前提供 箭头图标，单击即可展开该日期中按活动组的详细数据。当 报表形式 为人群报表时，详细数据 区域右上角显示一对 省份、市级 按钮，用于切换详细...
设置优化器的Join Reorder
为了提高列存索引（IMCI）处理复杂查询的能力，列存索引优化器通过结合变换规则与表中各个列的统计信息，基于代价生成高效的执行计划，以此来增强自身的优化器能力。本文介绍列存索引查询优化功能的工作原理、使用方法以及使用限制等内容。...
创建全域数据表质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
创建数据表质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
创建逻辑模型：维度表
创建数仓分层 已创建数据域，用于确定维度表所统计的业务数据视角。数据域 应用层 已在应用层创建数仓分层。用于确定维度表所属的层级。创建数仓分层 已创建数据集市，用于确定维度表所统计的特定应用场景或产品的数据类别。数据集市 背景...
创建全域数据表质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
创建数据表质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
数据分层存储
2022062216|0|1299|cold 查询表访问频率 Hologres从V1.3.37版本开始提供日志系统表 hologres.hg_table_info 来按日收集实例内表的统计信息，帮助您对实例中的表信息进行查看、分析，以针对性的做优化，详情请参见 表统计信息查看与分析，...
性能调优
统计信息不更新的原因有如下两点：表的统计信息未过期。统计信息默认过期比例是0.1（10%），即数据变化量（Update、Delete、Insert或Replace）需要超过10%才会更新。如果数据变化量不大，可以再观察一周继续正常使用即可。表和列太多且数据...
- 产品推荐
- 这些文档可能帮助您