优化器（Analyze）
数据膨胀：当两个表Join key的ndv都比行数小很多时，证明数据大量重复，大概率存在数据膨胀，优化器可以采取相关措施来规避数据膨胀带来的问题。数据过滤：当小表的ndv比大表小很多时，说明执行JOIN操作后，大表的数据会被大量过滤。优化器...
流利说基于Terraform的自动化实践
在没有自动化之前，所有的操作都在控制台上完成，看似简单，但实际应用中会有许多的问题：资源无法统一管理，没有统一的仓库去记录这些资源的归属与规格变更等信息，非常容易出现变动带来的混乱；手工变更误操作影响线上服务正常运行，并...
流利说基于Terraform的自动化实践
在没有自动化之前，所有的操作都在控制台上完成，看似简单，但实际应用中会有许多的问题：资源无法统一管理，没有统一的仓库去记录这些资源的归属与规格变更等信息，非常容易出现变动带来的混乱；手工变更误操作影响线上服务正常运行，并...
慢Query日志查看与分析
SDK：Fixed Plan的执行引擎，可以高效的执行点读、点写、PrefixScan等偏Serving类型的SQL，详情请参见 Fixed Plan加速SQL执行。说明 从Hologres V2.2版本开始，SDK执行引擎正式更名为FixedQE。PG：Frontend本地计算，一般是读取系统表的...
列存索引技术架构介绍
在IMCI中，HashJoin按如下流程执行：向量化执行解决了单核执行效率低的问题，而并行执行突破了单核的计算瓶颈。二者结合使得IMCI执行速度相比传统MySQL行式执行有了数量级的提升。向量化表达式体系 AP型场景，SQL中经常会包含很多涉及到...
分区表扫描算子
range_p999 part_range_1000(actual time=0.009.0.009 rows=0 loops=1)Planning Time:785.169 ms Execution Time:163.534 ms(1003 rows)将两张分区表进行连接查询时，执行计划的生成时间长和SQL执行过程中内存使用多的问题将会更加明显。...
分区表扫描算子
range_p999 part_range_1000(actual time=0.009.0.009 rows=0 loops=1)Planning Time:785.169 ms Execution Time:163.534 ms(1003 rows)将两张分区表进行连接查询时，执行计划的生成时间长和SQL执行过程中内存使用多的问题将会更加明显。...
Hudi
compaction.target_io 每个压缩plan的IO上限。500 GB 无。文件大小 文件参数控制了文件的大小，目前支持的参数详情如下表所示。名称 说明 默认值 备注 hoodie.parquet.max.file.size 最大可写入的parquet文件大小。超过可写入的parquet文件...
不兼容SQL重写
agg.having.ref.prev.agg.alias 说明：有Having子句的情况下，select List可以出现前面Aggregate Function Alias的问题。示例 错误写法 select count(c1)cnt,sum(c1)/cnt avg from t1 group by c2 having cnt>1;报错信息 FAILED:ODPS-...
使用Logview 2.0查看作业运行信息
例如，您可以通过Fuxi Sensor查看机器学习作业Fuxi Instance的以下资源使用情况：CPU使用量 CPU指标包括两条线，一条显示申请的CPU量（cpu_plan），另一条显示实际的CPU使用量（cpu_usage）。纵坐标中的400，表示4个Processor。目前用户只...
2022年
主要解决球形（例如，地球）上点、线、面如何表示的问题，同时支持计算点、线、面之间的距离或面积等功能。pg_sphere 2022年11月 新增wal2json插件，可以将逻辑日志文件输出为JSON格式。逻辑解码（wal2json）2022年11月 新增pg_bigm插件，...
如何解决存量云资源的管理难题
基于模板和State一致性的原理，借助 terraform import 可以轻松地实现对存量资源的统一管理，不用再担心那些游离在Terraform管理体系之外资源无法管理的痛点，也无需惧怕某个资源从State中移除后无法继续管理的问题，所有的云资源都可以被...
PolarDB处理TPC-H查询的挑战和机遇
查询反馈循环是非常重要的，PolarDB 已经实现了它的部分基础设施和框架，不过目前主要还是用于histogram的自动更新和plan management的演进，后续会不断扩展来与更多功能组件结合。表达式计算（Expression Calculation）Arithmetic ...
为NAS文件系统创建备份计划
规则详情 参数 说明 规则名称 为NAS文件系统创建备份计划 规则标识 nas-filesystem-enable-backup-plan 标签 NAS、FileSystem 自动修正 不支持 规则触发机制 周期执行 触发频率 24小时 规则支持的资源类型 NAS文件系统 规则入参 无 修正...
历史慢Query
Hologres从V0.10开始支持慢Query的查询与分析，帮助您对系统中...查看甘特图 HoloWeb支持甘特图分析功能，您可单击Query列表右上角的 甘特图，在弹出的对话框中查看同一时间Query的并发执行情况，帮助您更好地分析并发场景下的性能瓶颈问题。
自适应执行能力
针对上述路由错误的问题，之前的解决方案如下：调低路由到列存的代价阈值，此方案容易导致大量的短查询路由到列存，从而导致列存负载太高，阻塞了其他查询。使用 计划固化（Statement Outline）功能，将固定指定模板的查询路由到列存，如...
2021年
AnalyticDB PostgreSQL版发布诊断与优化功能 查看慢查询 SQL分布统计 基础版 AnalyticDB PostgreSQL版 全新推出基础版实例，大幅降低客户的数据存储成本及建仓门槛，致力于解决小微企业及个人建仓门槛高，中大企业数据存储成本大的问题。...
作业上线问题
本文为您介绍作业上线有关的常见问题。报错：The GRPC call timed out in sqlserver 验证报错：RESOURCE_EXHAUSTED:gRPC message exceeds maximum size 41943040:58384051 验证报错：doesn't support consuming update and delete changes ...
常见问题以及改进措施
由于数据分布和查询复杂度等因素，可能出现查询性能不符合预期的情况，检查查询的执行计划是重要的问题排查方式之一。常见计划问题 Join Method以及Inner和Outer表 根据Join Method选择Inner和Outer表，一般情况下 AnalyticDB MySQL版 自动...
Quick BI数据集报“xxx is full scan with all ...
创建成功后预览时报错：null:INTERNAL:java.sql.SQLException:execute failed:ODPS-0130071:[0,0]Semantic analysis exception-physical plan generation failed:java.lang.RuntimeException:Table(cloudtest_dev,company_sales_record)is ...
开通实时计算Flink版
修改虚拟交换机 您可以修改虚拟交换机，解决虚拟交换机IP不足带来的作业启动失败的问题。释放资源 您可以单击目标工作空间的 更多>释放资源，释放后该Flink工作空间将不再进行计费，相关的ARMS会同步释放。说明 账单流水数据相对于实际费用...
查询性能优化指导
optimizer=on Optimizer status:PQO version 1.609(8 rows)优化关联（JOIN）列的数据类型 Join的条件列数据类型应一致，避免因隐式/显式数据类型转换带来数据需要重分布的问题。显式数据类型转换 显式数据类型转换是指在SQL语句中，对Join...
查询管理与分析
通过对慢查询的识别与跟踪，您可以精准定位影响数据库效率的问题所在，并采取相应的优化措施。说明 默认大于或等于500ms的查询记录定义为慢查询；EMR StarRocks Manager慢查询页面默认展示大于或等于5s的查询记录，列表支持按耗时进行过滤...
使用Hint
云原生数据仓库AnalyticDB PostgreSQL版 的pg_hint_plan插件提供了Hint功能（注释语句提示）。Hint功能可以干预和调优执行计划，从而提升SQL的执行能力。版本限制 V6.3.8.1以及上内核版本支持安装pg_hint_plan插件后默认启用Hint功能。V6.3...
自适应扫描
ePQ提供的自适应扫描模式可以帮助您解决计算资源不足的问题。前提条件 支持的的版本如下：PostgreSQL 11（内核小版本1.1.17及以上）PostgreSQL 14（内核小版本14.6.6.0及以上）说明 您可通过如下语句查看的内核小版本的版本号：PostgreSQL ...
自适应扫描
ePQ提供的自适应扫描模式可以帮助您解决计算资源不足的问题。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.17及以上）PostgreSQL 14（内核小版本14.6.6.0及以上）说明 您可通过如下语句查看 PolarDB ...
hypopg
hypopg.use_real_oids 可以避免索引超过最大值创建新的虚拟索引时间漫长的问题。hypopg会请求一个真实的标识符，这将需要获得更多的锁资源，且不能在备用服务器上使用，但允许使用所有标识符。具体使用方法请参见 虚拟索引操作方法。说明 ...
锁以及排查锁
说明 非Fixed Plan的写入、更新、删除都为Bulkload。CREATE INDEX 命令目前是指创建JSON相关索引。DDL命令包括 CREATE、DROP、ALTER 等。操作/锁范围 表锁 表数据锁 行数据锁 表Schema锁 CREATE 不涉及 DROP 说明 一旦DROP命令获取锁，无法...
hypopg
hypopg.use_real_oids 可以避免索引超过最大值创建新的虚拟索引时间漫长的问题。hypopg会请求一个真实的标识符，这将需要获得更多的锁资源，且不能在备用服务器上使用，但允许使用所有标识符。具体使用方法请参见 虚拟索引操作方法。说明 ...
hypopg
hypopg.use_real_oids 可以避免索引超过最大值创建新的虚拟索引时间漫长的问题。hypopg会请求一个真实的标识符，这将需要获得更多的锁资源，且不能在备用服务器上使用，但允许使用所有标识符。具体使用方法请参见 虚拟索引操作方法。说明 ...
hypopg
hypopg.use_real_oids 可以避免索引超过最大值创建新的虚拟索引时间漫长的问题。hypopg会请求一个真实的标识符，这将需要获得更多的锁资源，且不能在备用服务器上使用，但允许使用所有标识符。具体使用方法请参见 虚拟索引操作方法。说明 ...
查看治理方案模板
背景信息 功能作用 治理方案模板是DataWorks的数据治理中心为您提供的排查当前登录账号下待治理问题的模板，该模板将常见的问题项进行了汇总、分类，并提供了相应的解决方案。您可以直接使用该模板快速发现当前账号中存在的待治理问题，并...
默认行为变更说明
从Hologres V1.3.35版本开始，Fixed Plan场景支持更多GUC参数值默认为 on，从而提升易用性和性能，详情请参见 Fixed Plan加速SQL执行。V1.3版本默认行为变更说明（2022年12月）能力优化 从 2022年12月26日 起，新购实例（包含使用备份恢复...
使用Terraform管理环境实例
您可以使用Terraform通过创建环境实例将云资源接入ARMS，实时监控云资源的性能指标，帮助运维团队及时解决问题以及优化系统性能。前提条件 已安装Terraform，且Terraform版本不低于v0.12.28。您可以通过 terraform-version 命令查看...
使用Terraform管理环境实例
您可以使用Terraform通过创建环境实例将云资源接入ARMS，实时监控云资源的性能指标，帮助运维团队及时解决问题以及优化系统性能。前提条件 已安装Terraform，且Terraform版本不低于v0.12.28。您可以通过 terraform-version 命令查看...
向量索引
如果开启INT8/FP16量化且开启实时检索，务必开启该选项，否则会导致批次增量构建失败 enable_rt_build：是否支持实时索引，默认开启 ignore_invalid_doc：是否忽略有问题的向量数据，默认开启 rt_index_params：实时索引参数，当enable_rt_...
ListQuotasPlans-获取Quota计划列表
currPlan string 按照调度计划生效的 quota 计划 planA currTime string currPlan 被调度的时间 0800 nextPlan string 按照调度计划将要生效的 quota 计划 planB nextTime string next_plan 被调度的时间 1700 oncePlan string 如果用户...
PolarDB HTAP实时数据分析技术解密
但在行列混合存储架构中，行存索引和列存索引在处理随机更新时存在性能鸿沟，必须借助DRAM的低读写延时来弥补列式存储更新效率低的问题。因此在低延时在线事务处理和高性能实时数据分析两大前提下，行列混合存储结合内存计算是唯一方案。...
功能发布记录
Fixed Plan诊断能力增强，写入场景affected_rows数据上报元仓，查询场景result_rows、result_bytes数据上报元仓，详情见 Fixed Plan加速SQL执行。新增hg_relation_size函数，用于查询的表占用的存储明细，详情见 查看表和DB的存储大小。...
DELETE
常见问题 在执行DELETE命令时，为什么监控指标中存储用量上涨非常多，写入完成后存储用量又下降？根据DELETE的原理，DELETE时会将老数据做标记，新数据会Flush成新的小文件，后台会将这些小文件做Compaction，在Compaction的过程中就会将老...
- 产品推荐
- 这些文档可能帮助您