通过文件管理优化性能
最后，我们介绍如何使用Delta Engine的表文件自动调整功能，优化表文件的存储和查询效率。说明 详细内容可参考Databricks官网文章：通过文件管理优化性能 压缩(bin-packing)在流处理场景下不断向表中数据插入数据，或者merge，update等操作...
Range Clustering
Aggregate 优化 表 foo 结构如下。create table foo(a bigint,b bigint,c bigint)range clustered by(a,b)sorted by(a,b)into 3 buckets;假设表 foo 的Range为：Bucket 0:[1,1:3,3]Bucket 1:[5,5:7,7]Bucket 2:[8,8:9,9]以上Bucket Range...
2022-03-04版本
ClickHouse结果表 优化作业诊断规则和界面 新增20多种诊断规则，全面分析作业的运行状态。根据作业的实际情况，给出高、中、低三种风险等级提示。优化诊断界面的，协助您更好地查看问题。作业诊断 数据同步支持新增计算列 CTAS语句支持在...
文档更新动态（2023年）
元表优化，提高了Kafka、MySQL、Hologres等数据源的Flink字段类型映射的准确性。对象发布体验优化，批量发布时支持按照依赖关系构建发布顺序，提升任务发布成功率。支持实时任务提交/发布后自动生成实时实例，保证与Flink vvp侧任务状态...
AliSQL内核小版本发布记录
性能优化 增强了RDS MySQL异步Purge数据文件功能，对于脏页较多的表，可以提升DROP TABLE和TRUNCATE TABLE语句执行速度。Performance Agent增加Purge统计项，包含：INNODB_UNDO_SIZE_USED：Undo日志使用大小。INNODB_PURGE_LIMIT_TRX_NO：...
DataWorks版本到期降级后功能变化清单
图表功能 分享功能 维表编辑：MaxCompute表 资源优化 数据存储优化-MaxCompute表优化 功能停用，无法进入资源优化页面。数据计算优化-MaxCompute任务优化 数据采集优化-同步任务优化 管理员视角资源优化 管理白名单 迁移助手 DataWorks迁移...
Profile性能诊断及优化案例
通过优化表结构重新定义DISTRIBUTED字段。再次查看Profile，对比 MaxTime 和 MinTime 下的 SCAN，可以发现数据倾斜问题得到优化。单表物化视图 StarRocks中的单表物化视图（Rollup）是一种特殊的索引，无法直接查询。如果您的数据仓库中...
文档更新动态（2022年）
更新说明 创建并管理主题域 2022年10月25日 业务可视化、逻辑表优化 支持业务可视化。新增业务对象之间、业务对象和业务活动之间、业务活动之间的关系类型配置。新增支持创建枚举业务对象及虚拟业务对象，并在创建相关逻辑表时可关联该类型...
新功能发布记录
优化逻辑表备份恢复支持的表数量至 200 张。发起恢复 备份策略 实例回收站 2023 年 8 月 22 日 功能名称 功能描述 相关文档 新增功能 存储自动扩容 支持用户配置存储自动扩容规则，实现资源自动扩容，自动可扩容上限由用户设定。当存储即将...
如何优化正则表达式的性能
通过优化正则表达式的性能，可以达到优化采集性能的目的。关于如何优化正则表达式，为您提供以下建议：使用更为精确的字符。不随意使用.*来匹配字段，这个表达式包含了很大的搜索空间，容易发生误匹配，导致匹配性能下降。比如您要提取的...
V5.1.x系列实例版本说明
单表查询支持LIMIT 0优化。DELETE语句的ORDER BY部分支持子查询。在SQL日志中添加标识由哪个账号执行的信息。修复问题 修复不含分号的语句被当成多语句执行的问题。修复SELECT语句常量列设置别名导致提示列找不到的问题。长度超过2000字节...
功能更新动态（2023年）
元表优化，提高了Kafka、MySQL、Hologres等数据源的Flink字段类型映射的准确性。对象发布体验优化，批量发布时支持按照依赖关系构建发布顺序，提升任务发布成功率。支持实时任务提交/发布后自动生成实时实例，保证与Flink vvp侧任务状态...
新功能发布记录
02-15 恢复库表 优化 集群系列实例 RDS MySQL集群系列实例最多支持节点数由3个增加到5个。02-09 集群系列 新增 性能洞察（新版）基于MySQL的performance_schema能力汇聚SQL信息，评估目标数据库负载情况，找到性能问题的源头，提供相应的...
新功能发布记录
03-15 恢复库表 优化 Serverless RDS PostgreSQL Serverless实例支持物理复制和逻辑复制。03-14 PostgreSQL Serverless实例简介 新增 变更计费方式 RDS PostgreSQL实例的计费方式支持按量付费与Serverless相互转换。03-13 按量付费转...
新功能发布记录
恢复库表 优化 增加呼和浩特站点、中心站点无备份窗口导致异常时间备份兜底策略。无 缺陷修复 修复结构恢复，MySQL下表分区排序不递增问题。修复PostgreSQL连接字符串安全漏洞问题。无 2022年2月 缺陷修复 修复下载恢复bug问题。无 2022年1...
Quick BI报表查询速度如何优化加速
概述 本文主要介绍Quick BI中报表查询速度可以通过哪些方法进行优化加速。问题描述 Quick BI的报表查询与其他产品的报表查询相比，非常慢，有什么方法优化吗...4.优化相关SQL语句，添加表索引等。适用于 产品名称：Quick BI 产品模块：仪表板
Quick BI报表sql优化建议中的查询的排队时间如何理解
概述 本文描述了Quick BI报表sql优化建议中的查询的排队时间如何理解。详细信息 这个查询的排队时间是指数据库内部的排队时间，这里的优化建议指的都是数据库内的。适用于 Quick BI 公共云专业版
场景化建表调优指南
Hologres支持设置多种表属性，不同的表属性有不同的特性。本文为您介绍如何根据业务查询场景设置合适的表属性，从而使查询在执行过程中扫描数据量更少、访问文件数更少、产生更少的I/O次数，进而使得查询更快、查询QPS更高。确定表的存储...
JOIN
优化左表：将左表作为小表加载到内存中，提高访问速度。优化右表：将右表作为小表加载到内存中，提高访问速度。关联条件 仅支持等式，可手动添加或删除关联条件。选择左表输出字段列 选择左表输出字段列。选择右表输出字段列 选择右表输出...
Quick BI v4.7.2版本说明
监控告警能力优化 明细表创建监控时，支持修改聚合方式。变更内容 交互式填报&数据填报体验优化 交互式填报新增填报提交类型。请参见 填报写入配置。填报数据管理页面样式体验优化。请参见 管理数据。可视化配置能力提升 主题设计优化主题...
计算引擎版本说明
功能优化 宽表引擎（数据源）支持访问已完成HBase类型映射的表。详细介绍，请参见 使用SQL访问HBase表。修复Spark官方引入的CAST语法bug。1.2.0 新特性 新增 访问Lindorm列存数据 功能。3.2.1 1.7.0 新特性 JDBC数据源支持以Java JDBC方式...
数仓性能优化
表设计的最佳实践请参见 表设计最佳实践。Hash Clustering Hash Clustering表的优势在于可以实现Bucket Pruning优化、Aggregation优化以及存储优化。在创建表时，使用 clustered by 指定 Hash Key 后，MaxCompute将对指定列进行Hash运算，...
数仓性能优化
表设计的最佳实践请参见 表设计最佳实践。Hash Clustering Hash Clustering表的优势在于可以实现Bucket Pruning优化、Aggregation优化以及存储优化。在创建表时，使用 clustered by 指定 Hash Key 后，MaxCompute将对指定列进行Hash运算，...
入门笔记本
这些笔记本显示了如何将JSON数据转换为Delta Lake格式，创建Delta表，追加到表，优化结果表，最后使用Delta Lake元数据命令显示表的历史记录，格式和详细信息。Delta Lake Quickstart Python笔记本 Note 链接地址：Databricks Delta ...
Quick BI v5.1版本说明
可视化效果能力优化 交叉表数据条展示逻辑进行优化，正负值线条长度会以相同标准进行计算。电子表格隐藏的网格线支持保存。仪表板图标更新优化。查询控件相关能力增强 支持日期查询控件的级联能力：日期选择来源于数据集字段时支持和其他...
OceanBase 4.x 简介
从租户规格和配置，到分区表/索引优化、表组推荐等众多基于源端业务表和动态 SQL 分析以及迁移到 OceanBase 最佳实践沉淀到全新的分布式迁移推荐方案中。数据开发（ODC）：稳定性：大幅度提升了 PL 编译能力及稳定性。安全性：完善了变更...
数据归档至用户OSS
说明 在数据归档工单详情页的最下方，单击 查看源表空间优化SQL，复制源表空间优化的SQL语句。查询归档至用户OSS的数据。恢复已归档数据至源库 费用说明 该功能免费使用。使用限制 仅源数据库类型为 RDS MySQL、PolarDB MySQL版、...
2024年2月1日V5.18产品更新公告
通义版（体验版）通义版（标准版）通义版（企业版）通义版（旗舰版）数据问答：产品使用交互优化 优化 数据表管理：生效状态文案更新；表格、表头同义词配置：保存交互优化；表格更新：更新数据时支持进度展示，更新成功后自动刷新页面数据...
SmartData 3.0.x版本简介
JindoTable计算优化 提供JindoTable Optimize命令，支持优化Hive表操作，例如分区小文件合并。提供JindoTable Archive、Unarchive和Status命令，允许归档至指定表和分区，查看归档操作进度和相关状态。支持JindoTable Cache、Uncache和...
Quick BI v3.12.1版本说明
优化交叉表样式，请参见 新交叉表。保留空数据表头。若数据返回为空，则保留表头；若表头包括指标分组，则指标分组也要保留。若用户本来设置的就是没有列表头，则列表头直接不显示。数据配置端支持全局排序 所有度量均支持配置升序、降序、...
功能发布记录
更多引擎内部优化：存储引擎优化Tablet Lazy Open机制（主从实例均支持）：超过24小时无访问的表自动关闭内存开销，当打开表的数据量超过阈值时基于LRU策略动态选取对应Tablet进行关闭，降低表多场景下的常驻内存开销。存储引擎优化Schema...
监控指标常见问题
解决方法：对SQL进行优化，设置合理的索引，以提高查询性能，详情请参见 优化内部表的性能 和 优化MaxCompute外部表的查询性能。查询的QPS较高，导致查询延迟较高。解决方法：若是SQL已经优化完毕，但需要更高的QPS以及更低的延迟，可以扩...
存储空间分析
表空间信息详情，请参见 查看表的数据量。其他 AnalyticDB for MySQL 集群中所有表热分区的元数据、临时数据等。冷数据量 说明 AnalyticDB for MySQL 集群的每一张表有多个分区（热分区或冷分区），每个分区的 总数据量，按照数据类型，...
2021年
对分区表使用跨机并行查询 优化 基于RTO的crash recover时间改进 支持配置polar_crash_recovery_rto参数，指定实例期望的RTO时间，从而保证在发生crash recovery时，数据库可以在期望的RTO时间内完成崩溃恢复重启，恢复可用状态。...
日志节点发布说明
优化数据表数量达到几十万规模时，CDC元数据信息的恢复速度。修复 修复透明消费binlog时可能发生的位点计算错误问题。修复针对 text(0)进行元数据一致校验时的兼容性问题。发布日期：2023-02-06 版本号：polarx-cdc-kernel-2.0.0-3985896 ...
新功能发布记录
无 优化 JOIN调优 优化Hash Join表关联时过滤器的应用场景和传递效率，支持小表为子查询。无 Parquet向量化读取优化 提升Parquet数据格式的查询效率。无 Aggregation算子优化 优化String分组列和多个分组列场景下Aggregation算子的执行效率...
函数功能发布记录
HQE 优化内部表的性能 2.0.1 字符串函数 left right 性能优化 HQE支持字符串截取函数left、right。HQE 字符串函数 V1.3版本 版本 函数类型 函数 类别 描述 执行引擎 相关文档 1.3.39 时间和日期函数 extract date_part date_trunc 性能优化...
制定数据治理计划
各类数据治理计划模板内提供的治理目标如下：治理计划模板 治理目标 存储资源优化 节约存储量 优化问题数 优化问题表数 总体健康分 存储健康分 计算资源优化 节约计算CU量 优化问题数 优化问题任务数 总体健康分 计算健康分 数据稳定性优化...
PolarDB MySQL版5.7版本发布日志
优化器可以将未命名的表放在连接顺序中的任何位置，包括指定表之间。JOIN_PREFIX：指导优化器为连接执行计划的前几个表使用指定的表顺序来连接表。该Hint适用于命名表。优化器会将所有的其他表放在命名表之后。JOIN_SUFFIX：指导优化器为...
时序引擎版本说明
功能优化 修复删除表操作后重新写入数据会丢失数据的问题。修复api/v2/write接口格式错误时出现的NPE问题。修复/api/mquery接口查询多值降采样错误。修复历史文件的存储容量没有达到最大上限时无法迁移至冷存储的问题。修复查询操作可能...
- 产品推荐
- 这些文档可能帮助您