时序引擎版本说明
优化创建连续查询（Continuous Query，简称CQ）时，interval 参数需要反引号的问题。3.4.8 2022年02月07日 功能优化 修复HASH策略的BUG问题。3.4.7 2022年01月26日 新特性 TSQL写入语句限制至少一个Field列。TSQL支持创建或者删除预降采样...
产品简介
服务内容 服务大类 服务类型 服务内容 大数据专家咨询服务 大数据技术架构方案咨询 为客户提供构建和优化大数据体系的技术架构方案咨询服务，覆盖离线/实时数仓体系建设管理、数仓建模管理，数据开发管理，数据安全管理、数据质量管理、...
查询优化（Query Optimizer)
优化器的功能是否强大是决定数据库性能是否高效稳定的核心因素，尤其在具有混合负载的场景下（包括一定复杂分析查询），优化器对于大数据量复杂查询的执行效率至关重要。本章节将介绍 PolarDB MySQL版 查询优化器组件在多个方面的功能，...
Github实时数据同步与分析
最终效果如下：（可选）历史离线数据分析 实时数仓Hologres与大数据计算服务MaxCompute深度融合，可以组成一体化的大数据查询与分析架构。在MaxCompute公共数据集中，存储了历史GitHub全量数据。如果想要做更长时间的数据分析，有两种方式...
查询加速
本章将详细介绍如何在 云数据库 SelectDB 版 实例中进行查询优化和数据分析，云数据库 SelectDB 版 提供了多种分析SQL和优化方案，帮助您提升查询速度并实现高效的数据分析。概述 云数据库 SelectDB 版 采用了MySQL网络连接协议，兼容 标准...
数据源配置常见问题
本文介绍在DataV中连接数据源时，遇到的常见问题及相应的解决方法。数据库连接不成功，如何解决？请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您...优化数据库查询：例如根据常用SQL查询条件，建立相关索引加速查询。
数据源配置常见问题
本文介绍在DataV中连接数据源时，遇到的常见问题及相应的解决方法。数据库连接不成功，如何解决？请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您...优化数据库查询：例如根据常用SQL查询条件，建立相关索引加速查询。
Quick BI报表查询速度如何优化加速
问题原因 查询数据量比较大，报表展示慢，可以通过数据集加速缓存方式加速查询，或者优化查询语句等。解决方案 1.如果是MaxCompute数据源，可以在新建数据源的时候勾选MaxCompute查询加速。2.可以进入工作空间->数据集，选择一个数据集，在...
RDS MySQL/MariaDB版实例CPU使用率较高
慢SQL导致查询成本高（查询访问表数据行数多）：特征：实例的QPS不高，查询执行效率低、执行时需要扫描大量表数据、优化余地大。表现：存在慢查询，QPS和CPU使用率曲线变化不吻合。原因分析：由于查询执行效率低，为获得预期的结果需要访问...
自媒体：易撰
PolarDB的IO能力优化和SQL查询优化，解决多维度大范围时间检索业务痛点。客户感言“因为业务有高并发写入的场景，我们最终使用 PolarDB-X+RDS的分布式数据库解决方案完美解决了我们的高并发写入诉求。同时我们业务上会有大量的大范围、多...
批量或异步插入数据
因为创建的数据分区会在后台合并成更大的分区（以优化读取查询的数据），每秒发送太多的插入查询可能会导致后台合并无法跟上新分区的数量。然而，当您使用异步插入数据时，可以使用更高速的插入查询速率。异步插入数据的详细信息，请参见 ...
数据模型
这意味着Aggregate模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据量和查询的计算量，非常适合报表类统计分析场景。该模型对 count(*)查询不友好，因为固定了Value列上的聚合方式，在进行其他类型的聚合查询时，需要考虑语义正确...
云数据库 RDS MySQL 版收集表的统计信息
什么是统计信息 云数据库 RDS MySQL 版查询优化器依据表的统计信息计算不同执行计划的代价，因此表中统计信息的准确对查询优化器选取正确的执行计划至关重要。什么情况下需要收集统计信息 当表上有大量的数据修改时，例如从数据源加载大量...
互联网、电商行业离线大数据分析
DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商网站数据看板。全国、全球业务的态势分析。互联网、金融行业的风险数据监控。方案介绍 实现互联网、电商行业离线大数据分析的...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
什么是图数据库GDB?
图数据库与传统关系型数据库相比的优势 传统的关系型数据库和图数据库无论是在模型，存储以及查询优化上都存在极大的差异。比如社交用户关系中的2度查询请求，传统关系型数据库处理起来至少是秒级别的，3度查询更差甚至无法支持。对比而言...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
概述
PolarDB PostgreSQL版 分区表的查询优化可以让它相比于同样数据量的普通表性能更加优异，特别是面临超大数据量场景时，合理的使用分区，可以有效地提高查询效率。PolarDB PostgreSQL版 支持分区修剪技术和分区wise-join技术，这两种技术在...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
概述
PolarDB PostgreSQL版（兼容Oracle）分区表的查询优化可以让它相比于同样数据量的普通表性能更加优异，特别是面临超大数据量场景时，合理的使用分区，可以有效地提高查询效率。PolarDB PostgreSQL版（兼容Oracle）支持分区修剪技术和分区...
概述
PolarDB PostgreSQL版（兼容Oracle）分区表的查询优化可以让它相比于同样数据量的普通表性能更加优异，特别是面临超大数据量场景时，合理的使用分区，可以有效地提高查询效率。PolarDB PostgreSQL版（兼容Oracle）支持分区修剪技术和分区...
版本发布说明
发布日期：2023-11-22 大版本：V5.4.18 小版本：17004745 类别 说明 新增&优化 优化AUTO模式数据库中表数据量较大时创建表的效率。新增plan_cache视图返回默认库下的执行计划。优化AUTO模式数据库中并发建表的效率。缺陷修复 修复 alter ...
2021年
对分区表使用跨机并行查询 优化 基于RTO的crash recover时间改进 支持配置polar_crash_recovery_rto参数，指定实例期望的RTO时间，从而保证在发生crash recovery时，数据库可以在期望的RTO时间内完成崩溃恢复重启，恢复可用状态。...
关键概念
为了优化查询性能，可以重新调整数据的schema结构，使原来的field（butterflies 和 honeybees）变为tag，tag（location 和 scientist）变为field：name:census time location scientist butterflies honeybees 2015-08-18T00:00:00Z 1 ...
偏分析场景的实践和优化
尽可能选择值分布均匀的字段作为分区键，这样可以避免由于分布式不均导致出现计算长尾现象，严重拖慢大查询性能。合理设计二级分区 PolarDB-X 的DRDS模式数据库支持二级分区。当数据量过大或者有数据倾斜时，二级分区的选择至关重要，如果...
PolarDB HTAP实时数据分析技术解密
其最核心的功能即为In-Memory Column Store，通过提供行列混合存储、高级查询优化（物化表达式，JoinGroup）等技术提升OLAP性能。微软在SQL Server 2016 SP1上，开始提供Column Store Index功能。用户可以根据负载特征，灵活的使用纯行存表...
功能特性
OSS数据源 一键入湖 通过DLA控制台配置数据源（RDS数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据仓库和DLA中创建与数据源表相同的表...
列存索引技术架构介绍
Oracle公司在2013年发表的Oracle 12C上，发布了Database In-Memory套件，其最核心的功能为In-Memory Column Store，即通过行列混合存储/高级查询优化（物化表达式，JoinGroup）等技术来提升OLAP性能。微软在SQL Server 2016 SP1上，开始...
2021年
无 2021年3月 时空数据库（V3.5）类别 名称 描述 相关文档 发布时间 新增 大对象存储优化 新增Simple存储策略，优化大对象存储。使用Simple存储策略 2021年3月 优化 栅格对象 使用栅格对象更新一个具有分块数据的栅格对象进行时，系统会...
SQL处理优化
为了方便用户操作Transactional Table 2.0，MaxCompute计算引擎对SQL全套的数据查询DQL语法和数据操作DML语法进行了支持，并且SQL引擎内核模块包括Compiler、Optimizer、Runtime等都做了专门适配开发以支持相关功能和优化。本文为您介绍...
HTAP中的行列混存查询优化
由于在执行查询时使用的执行计划好坏对性能的影响非常关键，因此在所有的数据库系统中都存在查询优化器，典型的查询优化器结构如下图所示：通常，查询优化器会通过如下三个典型组件来协同工作：Plan space enumeration：根据一系列的等价...
RDS SQL Server CPU使用率高问题排查
特征 实例的QPS不高，查询执行效率低、执行需要扫描大量表中数据、优化余地大。处理方法 对于大表查询，检查是否有合适的索引。检查实际执行计划，针对全表扫描操作进行优化，执行计划中也会给出缺失索引的建议。通过CloudDBA检查性能问题...
数据库高级特性管理
使用场景 当数据库进行大版本升级时，新版本可能会引入新的数据类型、存储引擎或查询优化器等，这可能会导致旧的统计信息不再准确或不再适用。此时，您可以通过该功能来更新数据分布信息，以适应新版本引擎。当将数据库从线下转移到云端时...
常见问题
如果需要扫描的数据比较多，此时使用模糊查询可能会导致查询性能变差，建议通过分词查询进行优化。如何优化，请参见 模糊查询和分词查询的区别及适用的场景有哪些？存在数据导出，并且使用方式不当。如何优化，请参见 如果有导出的需求，...
功能优势
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文将详细介绍RDS MySQL全密态数据库功能的优势，帮助您...
DataV读取数据源超时
解决方案 执行以下操作，通过优化查询时间的方式进行解决：使用SQL查询的业务数据表数量太大 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询结果表的...
使用流程
操作流程概览如下：开通云原生数据湖分析服务 可选：创建虚拟集群：CU版适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。推荐您使用CU版本来进行数据分析与计算。说明 如果您使用系统默认的...
Transaction Table2.0概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
查询优化
查询优化 在日常的业务开发中，opensearch出现慢查询是很常见的，用户不恰当的操作、filter内容过多、某段时间激增的QPS都有可能导致慢查询的现象发生。opensearch提供的 慢Query分析 可以指定时间段查询高LCU花销的慢Query详情，并获得...
- 产品推荐
- 这些文档可能帮助您