性能调优
同一个 SQL Pattern 的查询变慢，可能有如下原因：相同条件下某些表的数据量增加导致处理的数据量增加，最终导致查询变慢。查询条件有变化，例如扫描的二级分区数增多，或者查询范围增加。系统压力增加。可能是写入量增加占用了较多系统...
2022年
使用Hint SharedInput Scan算子 优化SharedInput Scan算子性能，提升高并发复杂CTE查询的性能。无 2022年02月21日（V6.3.8.0）类别 功能 功能描述 相关文档 新增 Query Profiling Statistics AnalyticDB PostgreSQL版 支持Query Profiling ...
全文检索
倒排索引是一种存放了数据和位置关系的数据结构，在数据系统中通常被用于处理大量文本的检索问题。本文通过以下示例，展示倒排索引如何提升文本的检索性能。现有一张数据表 Document，存放了一系列的文本 Text，同时每条文本都有一个对应的...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
产品介绍
执行分析查询的RO节点和执行TP型查询的RO节点可以物理隔离，避免影响TP业务。当计算能力不够时，弹性的增加计算节点，而无需做数据重分布。新一代基于代价的优化器，提升执行计划的准确性 数据库的业务场景是多样化的，如果执行计划选错会...
多租户管理使用说明
普通租户：普通租户需要在系统租户下进行创建，普通租户下的数据库实例与用户完全隔离，无法互相访问，并且普通租户无法访问系统租户下的数据库实例。在进行CPU资源调度时，普通租户根据min_cpu是否大于0将普通租户分为独占型租户和共享型...
什么是备份数据量
概念 说明 数据库磁盘空间 数据库磁盘空间由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。对于RDS来说，是购买时选择的存储空间；对于ECS来说，是购买时选择的系统盘和数据盘存储空间。数据文件空间 数据...
数仓分层
数据引入层（ODS，Operational Data Store，又称数据基础层）：将原始数据几乎无处理地存放在数据仓库系统中，结构上与源系统基本保持一致，是数据仓库的数据准备区。这一层的主要职责是将基础数据同步、存储到MaxCompute。数据公共层（CDM...
库表结构优化
本功能持续收集SQL查询的性能指标及其使用到的数据表、索引等信息，并进行算法统计分析，自动给出调优建议，减少用户手动调优的负担。背景信息 随着各类数据分析业务的丰富和发展，数据库所承载的查询数量和复杂度持续增加。库表结构的设计...
系统角色
角色 说明 权限 普通用户 使用数据库进行数据查询与变更、表结构查看与变更等操作。可以是企业的研发人员、测试人员、产品人员、运营人员、数据分析师等。主账号下的子账号默认为普通用户。不可查看实例管理、用户管理、任务管理、配置管理...
概述
开始查询前，仅需指定需要进行脱敏查询的数据库账号，以及需要脱敏的数据库、表或列的名称即可。无需修改业务端任何代码，使用成本低。使用生产库的实时数据，能有效保证数据的实时性。由于需要对实时数据进行脱敏，因此相较于镜像库，生产...
API概览
DescribeSQLSamples 查询慢 SQL 执行明细的采样数据 查询慢 SQL 执行明细的采样数据。DescribeOasSQLHistoryList 查询 SQL 执行历史 查询 SQL 执行历史信息。DescribeOasTopSQLList 查询 TopSQL 列表 查询诊断系统采集到的 SQL 执行性能...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL 重要 2022年09月09日前创建的数据同步任务，需在配置同步任务前，在源库中创建触发器和函数来捕获DDL信息，详情请参见 通过触发器和函数实现PostgreSQL的DDL增量...
概述
这意味着它是用于管理存储在关系中的数据的系统。关系实质上是用于表的数学术语。将数据存储在表中的概念现今是如此常见，以致于似乎本来就很明显，但存在许多其他组织数据库的方式。Unix 类操作系统上的文件和目录构成层次数据库的示例。...
性能分析
Top SQL语句 Top SQL语句查询，是根据平均响应时间、总响应时间、执行次数几个条件对数据库执行的语句信息进行查询排序，排列顺序由大到小。登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 查询分析>性能...
概述
Apache Druid是一个分布式内存实时分析系统，用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...
OCS与数据库结合使用示例
缓存与数据库相结合使用，是常见的一种应用搭配场景。本文以简单的Java例子，介绍OCS搭配...也就是说，OCS降低了程序去连接MySQL数据库执行SQL查询的次数，减轻了对数据库的负载压力。用户对热点数据访问的频率越高，OCS的这种优势就越明显。
数据查询
数据查询为用户提供对云计算资源中物理表基本情况的概览能力，帮助用户直观了解物理表基础信息、字段内容分布等情况，建立对数据表的宏观理解，为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。如果数据表格存储的是...
Join优化
表S数据不移动，表R数据根据分区计算的结果发送到S表扫表的节点 Colocation Join 对于多个相关联的表，在建表时确保表的数据分片数量一致，相同Hash分桶在分布式系统中的分布一致，那么实际查询时就可以跳过数据的Shuffle过程，直接进行...
数据分析概述
您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了扩展的灵活性和便捷性。允许您利用工作空间中现有的数据源作为数据分析的数据集。数据源一部分是DataWorks支持的...
常见问题
有什么数据查询IDE工具推荐？数据存储 如何查看每张表所占的磁盘空间？如何查看冷数据大小？如何查询哪些数据在冷存上？如何移动分区数据到冷存？监控、升级、系统参数 为什么监控中存在数据中断情况？20.8后的版本是否支持平滑升级，不...
如何设计宽表主键
查询的数据存在只有时间一个维度或某一个维度数据量巨大的情况，主键设计为 long bucket=timestamp%numBuckets;[bucket][timestamp][hostname][log-event]。交易类数据。列举出四个场景设计主键。查询某个卖家某段时间内的交易记录，主键...
Query Profiling Statistics
当查询执行信息收集处于打开状态时，系统会收集所有查询的执行过程数据，您可通过执行过程数据获得如下信息：系统中慢SQL或正在执行的查询。查询执行信息中包含的各个算子信息及其输入或输出行数。查询执行过程中耗时多的算子。单一算子...
功能简介
数据查询为用户提供对云计算资源中物理表基本情况的概览能力，帮助用户直观了解物理表基础信息、字段内容分布等情况，建立对数据表的宏观理解，为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。如果数据表格存储的是...
深度解析PolarDB数据库并行查询技术
通常来说，每个worker只有所有数据的一个分片，只在一个数据分片上做GROUP BY是有极大的风险得到错误的GROUP BY结果的，因为同一GROUP分组的数据可能不只是在本WORKER的数据分片上，也可能在其它WORKER的数据分片中，被其它WORKER所持有。...
公开数据集概述
国家统计数据集 national_data TPC性能数据 TPC-DS TPC-DS是一个面向决策支持的基准，它对决策支持系统的几个普遍适用的方面进行建模，包括查询和数据维护等，使大数据系统等新兴技术能够执行基准测试。TPC-DS 10GB性能测试集 TPC-DS 100GB...
告警日志
资产 要查询的数据库。规则名称 命中的规则名称。告警等级 触发的告警等级。数据库账号 登录到数据库的账号名称。客户端IP 客户端的IP地址，支持查询IPv4或IPv6地址。客户端端口 客户端的端口号。服务端IP 服务端的IP地址，支持查询IPv4或...
JindoFS实战演示
Spark任务读取OSS上的数据后，会自动缓存到JindoFS缓存系统中，后续访问相同的数据就能够命中缓存，大幅提高了查询效率。本视频为您介绍如何开启JindoFS SDK的缓存模式，使用Spark SQL高效访问OSS中的数据。Presto访问OSS透明缓存加速 ...
查询管理与分析
之所以关注运行中大查询，是因为这些查询可能会大量占用CPU、内存及IO等计算资源，从而影响系统中其他查询的性能。因此，对这类查询进行实时监控是维护系统稳定性及保证响应速度的有效措施。慢查询：该功能集中展示了StarRocks实例中执行...
典型使用场景
数据查询分析 AnalyticDB PostgreSQL版 既通过索引排序等特性支持高并发低延时的多维度点查范围查场景，也通过向量化引擎，CBO优化器，列式存储支持大数据量多表关联聚合的复杂分析场景。例如，数据类业务应用对ADS层数据进行快速查询；...
消除数据重分布
首先分析数据库系统的查询模式，确定系统中成本最高的查询，并根据这些查询的需求进行初始数据库设计。决定查询总成本的因素包括查询运行需要多长时间以及它消耗多少计算资源。决定查询成本的其他因素是它的运行频率，以及它对其他查询和...
PolarDB MySQL版CPU使用率高
说明 此处主要针对TP类查询进行分析，需要排除掉 count 类查询，一些AP类查询的 扫描行 数确实很大。TP类查询业务的读写数据量都非常小，如果某个查询的扫描数据量非常大，那么大概率是由于索引缺失导致。例如下述查询语句在慢查询列表中...
深度解析Lindorm搜索索引（SearchIndex）特性
索引是加速数据库查询的重要手段，Lindorm除了提供高性能的二级索引外，同时支持搜索索引(SearchIndex)，主要面向复杂的多维查询场景，并能够覆盖模糊查询、聚合分析、排序、分页等场景。本文主要介绍SearchIndex的技术原理和核心能力。...
列存索引技术架构介绍
首先，在技术上需要维护两套不同技术体系的数据库系统，其次由于两套系统处理机制的差异，维护上下游的数据实时一致性也非常具有挑战性。而且存在数据同步延迟，下游AP系统存储的经常是过时的数据，从而导致无法满足实时分析的需求。基于多...
查看会话日志
在日志服务控制台查看会话日志 日志服务存储了数据库审计系统审计到的数据库会话日志。在数据库审计系统查看到的会话日志来源是日志服务，您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。...
采集数据
user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据...
HTTP API 概览
API 描述/api/put 写入数据/api/query 查询数据/api/query/last 查询时间线最新数据点/api/mput 多值写入/api/mquery 多值查询/api/query/mlast 多值查询最新数据点/api/suggest 查询 Metric,Tagk,Tagv，Field/api/dump_meta 查询 Tagk 下...
查询备份数据
RDS MySQL实例支持历史备份数据查询功能，本文介绍在DMS控制台查询历史备份数据的操作步骤。使用场景 数据被误删除或者更改，需要通过查询历史数据来找回业务数据。实例负载较大，需要一个可以按量并且供查询的临时实例，用于临时的查询和...
工作负载管理介绍
运用多种手段对数据库的查询负载进行监控和管理，从而保障系统在稳定性的基础上，尽可能满足查询的性能指标并充分利用系统资源。谓词条件（Predicate）：包含一个属性（Property）、一个运算符（Operator）和一个值。通过一个谓词条件，...
内存型
GeoSpatial GIS 无 TairGIS是一种使用R-Tree做索引，支持地理信息系统GIS（Geographic Information System）相关接口的数据结构。支持点、线、面的查询，支持包含、被包含、相交等多种关系判断。该数据结构已开源，更多信息请参见 TairGIS...
- 产品推荐
- 这些文档可能帮助您