混合检索使用指南
业界在解决混合查询的问题时，一般采用两个系统，结构化数据存在数据库中，非结构化数据存在向量检索系统中；然后对两个系统求交集后再聚合得到最终的结果。这种方法一般先采用向量检索系统取出经过放大的amp（放大系数）*topk个结果，然后...
工作负载管理介绍
为了解决上述问题，AnalyticDB MySQL 在数据库系统中设计了工作负载管理模块，通过工作负载管理模块对工作负载的控制，可以提高集群的整体执行状态，满足集群更精细化控制的目的。基本概念 工作负载（Workload）：在数据库中具有一些共同...
概述
Apache Druid是一个分布式内存实时分析系统，用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...
数据查询
查询表数据 在集群管理系统的左侧导航栏中，选择 数据查询>SQL执行器。在 namespace 下拉列表中选择命名空间，页面右侧会自动显示该命名空间中的表。在编辑器中输入SQL语句。单击 执行。说明 执行操作可以通过键盘完成。Windows系统：CTRL+...
产品介绍
PolarDB PostgreSQL版（兼容Oracle）高度兼容Oracle语法，包括Oracle数据库用户常用的内置数据类型、内置存储过程语法、常用系统视图，重要特性DBLINK、分区表和分区索引等特性，配合ADAM智能评估工具助力企业智能存量Oracle数据库业务迁移...
汇联易实战：RDS通用云盘助力突破性能瓶颈
本案例将介绍上海甄汇信息科技有限公司在面临多个业务挑战时，通过选择阿里云瑶池数据库RDS MySQL，并升级存储介质为通用云盘，同时启用IO突发功能，成功应对并解决了业务高峰期数据库查询速度慢的性能瓶颈问题，使SaaS服务能够在关键时刻...
方案选择
传统方案一：MySQL分库分表 MySQL自身拥有强大的数据查询、分析功能，基于MySQL创建订单系统，可以应对订单数据多维查询和统计场景。伴随着订单数据量的增加，采取分库分表方案应对，通过这种伪分布式方案解决数据膨胀带来的问题。但数据...
方案背景
表格存储是一款阿里云自研的分布式NoSQL服务，可以提供超大规模的存储容量，支撑超大规模的并发访问和低延迟的性能，可以很好的解决气象数据的规模和查询性能问题。本方案主要通过表格存储来实现气象格点数据的存储和查询。挑战一：数据...
二级索引
例如以要查询的列再单独写一张表（用户自己维护二级索引），或者将数据导出到Solr或者ES这样的外部系统进行索引。Solr/ES固然强大，但对于大部分列较少且有固定查询模式的场景来说，有”杀鸡用牛刀”之感。为此，HBase增强版推出了原生的...
实时同步任务延迟解决方案
此时将无法通过数据集成任务设置解决延迟问题，需要从Kafka、DataHub和Loghub系统的上游数据生产侧解决数据写入倾斜问题后，延迟问题才能恢复。您可以通过在上述任务 运行详情 中切换到 运行信息 页签，查看不同Reader线程总字节数统计，...
常见问题
数据查询时，如果查询语句通常会携带分区字段，那么系统只需要在某一个或某几个分区中查找数据即可；如果查询语句不携带分区字段，系统将在所有分区中查找数据。如果有时间分区，可以将 partitions 设置为较小的值，例如节点数的2倍。达到 ...
深度解析Lindorm搜索索引（SearchIndex）特性
Lindorm SearchIndex 设计思路 为了在有限的资源下尽可能高效的满足业务复杂查询的诉求，Lindorm期望设计一种新的引擎，以数据库特性的方式即开即用，帮助业务解决海量数据下的复杂查询问题。索引通常用来加速查询，可以通过增加一种新的...
RDS MySQL如何管理长时间执行的查询
长时间执行的查询带来的问题 通常来说，除非是BI/报表类查询，否则长时的查询 对于应用缺乏意义，而且会消耗系统资源，比如大量长时间查询可能会引起CPU、IOPS和连接数过高等问题，导致系统不稳定。如何避免长时间执行的查询 避免长时间...
按时间戳冷热分离
Lindorm(main):018:0>scan 'chsTable',{STARTROW=>'row1',STOPROW=>'row9'，HOT_ONLY=>true} 带 TimeRange 的查询，系统会将设置的 TimeRange 与 COLD_BOUNDARY 冷热分界线进行比较来决定查询哪个区域的数据。Lindorm(main):019:0>scan '...
分区索引
创建搜索索引时可以指定数据分区策略，服务端自动将数据进行拆分并存储，查询数据时系统自动进行分区裁剪。本文介绍数据分区的策略和使用方法。前提条件 已开通 云原生多模数据库 Lindorm 实例的搜索索引服务，具体操作请参见 开通搜索索引...
概述
通常情况下，为了实现复杂分析型查询，需要将数据从 PolarDB MySQL版 导出，然后导入到外部专用的OLAP系统中再进行分析查询。这样一来，需要使用两套数据库系统，架构复杂性、运维工作量和成本都会大大增加。PolarDB MySQL版 重磅推出的列...
版本发布记录
从SLS同步 2020年05月 功能名称 描述 相关文档 接入数据管理服务DMS 云数据库ClickHouse 接入数据管理服务DMS，支持在线库、表管理，在线数据查询，在线SQL任务编排调度。无 2020年02月 功能名称 描述 相关文档 增加新规格 在此前发布的C8...
数据查询
在集群管理系统的左侧导航栏中，选择 数据查询>数据查询（兼容HBase）。设置筛选条件，包括 namespace 和 表。可选：输入列簇、row key、start key（分区起始Key）、end key（分区终止Key）和limit（显示条数）。单击 查询，界面将展示目标...
数据查询
本文介绍数据查询的相关问题。物理表查询支持的云计算资源类型包含哪些？物理表查询支持的云计算资源类型包含哪些？目前包含的有MaxCompute、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL、AnalyticDB MySQL 3.0、SQLServer、Oracle、...
常见问题
此时系统尚未触发数据归档至冷存储，因此大量的冷数据滞留于热存储中，数据量的增大导致了查询效率的降低。需要对表执行 major compaction 操作来解决这一问题。具体语法，请参见 ALTER TABLE。Q：索引表已开启冷热分离，且查询时设置了 ...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属...
API概览
ListDbfs 查询数据库文件系统列表 调用ListDbfs查询您已经创建的数据库文件系统列表。GetDbfs 查询单个数据库文件系统 调用GetDbfs查询数据库文件系统详细信息。ListDbfsAttachableEcsInstances 查询可挂载的ECS实例 调用...
高压缩引擎（X-Engine）介绍
大量数据共享数据库系统的内存、缓存空间、磁盘IOPS等，导致性能问题。数据量太大导致数据备份时间过长甚至备份失败；同时如何存放备份数据也是一个问题。针对如上问题，一种做法是对历史数据做归档，将长期不使用的数据迁移至以文件形式...
COMPACTION
功能介绍 Transactional Table 2.0支持近实时增量写入和time travel查询特性，在数据频繁写入的场景中，必然会引入大量的小文件，需要设计合理高效的合并策略来对小文件进行合并以及数据去重，解决大量小文件读写IO低效以及缓解存储系统的...
产品架构
为了解决这个问题，阿里云自研了云原生多模数据库Lindorm，满足多模型数据的统一存储、查询和分析需求。如下图所示，与传统方案相比，Lindorm系统极大地简化数据存储技术架构设计，大幅度提升系统稳定性，降低建设成本投入。总体架构 ...
查询用户OSS或专属存储的归档数据
Q：同一个工单内进行了多次归档，即周期归档，在进行数据查询时，可以查询指定时间段的数据归档吗？A：可以。同一个工单的周期归档会根据归档的时间生成不同时间段的数据归档，所以可以通过创建数据归档的时间，判断并查询目标时间段的数据...
处理慢SQL问题
您可以通过DAS对数据库进行监控，及时发现并优化慢SQL，解决数据库的性能问题。操作视频 解决方案 您可以通过DAS从以下三个方面来解决慢SQL问题：查看并优化单个实例的慢SQL 查询治理所有实例上的慢SQL 开启自动SQL优化 查看并优化单个实例...
功能特性
基于DLA+DTS同步RDS数据来构建实时数据湖 DLA Serverless Presto DLA Serverless Presto是云原生数据湖团队基于Presto打造的交互式分析引擎，Presto开发的初衷就是为了解决使用Hive来进行在线分析速度太慢的问题，因此它采用全内存流水线化...
数据质量：全流程的质量监控
DataWorks的全流程数据质量监控功能为您提供35种预设表级别、...数据质量为您解决以下问题：数据库频繁变更问题 业务频繁变化问题 数据定义问题 业务系统的脏数据问题 系统交互导致质量问题 数据订正引发的问题 数据仓库自身导致的质量问题
功能发布记录（2023年）
2023.10.30 西南1（成都）华北3（张家口）华北2（北京）华东2（上海）华南1（深圳）华东1（杭州）华北6（乌兰察布）报名参加邀测的用户 使用Copilot+增强分析实现一站式智能数据查询与可视化 数据治理中心新增治理计划 治理计划可帮助数据...
概述
系统类型：主要解决SQL语句的数据类型兼容性问题。分为以下3种类型：旧有类型系统：MaxCompute 1.0数据类型版本系统。MaxCompute类型系统：MaxCompute 2.0数据类型版本系统。Hive类型系统：Hive兼容数据类型版本系统。执行模式 默认：...
基于混合负载的查询优化
传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的代价。完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大...
PolarDB MySQL版8.0.1版本发布日志
2024-01-19 问题修复 修复使用列存索引（IMCI）功能查询TopK数据时，因查询语句中涉及的表中的NULL值过多，进行倒序排序时排序结果错误的问题。修复只读列存节点在涉及列存索引表的DDL执行过程中启动时，无法恢复列存数据的问题。修复在...
列存索引技术架构介绍
但应用这个方案的前提是用户需要将数据迁移到对应的NewSQL数据库系统中，而这往往会带来各种兼容性问题。一体化的行列混合存储方案 比多副本的Divergent Design方法更进一步的方案，即在同一个数据库实例中采用行列混合存储的方案，同时...
什么是数据库自治服务DAS
数据库是所有企业业务的基座，企业内的研发、测试、运营和运维人员每天都需要对数据库进行操作或者查询，但是使用数据库的人员对数据库的了解程度参差不齐，所以数据库的稳定性不断受到如下问题的挑战。视频简介 数据库运维和管理的挑战 ...
一致性级别
问题与解决方案 PolarDB 具有主从复制简单易用的特点，通过把主库的WAL异步地传输到备库并实时应用，一方面可以实现高可用，另一方面备库也可以提供查询，来减轻对主库的压力。虽然备库可以提供查询，但存在以下问题：问题1：主库和备库...
互联网服务：小打卡
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍小打卡如何通过 PolarDB-X 应对业务挑战。所属...
ALTER SYSTEM
SLOW_QUERY_RECORD_ENABLE Boolean 宽表引擎 设置是否启用宽表引擎中的慢查询系统视图，当该配置启用后，查询执行时间超过一定阈值时，相关的查询信息就会被记录在视图 lindorm._slow_query_中，方便运维巡检与问题排查。取值如下：TRUE ...
数据服务概述
这就造成在数据应用存在以下问题：数据开发周期长，响应慢：需要按迭代排期实现，数据使用门槛高不能随时使用。烟囱式开发：开发成本高，复用性低，为每个需求提供对应的数据接口。数据安全和查询性能无法保障：在数据接口开发时往往只考虑...
测试与发布API
附录：错误码及解决方案 错误代码 错误问题 解决方案 DPN-OLTP-COMMON-000 成功。无。DPN-OLTP-COMMON-001 系统发生未知异常。请提交 工单，或联系Dataphin的支持人员协助处理。DPN-OLTP-COMMON-002 参数异常。请检查参数的正确性。DPN-...
- 产品推荐
- 这些文档可能帮助您