数据分层存储
动态管理分区表的存储介质 为了更智能的管理表分区的存储介质，可以使用动态分区功能来设置数据冷热转换规则，实现智能冷热分层存储，有效的平衡成本和性能。更多对于动态管理分区表的信息，详情请参见 动态分区管理。查询存储介质状态 ...
动态分区管理
Hologres的动态分区功能无需预先设定所有分区信息，可依据创建分区表时配置的动态分区规则，自动创建并管理分区子表。同时，还支持将符合条件的分区数据迁移到低频存储设备，在保证查询性能的同时，有效降低存储费用。功能介绍 动态分区...
CREATE TABLE
设置默认值、自增列 设置主键 设置分布键 设置分区键与生命周期 设置聚集索引 设置全文索引 设置向量索引 设置冷热分层存储策略 表的数据分布策略 建表前，您可以通过下图中的示例，了解关于表的几个重要概念，包括分片、分区、聚集索引。...
列存索引如何实现高效数据过滤
优点是数据预先按分区键分布，通常均具有较好的过滤效果，如果用户大部分查询条件均包含分区键，并且还有按分区管理数据生命周期的需求，分区表pruning是个不错的选择，可根据需要建立一级或二级分区。minmax：一般需要该列数据分布有较好...
DDL操作常见问题
生命周期操作 设置表的生命周期为3天，每个表的分区存储量很大，如何清理分区表旧数据？MaxCompute支持虚拟表吗？例如MySQL中的DUAL表？不支持虚拟表，您可以手动创建DUAL表。MaxCompute的表有无索引？没有索引，Hash Clustering可以提供...
概述
为此，PolarDB-X 2.0的AUTO模式数据库分区表配套了非常完善的分区变更及管理能力，具体的分区管理能力包括以下几种：分裂分区 分裂热点 合并分区 迁移分区 重命名分区 增加分区 删除分区 修改分区 重组分区 清空分区 分区变更操作对不同...
Hive使用JindoSDK处理OSS-HDFS服务中的数据
使用示例 以下示例用于为表sale_detail添加一个分区，用于存储2021年12月华东1（杭州）地域的销售记录，并将分区存储于指定的OSS路径。ALTER TABLE sale_detail ADD IF NOT EXISTS PARTITION(sale_date='202112',region='hangzhou')...
数据库备份到OSS
背景 对象存储OSS 对象存储OSS 提供了标准类型存储，作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也提供了成本更低、存储期限更长的低频访问类型存储和归档类型存储，作为不经常访问数据的备份和归档。对象存储OSS非常...
表设计规范
分区设计与存储逻辑 一张表里有很多个一级分区，每个一级分区都会按时间存储二级分区，每个二级分区都会存储所有的列，如下图所示。分区设计需要注意：设置分区的数量上限。避免每个分区中只存少量数据。以方便数据查询和计算为前提设置...
概述
分区表是将一个大的逻辑表，按照分区规则分割成多个小的物理表，大的逻辑表为分区表，小的物理表为分区，每一个分区在存储引擎上独立组织管理数据和索引。分区规则主要包括 RANGE、LIST、HASH 三种，您需要指定分区键，根据分区键字段的值...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
分区表常见问题
分区表查询计划不准确主要的原因是统计信息不准确，在8.0.2版本中已经针对这个问题做了分区级别统计信息优化，建议您将版本升级到8.0.2。PolarDB MySQL版 的物理表如何分区？一般情况下，每个分区是一个Innodb表，Hybrid分区可以放在其他...
宽表模型介绍
使用宽表模型可以实现元数据、大数据等多种场景的解决方案，例如 搭建海量智能元数据管理系统、亿量级订单管理方案、基于多元索引搭建亿量级店铺搜索系统、表格存储结合Spark流批处理实现一体化存储和计算、表格存储结合实时计算Flink进行...
原理
本文概述了分区表模块的主要实现原理，便于用户了解分区表在底层实现时的一些细节，从而能够更好地学习如何去使用分区表。分区表创建原理 分区表的创建主要涉及语法解析模块和执行模块。语法解析模块 分区表创建是分区表整个功能的核心部分...
基本概念
RAM用户支持的表达格式如下表所示。...holouser@company.onaliyun....存储引擎Storage Engine（SE）主要用于管理和处理数据，包括创建、查询、更新和删除（简称 CRUD）数据等，关于存储引擎详细的技术原理请参见 Hologres存储引擎技术揭秘。
表分区
我们知道大部分查询只会访问上周的、上月的或者上季度的数据，因为这个表的主要用途是为管理层准备在线报告。为了减少需要被存放的旧数据量，我们决定只保留最近 3 年的数据。在每个月的开始我们将去除掉最早的那个月的数据。在这种情况下...
数据存储
本文介绍 云数据库 SelectDB 版 在数据存储方面的关键设计和特性，帮助客户充分发挥SelectDB的潜力。表 在云数据库SelectDB中，表（Table）是存储结构化数据的一种特殊形式。一张表由行（Row）和列（Column）组成，其中行表示一行数据，列...
常见问题
分区索引主要由HASH分区、时间分区或HASH分区和时间分区的组合组成，您可以根据以下场景和建议合理设置分区索引：业务数据有明显的时间属性，例如查询语句携带一个时间字段作为过滤字段，建议设置时间分区属性。在业务查询场景中，多数情况...
配置规则：按表（单表）
多级分区表达式 1级分区名=分区值/2级分区名=分区值/N级分区名=分区值 分区值可以是固定值，也可以是内置参数表达式。参数必须使用中括号表示，例如，$[yyyymmdd-N]。分区表必须配置到最后一级分区。DataWorks为您提供了部分内置的业务日期...
持续的存储优化
维护一个规模适中且价格合理的存储架构是一个持续的过程。为了更有效地利用存储支出，您每个月都应该进行存储...您可以为存储优化任务设置月度计划，使用OSS提供的各种存储管理功能来监控存储成本并评估资源使用情况，从而简化存储优化工作。
应用场景
本文档主要为您说明阿里云数据库存储DBFS的主要应用场景。云上自建数据库 DBFS为数据库场景量身打造的特性，非常适合云上用户自建数据库（例如：MySQL，PostgreSQL等），实现存储计算分离：对比项 DBFS 本地盘 极致性能 帮助用户实现数据库...
自动化管理分区
您可以通过创建定时任务的方式来创建、删除或交换分区，以实现分区自动化管理。背景信息 在某些行业中，固定周期内可能会产生大量的数据，同时也会通过删除大量数据的方式来节省存储空间。如果新产生的数据和需要删除的数据保存在同一张表...
产品优势
本文档主要为您说明阿里云数据库文件存储DBFS的主要优势。数据库文件存储DBFS是阿里云推出的一款针对数据库场景的文件存储。它在性能、弹性、高可用、成本及数据安全等维度上做了诸多技术创新与优化。适合云上自建数据库使用，提供企业级...
使用场景
本文介绍云存储网关的主要应用场景。云存储扩容和迁移 集成智能缓存算法，自动识别冷热数据，将热数据保留在本地缓存，保证数据访问体验，无感知的将海量云存储数据接入本地数据中心，拓展存储空间。同时在云端保留全量数据（冷+热）保证...
分区表索引
分区表索引类型 PolarDB PostgreSQL版 支持分区上的两种索引类型：本地索引 在分区表本地索引（Local Index）中，本地索引与分区表的分区一一对应，具有与其表相同的分区数和相同的分区范围。每个索引分区都与基础表的一个分区相关联，因此...
分区表索引
分区表索引类型 PolarDB PostgreSQL版（兼容Oracle）支持分区上的两种索引类型：本地索引 在分区表本地索引（Local Index）中，本地索引与分区表的分区一一对应，具有与其表相同的分区数和相同的分区范围。每个索引分区都与基础表的一个...
何时使用Range-Hash分区
Range-Hash分区是一级分区为Range分区，二级分区为Hash分区的组合分区类型。Range-Hash分区对于存储历史数据的大表很常见，并且经常与其他大表连接。对于这些类型的表（典型的数据仓库系统)，组合Range-Hash分区提供了在Range级别进行分区...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
分区投影
本文档主要介绍了分区投影功能的背景信息、使用场景和限制，以及如何使用分区投影功能。背景信息 当您把数据存储在OSS或HDFS上，并建立大量的分区管理这些数据。DLA Presto在分析这些数据时，会花费大量的时间从元数据系统中获取分区，从而...
前言
本文介绍对象存储OSS的Go SDK各种使用场景下的示例代码。SDK源码和API文档 请访问 GitHub 获取OSS Go SDK源码。更多信息，请参见 OSS Go SDK API文档。示例程序 OSS Go SDK提供丰富的示例程序，方便您参考或直接使用。示例包括以下内容：...
按扫描量付费
然后将GZIP格式的数据分区存储，将待扫描的数据存储在同一个分区中。DLA只扫描一个分区，扫描的数据量降低至0.2 TB。将1 TB的JSON文件转换为ORC格式，DLA只需按列扫描其中10%的数据，扫描的数据量降低至0.1 TB。经过数据格式转换、压缩和...
创建时序表
当使用表格存储时序模型时，您需要使用CreateTimeseriesTable接口创建时序表用于存储时序数据。创建时序表时支持配置数据生命周期、时序时间线表的配置信息 和创建分析存储。分析存储可用于快速分析时序数据。前提条件 已通过控制台创建...
前言
示例代码包括以下内容：示例文件 示例内容 GetStartedSample.java 快速入门 BucketOperationsSample.java 创建存储空间 列举存储空间 获取存储空间的信息 判断存储空间是否存在 获取存储空间的地域 管理存储空间读写权限 生命周期 日志转存...
Spark SQL创建C-Store表
例如，指定这个表数据全部存储在SSD，或者全部存储在OSS，或者指定这个表的一部分二级分区存储在SSD，另一部分二级分区存储在OSS。是 hotPartitionCount=N 指定MIXED存储策略时热分区的个数。表示按分区键的值的大小倒序排列，最大N个分区...
概述
分区剪枝是指优化器自动从 FROM 和 WHERE 子句里根据分区键提取出需要扫描的分区，减少扫描的数据块，从而避免全表扫描，提高性能。分区剪枝机制支持以下两种剪枝方式：排除约束 快速剪枝 排除约束 参数 constraint_exclusion 用于控制排除...
- 产品推荐
- 这些文档可能帮助您