DROP PARTITION
本文档介绍了删除分区和子分区以及存储在分区和子分区内数据的方法。语法 ALTER TABLE…DROP PARTITION 命令用于删除分区和子分区及存储在分区和子分区内的数据。ALTER TABLE table_name DROP PARTITION partition_names;说明 该命令不可以...
分区和列操作
MaxCompute支持对已有表的分区和列执行变更操作，如添加分区、添加列、删除列、更改列数据类型等，您可以根据实际业务场景执行相应操作。MaxCompute SQL的分区和列操作命令如下。类型 操作 功能 角色 操作入口 分区操作 添加分区 为已存在...
分区表命令列表
删除 ALTER TABLE…DROP PARTITION 删除分区结构和存储在这个分区上的数据。ALTER TABLE…DROP SUBPARTITION 删除子分区结构及存储在子分区内的数据。ALTER TABLE…TRUNCATE PARTITION 删除指定的分区中数据，保留完整的分区结构。ALTER ...
数据建模
时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间分区和冷热存储分界线。创建数据库的具体操作，请参见 CREATE DATABASE。示例 创建一个名为DB1的数据库，设置数据为不过期。...
LOAD
如果您需要将外部存储上的数据导入MaxCompute的表或表的分区中，可以通过LOAD命令实现该操作。本文为您介绍如何使用LOAD命令将外部存储上的CSV格式或其他开源格式数据导入MaxCompute。本文中的命令您可以在如下工具平台执行：MaxCompute...
LOAD
如果您需要将外部存储上的数据导入MaxCompute的表或表的分区中，可以通过LOAD命令实现该操作。本文为您介绍如何使用LOAD命令将外部存储上的CSV格式或其他开源格式数据导入MaxCompute。本文中的命令您可以在如下工具平台执行：MaxCompute...
如何理解主键、数据分区和数据分区键
数据分区和分区键 表格存储会自动把表分成不同的数据分区，以达到对其存储数据的负载均衡。数据分区的划分粒度为主键的第一列，该列即为数据分区键。拥有相同数据分区键的行必然在同一个数据分区中。表格存储能够保证对具有同一数据分区键...
方案设计
数据存储方案 表格存储设计了两张表分别存储数据集的meta和data：meta表示这个数据集的元数据，例如GridDataSetId、各维度长度、自定义属性等。data表示这个数据集里实际的网格数据。data相比meta在数据大小上要大很多。将数据集的meta和...
创建表
更多表及分区的操作信息，请参见 表操作 和 分区和列操作。创建表的操作流程如下：可选：在MaxCompute客户端，执行如下命令切换至目标MaxCompute项目。如果您启动MaxCompute客户端后已在目标MaxCmpute项目中，请忽略该步骤。use doc_test_...
读取以分区方式存储的OSS数据
MaxCompute支持创建OSS外部表为分区表，访问OSS上以分区方式存储的数据，通过该方式可降低读取数据量并提升数据处理效率。本文为您介绍MaxCompute支持的OSS标准分区路径格式和自定义分区路径格式。背景信息 创建OSS外部表后，MaxCompute会...
OSS小时数据
取值如下：standard：标准存储-本地冗余 IA：低频访问-本地冗余 archive：归档存储-本地冗余 coldarchive：冷归档存储 deepcoldarchive：深度冷归档存储 standard-zrs：标准存储-同城冗余 IA-zrs：低频访问-同城冗余 archive-zrs：归档存储...
创建OSS外部表
OSS外部表包含分区表和非分区表两种类型，实际需要创建哪种类型的表，主要取决于OSS中数据文件的存储路径格式。当数据文件以分区路径方式存储时，需要创建分区表；否则创建非分区表。更多读取分区数据信息，请参见 读取以分区方式存储的OSS...
JindoTable MoveTo命令介绍
MoveTo命令可以实现表和分区数据的迁移功能。本文为您介绍MoveTo命令的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。背景信息 MoveTo命令可以在拷贝底层数据结束后，自动更新元数据，使表和分区的数据完整...
JindoTable MoveTo命令介绍
MoveTo命令可以实现表和分区数据的迁移功能。本文为您介绍MoveTo命令的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。背景信息 MoveTo命令可以在拷贝底层数据结束后，自动更新元数据，使表和分区的数据完整...
JindoTable MoveTo命令介绍
MoveTo命令可以实现表和分区数据的迁移功能。本文为您介绍MoveTo命令的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。背景信息 MoveTo命令可以在拷贝底层数据结束后，自动更新元数据，使表和分区的数据完整...
ALTER TABLE
alter table 只会影响分区表的新建分区（包括 insert overwrite 生成的），新分区将按新的聚簇属性存储，老数据分区的聚簇属性和存储保持不变。即在一张曾经做过聚簇属性设置的表上，关闭了聚簇属性，再增加聚簇设置，可以在新分区设置不同...
MaxCompute近实时增全量一体化架构介绍
比如近实时数据导入链路，依赖平台引擎具备事务隔离、小文件自动合并等能力，又比如增全量数据合并链路，还依赖增量数据存储和读写，主键等能力。在MaxCompute推出新架构之前，为了支持这些复杂的综合业务场景，只能依赖于下图所示的三种...
访问列存数据
列存即列式存储，是一种将数据按列进行存储和处理的数据管理方式。Lindorm计算引擎支持将半结构化、结构化数据以列存方式进行存储，相较于行式存储，列式存储的查询响应时间更短，消耗IO更少。本文介绍如何通过计算引擎访问Lindorm列存数据...
PolarDB PostgreSQL（兼容Oracle）2.0版本与1.0版本...
此外，用户还可以通过使用 pg_read_all_data 和 pg_write_all_data 两个预定义的角色，实现一次性授权tables/views/sequences对象的只读或只写权限，为用户提供更加灵活的数据管理方式。PolarDB PostgreSQL版（兼容Oracle）2.0版本采用了...
自定义分区
[table_compression|prefix_compression][inmemory_clause][ilm_clause][OVERFLOW[segment_attributes_clause]][{ LOB_storage_clause|varray_col_properties|nested_table_col_properties }.]支持自定义 range 一级分区和自定义 range/...
CREATE TABLE
创建非分区表、分区表、外部表或聚簇表。限制条件 分区表的分区层级不能超过6级。例如某张表以日期为分区列，分区层级为 年/月/周/日/时/分。一张表允许的分区个数支持按照具体的项目配置，默认为6万个。更多表的限制条件，请参见 SQL使用...
审计配置
在使用 数据安全中心DSC（Data Security Center）提供的安全审计功能前，您需要先完成审计配置。DSC 根据您配置的审计模式采集审计日志，并根据已开启的审计规则上报审计告警。本文介绍如何进行审计配置。前提条件 已购买 DSC 企业版。具体...
Delta Lake 快速开始二
通过元存储创建表并显示表中内容%pyspark#通过路径在元存储中创建表 spark.sql("CREATE TABLE IF NOT EXISTS events_partition USING DELTA LOCATION '/dome-test/delta/events_partition'")#从元存储和路径中读取表 df1=spark.table(...
UNLOAD
MaxCompute支持您将MaxCompute项目中的数据导出至外部存储（OSS、Hologres），以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行...
UNLOAD
MaxCompute支持您将MaxCompute项目中的数据导出至外部存储（OSS、Hologres），以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行...
DDL语句
否 查看建表语句 否 分区和列操作 功能 是否支持 添加分区 支持添加单个分区 不支持添加多个分区 删除分区 支持删除单个分区 不支持删除多个分区 不支持根据过滤条件删除分区 添加列或注释 是 修改列名 是 修改列注释 是 修改分区的更新...
TRUNCATE
清空非分区表里的数据 将指定的非分区表中的数据清空。如果您需要清空分区表中单个或多个分区的数据，请参见 清空分区数据。命令格式 truncate table;参数说明 table_name：必填。待清空数据的非分区表的名称。清空分区数据 清空分区表中...
分区变更
PolarDB-X 的AUTO模式数据库分区表配套了非常完善的分区变更及管理能力，具体的分区管理能力包括以下几种：分区分裂 热点分区分裂 分区合并 分区迁移 重命名分区 增加分区 删除分区 修改分区 重组分区 清空分区 分区变更操作对不同分区策略...
管理日志存储空间
开通DDoS高防全量日志服务后，您可以根据需要修改日志存储容量的规格，或清空已存储的全部日志。背景信息 如果您因网站业务调整，导致所需要的日志存储容量发生变化，您可以通过 升级 增加日志存储容量、通过 降配 减小日志存储容量。例如...
管理日志存储空间
开通DDoS高防全量日志服务后，您可以根据需要修改日志存储容量的规格，或清空已存储的全部日志。背景信息 如果您因网站业务调整，导致所需要的日志存储容量发生变化，您可以通过 升级 增加日志存储容量、通过 降配 减小日志存储容量。例如...
存储池
除平台业务应用层需要对此类需求进行适配外，业务数据库也需要提供相应的能力，确保来自不同租户的数据存储和计算做到服务分级和资源隔离。就业务系统对数据库的切分方式而言，常见的租户方案有两种：Schema级多租户。多个租户对应的数据...
数据分层存储
分区表 创建分区表的存储策略 分区表也可以通过 SET_TABLE_PROPERTY 来设置表的存储策略，分区子表默认继承父表的存储属性，也可以分别设置父表和子表的存储策略。支持的选项有：hot（热存储）。cold（冷存储）。例如将分区父表（tbl2）...
数据存储冷热分离
例如热分区数为4，分区包含20201110、20201109、20201108、20201107、20201106、20201105和20201104，数据存储冷热分离策略会将最大的4个分区20201110、20201109、20201108和20201107指定为热分区，剩余分区为冷分区。冷热分区布局不是固定...
分层存储
MaxCompute分层存储支持标准存储、低频存储和长期存储，默认情况下为标准存储。您可以根据数据的访问频率，将某些表或分区的存储类型设置为低频存储或长期存储，实现数据的冷热分层，以降低数据存储费用。申请开通使用 目前分层存储处于邀...
宽表模型介绍
数据类型（Data Type）表格存储支持多种数据类型，包含String、Binary、Double、Integer和Boolean。生命周期（Time To Live）每个数据表可定义数据生命周期。例如生命周期配置为一个月，则表格存储会自动清理一个月前写入数据表的数据。...
清空分区
场景2：清空一个含有二级分区的一级分区 由于一级分区下含有二级分区，所以清空一级分区，实际是会同时清空该一级分区下的所有二级分区。假设r_k_tp_t1与r_k_tp_t2都采用Range分区，建表SQL如下所示：CREATE TABLE `r_k_tp_t1`(`a` bigint...
全局二级索引（GSI）
原理和特性 在分布式数据库的分区表中，数据被按照建表时指定的分区键进行路由和存储，因此包含分区键的查询可以快速定位到一个具体分区，而其它查询则需要全分区扫描。对于分布式数据库而言，全分区扫描除了会增加慢查询数量降低系统吞吐...
通过控制台使用宽表模型
表格存储 提供了控制台、命令行工具（Tablestore CLI）和Tablestore SDK三种访问方式。通过控制台使用宽表模型（WideColumn）时，您需要开通表格存储服务，然后使用控制台进行创建实例、创建数据表、读写表中数据以及使用SQL查询数据的操作...
使用限制
限制项 限制值 说明 限制Topic总数（分区总数）支持 云消息队列 Kafka 版 的存储和协调机制是以分区为粒度的，Topic总数（分区总数）太多，会导致存储碎片化，集群性能和稳定性下降。Topic减少对应分区 不支持 这是Apache Kafka自身设计所...
存储引擎
数据分区：支持数据多级分区，且可按Value或范围进行分区，常用场景为按时间进行分区，可明显降低IO数据量，同时分区支持混合存储，历史数据和活跃数据可分层冷热存储。排序及粗糙集过滤：建表时可指定排序字段，数据通过排序后，一方面可...
- 产品推荐
- 这些文档可能帮助您