API概览
本文介绍对象存储OSS提供的相关API接口及其各API接口的用法。关于Service操作 API 描述 ListBuckets（GetService）返回请求者拥有的所有存储空间（Bucket）。ListUserDataRedundancyTransition 列举请求者所有的存储冗余转换任务。关于...
创建TTL表
如果开启的话，过期分区会自动被删除，新分区会自动提前创建。语法限制 TTL表支持的时间分区列类型为：date、datetime；所有的唯一键（包括主键）必须包含TTL表的local partition by range时间分区列；TTL表最多支持32个最大物理时间分区。...
使用限制
限制项 限制值 说明 限制Topic总数（分区总数）支持 云消息队列 Kafka 版 的存储和协调机制是以分区为粒度的，Topic总数（分区总数）太多，会导致存储碎片化，集群性能和稳定性下降。Topic减少对应分区 不支持 这是Apache Kafka自身设计所...
分区和列操作
具备修改表权限（Alter）的用户 本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 删除分区 为已存在的分区表删除分区。修改分区的更新时间 ...
ALTER TABLE
注意事项 删除分区之后，MaxCompute项目的存储量会降低。您可以结合MaxCompute提供的生命周期功能，实现自动回收旧分区的能力。更多生命周期信息，请参见 生命周期。命令格式 未指定筛选条件-一次删除一个分区。alter table<table_name>...
名称解释
分区表（一级分区）HybridDB for MySQL中的表从建模的维度看，可以分为事实表（fact table）和维度表（dimension table），事实表是指分区表（通常是一级分区表），即需要被拆分到不同节点去存储的表，在建表的时候指定分区键就可以生成...
出错提示S6磁盘分区创建快照出错
其中S6_*可能的错误码如下：S6_8 S6_1 问题原因 块复制迁移过程中，SMC客户端会在源系统内部自动创建磁盘分区快照设备，用于数据同步。源系统SMC客户端进行磁盘分区创建快照时出错，可能原因如下：Windows：磁盘分区空间不足。系统安装有...
容量中心
当选择所有租户时，不再显示数据库和数据表筛选，改为展示集群下不同租户的存储、分区副本、CPU、内存的图表信息。右侧展示了不同租户磁盘使用量 Top10 的数据。展开后可以查看对应租户的数据和索引的磁盘占用量。单击 详情 或者租户名称，...
数据输入输出
从非分区表 test_odps_table 中获取数据，通过MaxFrame进行转换并将其存储到另一张分区表 test_processed_odps_table 中，代码示例如下：import maxframe.dataframe as md df=md.read_odps_table("test_odps_table")processed_df=df[df.A>...
Spark SQL创建C-Store表
例如，指定这个表数据全部存储在SSD，或者全部存储在OSS，或者指定这个表的一部分二级分区存储在SSD，另一部分二级分区存储在OSS。是 hotPartitionCount=N 指定MIXED存储策略时热分区的个数。表示按分区键的值的大小倒序排列，最大N个分区...
PolarDB MySQL版DDL操作指南
ERROR 0A000:ALGORITHM=INPLACE is not supported.Reason:Cannot change column type INPLACE.Try ALGORITHM=COPY.VARCHAR类型属于变长存储类型，磁盘仅存储实际长度，因此建议您在使用VARCHAR类型的字段时，考虑将最大长度直接调整到256个...
动态分区管理
创建分区子表：tbl1_20231218 清理分区子表：tbl1_20231213 常见场景 保留指定分区子表 默认情况下，系统会按照已配置的动态分区规则，自动创建和删除分区子表，不在保留范围内的分区子表将被自动删除。但在某些特殊场景中（例如在电商场景...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
表格存储建表注意事项
主键的第一列为分区键，可以理解为当表的数据量达到一个设定值时，表格存储会根据分区键列值的范围来进行分区的操作，通过分区来达到数据访问负载均衡的目的。建表时，表内的数据默认拥有一个分区，即该表的所有数据在一个数据分区上。当表...
创建和管理自定义存储表
物联网平台数据服务提供离线数据存储功能，支持自定义分区表、事务表和时序表。自定义存储表可以作为数据服务中数据解析、SQL分析任务和数据可视化的数据源，可以作为数据解析、SQL分析任务的结果输出表，可以集成时序表数据到实时计算...
DeleteTimeseriesAnalyticalStore
调用DeleteTimeseriesAnalyticalStore接口删除一个时序分析存储。请求消息结构 message DeleteTimeseriesAnalyticalStoreRequest { required string table_name=1;required string store_name=2;optional bool drop_mapping_table=3;} 名称...
数据分层存储
分区表 创建分区表的存储策略 分区表也可以通过 SET_TABLE_PROPERTY 来设置表的存储策略，分区子表默认继承父表的存储属性，也可以分别设置父表和子表的存储策略。支持的选项有：hot（热存储）。cold（冷存储）。例如将分区父表（tbl2）...
存储费用
日存储量平均值=采集到的存储量之和÷24 当低频存储的表或者分区转成标准存储或者长期存储时，会收取当前整张表或者分区的低频存储访问费。当长期存储的表或者分区转成标准存储或者低频存储时，会收取当前整张表或者分区的长期存储访问费。...
表分区定义
分区表维护 分区表支持多种分区管理操作，包括新增分区，删除分区，重命名分区，清空截断分区，交换分区，分裂分区等，具体信息，请参见 Partitioning Large Tables。分区表子表重命名 AnalyticDB PostgreSQL版 在6.3.10.9版本之后支持对...
什么是子分区
子分区（SUBPARTITION）用于把分区表划分为更小的子集，这些子集会存储在相同或不同的服务器上。...语法 关于子分区的相关命令及说明，例如添加子分区至分区表、合并子分区、拆分子分区、删除子分区等，请参见 分区表命令列表。
存储引擎
数据分区：支持数据多级分区，且可按Value或范围进行分区，常用场景为按时间进行分区，可明显降低IO数据量，同时分区支持混合存储，历史数据和活跃数据可分层冷热存储。排序及粗糙集过滤：建表时可指定排序字段，数据通过排序后，一方面可...
计算节点发布说明
优化存储过程的创建和删除流程，避免出现元数据残留问题。降低REPLACE/UPSERT语句在包含GSI或UGSI的表上执行时的CPU消耗。缺陷修复 修复包含clustered index的表在创建local索引时，部分旧的执行计划没有清理的问题。修复在DRDS模式数据库...
配置NAS NFS存储卷容量
可选值为：Retain：保留后端存储，删除PV及PVC不会删除对应的后端存储，例如云盘。Delete：当删除PVC时，自动删除PV和后端的存储。allowVolumeExpansion 表示是否支持NAS存储卷的扩容。说明 创建带有配额子目录NAS的StorageClass，需要将 ...
方案背景
本文以车联网场景中车辆轨迹数据为例介绍基于设备接入平台与表格存储Tablestore搭建车辆轨迹数据平台的场景需求以及方案架构。场景需求 在车联网场景中，车辆通过传感器上报时序数据到云端。通过存储、查询和分析这些时序数据，用户可以...
什么是OSS-HDFS服务
通过JindoFuse充分支持POSIX，可以在ClickHouse这类OLAP场景中替换本地磁盘来实现存储与计算分离方案。同时，得益于缓存系统进行加速，达到较优性价比。HBase存储与计算分离 OSS-HDFS服务原生支持文件、目录语义和操作，并支持flush操作，...
分区迁移
注意事项 本文要求 PolarDB-X 实例版本必须为5.4.14-16539836及以上...场景 4：目标分区是非模板化的二级分区 和场景3不一样，当二级分区是非模板化分区时，迁移二级分区就是迁移具体的分区，语法请参见 场景3：目标分区是模板化的二级分区。
表设计
说明 有一种局部热点情况，假设10.10.0.0/16这个网段的机器写入量很大，而表格存储是按照分区键的一个范围进行分区的，刚好这些机器又都分在一个分区内，会不会产生热点呢？如果写入压力超过或接近单分区的上限，确实是一个热点，但是表格...
Windows主机上磁盘无法分区
概述 本文主要介绍Windows主机上磁盘无法分区的解决方案。问题症状 Windows主机上磁盘无法进行分区，系统工具操作异常。解决方案 做好快照备份，然后将基本磁盘 转换为动态磁盘，重新分区操作，恢复正常。右键单击 我的电脑 选择 管理，弹...
如何查看OSS文件被删除的详细操作记录
概述 本文主要介绍当发现您存储在阿里云对象存储OSS中的文件被删除后，如何查看阿里云对象存储OSS文件被删除的详细操作记录，定位是否存在误删除的情况。详细信息 如您需要查看OSS文件被访问、删除等操作的记录，需要开启OSS的Logging日志...
云存储网关软件版公测
云存储网关软件版是一款可以安装在阿里云用户ECS上或者用户本地数据中心客户端的产品，提供类似ossfs的功能，使用云存储网关软件版可以将OSS桶挂载到客户端本地以POSIX文件接口进行访问，从而您可以像操作本地文件一样操作OSS里面的文件。...
基本概念
分区表可存储的数据量较大，通常可以存储千万条甚至千亿条数据。维度表 维度表，又称复制表，集群的每个节点都会存储一份维度表的全量数据。因此，复制表中的数据量不宜过大，最好不超过2万行。由于维度表的变更会广播到集群的所有节点，...
CREATE TABLE.PARTITION BY
使用CREATE TABLE命令的PARTITION BY子句来创建一个分区表，这个分区表中的数据分配在一个或多个分区（和子分区）中。语法介绍 CREATE TABLE命令语法有下面的三种形式：列表分区语法 使用第一种形式创建一个列表分区表：CREATE TABLE...
监控审计
日志转存 访问对象存储OSS的过程中会产生大量的访问日志，您可以通过日志转存功能将这些日志按照固定命名规则，以小时为单位生成日志文件写入您指定的Bucket。对于已存储的日志，您可以通过阿里云日志服务或搭建Spark集群等方式进行分析。...
清理过期数据
清理过期数据可以释放存储空间，优化资源利用并提升系统运行效率等。本文为您介绍如何清理Paimon表过期数据，包括调整快照文件过期时间、设置分区的过期时间、以及清理废弃文件。注意事项 仅实时计算引擎VVR 8.0.5及以上版本支持Paimon表。...
主键与唯一键（AUTO模式）
沿用示例12中的表range_tbl，该表已经存在两行 serial_id 相同的数据，一行存储在p1分区，另一行存储在p2分区。尝试执行变更表类型的DDL，使range_tbl表从手动分区表变成单表，这将引发range_tbl表内的数据重分布。ALTER TABLE range_tbl ...
迁移Hive表和分区数据到OSS-HDFS服务
本文介绍如何使用JindoTable MoveTo命令将Hive表和分区数据迁移至OSS-HDFS服务。前提条件 已创建EMR-3.36.0及以上版本（除3.39.x版本以外）或EMR-5.2.0（除5.5.x版本以外）及以上版本的集群。具体步骤，请参见 创建集群。已通过Hive命令...
创建分区表
删除分区 ALTER TABLE table_name DROP[IF EXISTS]PARTITION partition_spec[,PARTITION partition_spec,.];可以一次删除多个分区，分区之间以英文逗号（,）分隔。ALTER TABLE order_part DROP PARTITION(dt='2008-08-08',status='ready');...
分区变更
PolarDB-X 的AUTO模式数据库分区表配套了非常完善的分区变更及管理能力，具体的分区管理能力包括以下几种：分区分裂 热点分区分裂 分区合并 分区迁移 重命名分区 增加分区 删除分区 修改分区 重组分区 清空分区 分区变更操作对不同分区策略...
CDH6数据迁移
本文介绍如何将CDH中本地HDFS的数据迁移到 文件存储 HDFS 版，实现存储计算分离。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。...
- 产品推荐
- 这些文档可能帮助您