数据建模
存储大小 取对应分区的物理存储量，与期望值进行比较，只要符合规则则通过。比较方式包括：>、、>=、、=和!主键唯一 对应分区，表主键字段值去重后的count数是否等于分区记录数，等于则规则通过，不等于则规则不通过。多表记录数波动率 源...
使用限制
云存储单分区 宕机和升级时可能导致不可用 建议创建的分区数大于1，如果强依赖单分区，可以使用Local存储。说明 仅专业版实例支持在创建Topic时将存储引擎类型选择为Local存储，标准版暂不支持。说明 云消息队列 Kafka 版 不再支持按照...
什么是子分区
子分区（SUBPARTITION）用于把分区表划分为更小的子集，这些子集会存储在相同或不同的服务器上。如果对一个分区划分了子分区，那么每个分区都至少有一个子分区。如果对一个表划分了子分区，那么数据不会存储在在任何分区表中，而是会存储于...
分区表自动冷存
场景描述 带有时间序列的数据采用分区表存储，并按月进行分区，随着时间的推移，一段时间之前的数据访问频率大大降低（过期），为了降低存储成本，需要自动将超过某个固定时间的分区表进行冷存处理。对于这种场景，PolarDB PostgreSQL版 ...
分区表自动冷存
场景描述 带有时间序列的数据采用分区表存储，并按月进行分区，随着时间的推移，一段时间之前的数据访问频率大大降低（过期），为了降低存储成本，需要自动将超过某个固定时间的分区表进行冷存处理。对于这种场景，PolarDB PostgreSQL版...
数据分层存储
例如将分区父表（tbl2）设置为使用冷存存储，之后该分区父表（tbl2）对应的分区子表（tbl2_v1）都会使用冷存进行数据存储，代码如下：建表时指定存储策略为冷存储 BEGIN;CREATE TABLE tbl2(c1 text not null,c2 text)PARTITION BY LIST(c2)...
分区均衡引流
此功能会将集群中所有云存储类型的Topic的分区进行引流调整，使每个节点上的分区数尽量保持一致。Topic分区引流 如果某一云存储类型的Topic分区分配不均且流量过大，导致集群某个磁盘水位飙升，那么可以针对此Topic使用Topic分区引流功能，...
示例一：STM32+EC200S模组
以STM32+EC200S的设备为例，本文介绍该类型的设备，通过C Link SDK接入物联网平台的测试步骤。背景信息 通信模组与AT模组驱动框架适配的详细说明，请参见 概述。本文示例设备的单片机为STM32，通信模组为EC200S。更多信息，请参见 Quectel_...
BigQuery数据迁移至MaxCompute
可选：如果您未创建存储分区，请登录 OSS管理控制台，创建保存迁移数据的分区（Bucket），详情请参见 控制台创建存储空间。可选：如果您未创建RAM用户，请创建RAM用户并授予相关权限。登录 RAM访问控制台，创建RAM用户，详情请参见 创建RAM...
表操作篇
为高效利用表格存储，在设计表格存储的表的主键时，需考虑表的分区键：分区方式 说明 使用 CardID 作为表的分区键 使用 CardID 作为表的分区键是一个比较好的选择。每天每张卡产生的消费记录数从总体上来讲是均匀的，每一个分区中的访问...
选择使用低基数列作为分区键
在存储中为每个不同的分区键值创建新的Part（即数据片段）。将行按照分区键值放入相应的分区中。因此，为了最小化向云数据库ClickHouse企业版的对象存储发送写入请求数量，请使用低基数的分区键或避免在表中使用任何分区键。
ALTER TABLE…DROP SUBPARTITION
ALTER TABLE…DROP SUBPARTITION 命令用于删除子分区及存储在子分区内的数据。语法介绍 使用ALTER TABLE…DROP SUBPARTITION 命令来删除子分区定义及子分区内的数据。语法如下：ALTER TABLE table_name DROP SUBPARTITION subpartition_...
查看分区状态
相关文档 当您的Topic上的分区数分配不均衡时，您可以查看 分区均衡引流 将集群中所有云存储类型的Topic的分区进行引流调整。如果您的部分分区消息数量相差过大，请参见 为什么发送给Topic的消息在分区中分布不均衡？如果 最近更新时间 ...
Spark SQL创建C-Store表
MIXED：混合存储，部分分区在SSD，部分分区在OSS，需要通过 hotPartitionCount 指定存在SSD上的分区的数量。说明 HOT、COLD、MIXED大小写兼容。不同存储策略下数据读写性能不同，存储成本不同。为了降低数据存储成本，同时还要保证查询性能...
分区热力图
分区热力图功能支持查看各分区的访问情况和数据分布情况，可以帮助您快速发现数据过热的分区。注意事项 仅5.4.14及以上版本支持此功能。仅支持展示当前实例下所有AUTO模式数据库中的数据分布情况。当单个逻辑库下的总分区数超过8000时，则...
分区热力图
分区热力图功能支持查看各分区的访问情况和数据分布情况，可以帮助您快速发现数据过热的分区。注意事项 仅5.4.14及以上版本支持此功能。仅支持展示当前实例下所有AUTO模式数据库中的数据分布情况。当单个逻辑库下的总分区数超过8000时，则...
表设计规范
对表数据的生命周期进行正确的管理，也能够直接降低存储的数据量及存储成本。降低计算成本 规范化的表设计可以帮助您优化数据的读取，从而减少计算过程中的冗余读写和计算，提升计算性能，降低计算成本。降低维护成本 规范化的表分层设计...
分区
说明 在Meta中表的分区值通常以STRING类型进行存储。对于非字符串类型的分区字段，其值会在内部被自动转换为字符串类型。为避免因数据类型转换导致的异常，建议在设计分区字段时使用STRING类型。MaxCompute 1.0数据类型版本支持的分区字段...
概述
同时，PolarDB 分区表相对于原生MySQL进行了性能增强，支持丰富的分区类型及组合，使您可以更加便捷、简单和高效的使用分区表。分区表是将一个大的逻辑表，按照分区规则分割成多个小的物理表，大的逻辑表为分区表，小的物理表为分区，每...
宽表模型介绍
说明 如果现有业务对数据库的并发读写、扩展性和可用性要求较高，或者需要复杂的数据检索和大数据分析，原有数据架构已不能满足业务需求，您可以将MySQL、Oracle、Kafka、HBase、MaxCompute等数据源的数据迁移到表格存储的数据表中使用。...
何时选择LIST分区
以下示例为北京、天津、内蒙、河北的所有客户存储在一个分区中，其他省市的客户存储在不同的分区中。按区域分析账户的管理人员可以利用分区剪枝。区域 编号 华北（p_cn_north）1:BJ,2:TJ,3:HB,4:NM 华南（p_cn_south）5:GD,6:GX,7:HN 华东...
为什么使用表格存储过程中会有少量的500错误
当某个数据分区的数据量过大，或者访问过热，如下图的数据分区P1，表格存储的动态负载均衡机制能够检测到这种情况的发生，并将数据分区分裂成两个数据分区P1和P5，并将该两个数据分区调度到负载较低的服务节点上。表格存储使用上述的自动...
变更表的表组（AUTO模式）
目标表组mytg1的分区如下，并且p1分布在存储节点DN1，p2分布在存储节点DN3。PARTITION BY RANGE(int)(PARTITION p1 VALUES LESS THAN(20),PARTITION p2 VALUES LESS THAN(100))源表tb1和目标表组mytg1的分区方式虽然完全一致，但是分区的...
分布式线性扩展
表组 为了提升Join查询性能，PolarDB-X 推荐根据业务场景设计各个表的分区键，使得有关联关系的表具有相同的分区方式。例如下图中，user、orders、lineitem、delivery这四张表都以HASH（user_id）作为分区函数，如下的示意SQL语句可以下推...
分区表管理（auto_partition）
AnalyticDB PostgreSQL版 支持将大表定义为分区表，并支持通过auto_partition插件对分区表进行自动删除或新增，当您进行条件查询时，系统只会扫描满足条件的分区，避免全表扫描，从而提升查询性能。新增分区的粒度包括小时，天，星期，月，...
数据存储冷热分离
冷热混合存储指一定数量的分区存储在SSD盘，其余数据存储在OSS中。指定冷热存储策略 在执行 CREATE TABLE 时，您可以通过 storage_policy 参数来指定表的数据存储冷热分离策略。对于已有的表，可以通过 ALTER TABLE table_name storage_...
ALTER TABLE…DROP PARTITION
partition name 要删除的分区名称 示例 – 删除分区 下列示例删除了表 sales的一个分区。通过使用下列命令来创建表 sales：CREATE TABLE sales(dept_no number,part_no varchar2,country varchar2(20),date date,amount number)PARTITION ...
Kafka数据接入
如果未创建服务关联角色，云消息队列 Kafka 版 会为您自动创建一个服务关联角色，以便您使用 云消息队列 Kafka 版 导出数据至表格存储的功能。如果已创建服务关联角色，云消息队列 Kafka 版 不会重复创建。关于服务关联角色的更多信息，请...
分区表简介
当大表用于存储历史数据，新数据均加入至某个最新的分区，该场景下建议使用分区表。例如，大表用于存储一年12个月的历史数据。当前月份的数据存在一个单独的分区中，该分区的数据是可更新的。而历史月份的数据则存在另一个只读的分区中。...
分区表简介
当大表用于存储历史数据，新数据均加入至某个最新的分区，该场景下建议使用分区表。例如，大表用于存储一年12个月的历史数据。当前月份的数据存在一个单独的分区中，该分区的数据是可更新的。而历史月份的数据则存在另一个只读的分区中。...
分区表简介
当大表用于存储历史数据，新数据均加入至某个最新的分区，该场景下建议使用分区表。例如，大表用于存储一年12个月的历史数据。当前月份的数据存在一个单独的分区中，该分区的数据是可更新的。而历史月份的数据则存在另一个只读的分区中。...
CREATE PARTITION TABLE
分区表的不同分区子表采用不同的文件存储，查询时带上分区条件，指定所需查询的分区，避免全表扫描，快速定位存储文件，提高处理效率。通常将事实表按照日期划分为不同的分区。分区表的任何一个子表在元数据存储上等同于一个非分区表，因此...
分布表
将大表定义为分区表，从而将其分成较小的存储单元，根据查询条件，会只扫描满足条件的分区而避免全表扫描，从而显著提升查询性能。分布表使用 AnalyticDB PostgreSQL支持的分区表类型包括范围（Range）分区、值（List）分区和多级分区表，...
主键与唯一键（AUTO模式）
沿用示例5中的表list_tbl，该表已经存在两行主键相同的数据，一行存储在city为“Beijing”的分区，另一行存储在city为“Shenzhen”的分区。执行如下所示变更分区策略的DDL，使得city为“Beijing”和“Shenzhen”的数据存储在同一个分区，...
概述
适用场景 使用订单表或日志表等业务场景 对于在使用订单表或日志表等业务场景下创建的分区表，通常会选择按照时间进行RANGE分区，但一般只对最新的一到两个分区进行频繁的查询，从需求角度来讲，仅在查询频繁的分区上创建对应的二级索引...
分区表常见问题
PolarDB MySQL版 是共享存储的架构，在RW节点上创建的event不会在RO节点执行，参数选择 ENABLE 即可。使用自动化分区管理功能时，集群 发生主备切换之后，新的RW节点是否可以继续执行event？发生HA之后，新的RW节点是可以继续执行event的。...
使用表格存储过程中返回503错误码
问题描述 在使用表格存储的过程中，偶尔会出现503错误，详细错误信息请参见下表。HTTPStatus ErrorCode ErrorMsg 503 OTSPartitionUnavailable The partition is not available.503 OTSServerUnavailable Server is not available.503 ...
如何理解主键、数据分区和数据分区键
数据分区和分区键 表格存储会自动把表分成不同的数据分区，以达到对其存储数据的负载均衡。数据分区的划分粒度为主键的第一列，该列即为数据分区键。拥有相同数据分区键的行必然在同一个数据分区中。表格存储能够保证对具有同一数据分区键...
分区和列操作
MaxCompute支持对已有表的分区和列执行变更操作，如添加分区、添加列、删除列、更改列数据类型等，您可以根据实际业务场景执行相应操作。MaxCompute SQL的分区和列操作命令如下。类型 操作 功能 角色 操作入口 分区操作 添加分区 为已存在...
表设计
另一方面辩证的来看，如果业务需求很低，例如对于表格存储的TPS/QPS都在1000以下，整体数据在10GB下，且未来也不会有大的增长，那么热点问题也不是一个需要花太多精力考虑的问题，这样的负载单分区完全可以支撑。实际上，单分区也可以达到...
- 产品推荐
- 这些文档可能帮助您