2023年
无 缺陷修复 修复智能诊断功能统计表大小时可能会出现数字溢出的问题，现已将统计表大小的列由integer数据类型修改为bigint数据类型。修复分区表UPDATE分布键列时出现 tuple already updated by self 错误信息的问题。修复Master节点不回收...
变更表类型及分区策略（AUTO模式）
常见问题 Q：为什么有时分区变更的DDL任务会执行失败？此时该如何处理？A：实例崩溃或唯一索引存在冲突等因素会导致分区变更的DDL任务执行失败。但这不会损坏原表任何数据，也不会阻塞正常的DML和查询语句执行。当分区变更的DDL任务执行...
Hive数据源
重要 当导入数据导致文件变更时，分区表会执行ALTER PARTITION的event逻辑，未分区表会执行ALTER TABL的event逻辑。如果绕过HMS直接操作文件系统的话，HMS不会生成对应事件，SelectDB因此也无法感知。该特性在 fe.conf 中由以下参数控制：...
费用优化
只有readwrite的分区会收费。请调整分区个数，使其正好能处理5M/s的数据。减少分区个数请合并分区。Logstore 数据保存周期 针对您对日志的查询、存储的需求不同，建议您优化Logstore 数据保存周期。如果您收集日志是为了做流计算，建议您只...
为什么同一个分区被多个消费线程消费了？
问题现象 消费客户端使用“StickyAssignor”分配模式消费消息时，发现同一个分区被多个消费线程消费，出现数据错乱的情况。可能原因 您的客户端低于2.3版本。2.3版本以前的客户端有可能将同一个分区分配给多个消费线程进行消费。更多信息，...
路由到对象存储OSS
分区较多会导致数据分散、写入次数增多、碎片文件多等问题，因此分区的配置策略非常关键，因为以下为参考建议：Kafka Source：可同时按时间和 partition 分区，当性能无法满足时，可通过提升 kafka partition 数量间接提升 Connector 吞吐...
创建OSS Sink Connector（新版）
分区较多会导致数据分散、写入次数增多、碎片文件多等问题，因此分区的配置策略非常关键，因为以下为参考建议：Kafka Source：可同时按时间和 partition 分区，当性能无法满足时，可通过提升 kafka partition 数量间接提升 Connector 吞吐...
生命周期
如果2020年02月19日回收扫描时发现表分区 LastModifiedTime 超过生命周期指定的时间，则上述分区会被回收。生命周期主要提供定期回收表或分区的功能，每天根据服务的繁忙程度，不定时回收。不能确保表或分区的生命周期到期后立刻被回收。...
新建工作流
3.如果您从未使用逻辑编排服务，此时会出现一个 授权 按钮，因为逻辑编排工作流在运行过程中，需要扮演您的某个RAM角色，访问您的API，所以需要授权逻辑编排一个正确的RAM角色才能保证工作流正常运行。单击 授权 按钮，弹出授权对话框。该...
自动化管理分区
示例如下：创建一个与分区表相同表结构的非分区表来做exchange,DDL结束后分区数据会被交换出去，原来的分区会变为空分区。DELIMITER|CREATE EVENT IF NOT EXISTS exchange_partition ON SCHEDULE EVERY 1 DAY STARTS '2022-05-21 02:00:00'...
使用pg_pathman插件
支持自动分区管理（通过函数接口创建分区，自动将主表数据迁移到分区表），或手工分区管理（通过函数实现，将已有的表绑定到分区表，或者从分区表剥离）。支持的分区字段类型包括int、float、date以及其他常用类型，包括自定义的domain。...
使用pg_pathman插件
支持自动分区管理（通过函数接口创建分区，自动将主表数据迁移到分区表），或手工分区管理（通过函数实现，将已有的表绑定到分区表，或者从分区表剥离）。支持的分区字段类型包括int、float、date以及其他常用类型，包括自定义的domain。...
配置示例：MaxCompute
参数 描述 试跑分区 实际分区会随着业务日期变化而改变。如果为 NOTAPARTITIONTABLE，则会自动添加实际分区。调度时间 选择需要试跑的调度日期，默认为当前时间。单击 试跑。单击 试跑成功，点击查看试跑结果，进入 任务查询 页面，查看...
查看消费状态
有消息堆积就一定是出现问题了吗？不一定。一般分为以下三种情况：最近消费时间与当前时间接近，并且堆积量保持在一个稳定的数值之间波动，没有持续扩大。说明客户端一直在拉取最新消息，没有消息堆积，属于正常情况。堆积量逐步扩大，并且...
表分区定义
分区定义的粒度 在您使用分区表的过程中，可能会遇到分区表粒度的问题，例如按时间分区的情况下，选择按天、按周还是按月进行分区。分区表的粒度越细，每张分区表的数据就越少，分区表的数量就越多。关于分区表的数量，并没有绝对的标准，...
查询优化建议
如果有非一级分区的列要join，要考虑join的倾斜问题，是否会产生过多的null值。如果有其他非一级分区的列要join，最好将一级分区键一起join，即多个join key，其中包含一级分区键。如果出现一级分区键不对齐和对齐混合的多个join，为了提高...
块存储FAQ
如果您直接测试裸盘分区，会破坏裸盘分区中的文件系统元数据，导致无法访问该裸盘分区中的文件，甚至导致实例宕机。使用FIO的文件系统测试性能方式时，不存在上述问题。如何根据应用需求选择可用区？按量付费的云盘只能挂载到同一可用区的...
分区格式化数据盘
MBR目前是最常用的分区形式，MBR只支持处理不大于2 TiB的数据盘，且只支持分4个主区，如果您要将磁盘分成更多的区，需要将某个主区作为扩展区并在其中创建逻辑分区。在 磁盘管理 对话框，右键单击 磁盘 1 的 未分配 区域，单击 新建简单卷...
Linux实例SWAP分区的配置和常见问题处理
sysctl-p 常见问题处理 常见问题描述 使用mkswap创建SWAP时出现类似如下报错信息：mkswap:error:swap area needs to be at least 40 KiB 问题原因 指定的SWAP分区文件太小，SWAP分区文件至少应该大于40KB。解决方法 重新生成更大的文件格式...
在裸设备上创建文件系统
如果您的数据盘为裸设备，即只呈现为一个独立的分区（例如/dev/vdb）且不需要划分逻辑分区（例如/dev/vdb1、/dev/vdb2等），云盘初始化时直接在裸设备上创建文件系统即可。本文为您介绍如何在裸设备上创建一个文件系统。说明 在裸设备上...
ALTER TABLE
alter table 只会影响分区表的新建分区（包括 insert overwrite 生成的），新分区将按新的聚簇属性存储，老数据分区的聚簇属性和存储保持不变。即在一张曾经做过聚簇属性设置的表上，关闭了聚簇属性，再增加聚簇设置，可以在新分区设置不同...
分区和列操作
合并分区 对分区表的分区进行合并，即同一个分区表下的多个分区合并成一个分区，同时删除被合并的分区维度的信息，把数据移动到指定分区。清空分区数据 清空指定分区的数据。列操作 添加列或注释 为已存在的非分区表或分区表添加列或注释。...
分区分裂
例如将p2分裂成5个分区，这5个新分区是在原p1的hash空间范围内将其按hash空间范围一分为五：ALTER TABLE tb1 split partition p2 INTO partitions 5 表组级用法 说明 对表组的分区分裂，意味着表组内所有表的相应分区会同步进行分裂。...
单元化介绍
执行数据分区时一个很重要的问题是分区维度的选择，一个好的维度，应该：粒度合适：粒度过大，会丧失流量调配的灵活性和精细度；粒度过小，会给数据的支撑资源，访问逻辑带来负担。足够平均：按这个分区维度划分后，每个部署单元的数据量...
分区裁剪
云原生数据仓库AnalyticDB PostgreSQL版 支持静态分区和动态分区裁剪。在扫描分区表前，能通过检查分区约束条件与每个分区的定义，提前排除不需要扫描的分区，大大减少从磁盘中读取的数据量，从而缩短运行时间，改善查询性能，减少资源浪费...
大数据计算服务MaxCompute
重要 由于一次性读取大量分区会给MaxCompute服务带来一定压力，同时也会让作业启动速度变慢，因此您需要确认是否需要读取这么多分区（而不是误填partition参数）。如果确实需要，需要手动调大maxPartitionCount参数。增量源表独有 增量源表...
分区分桶
为了帮助您深入理解 云数据库 SelectDB 版 的分区分桶的概念和如何实施分区分桶，本文档详细阐释了分区分桶的原理和操作示例，以帮助您理解分区分桶原理和如何实施分区分桶。概述 为了能高效处理大数据量的存储和计算，云数据库 SelectDB ...
清空分区
场景4：目标分区是非模板化的二级分区 对于非模板化二级分区，允许单独对某个一级分区下的二级分区会进行分区变更。假设l_r_ntp_t1与l_r_ntp_t2都采用List+Range的非模板化分区，建表SQL如下所示：CREATE TABLE `l_r_ntp_t1`(`a` bigint(20...
版本发布记录
无 修复分区投影表问题 修复分区投影表 insert overwrite 之后查不到数据的问题。无 算子下推 支持Filter、Aggregation、Limit等算子下推到OTS。Tablestore计算下推 参数控制 支持用户对 task_writer_count、task_concurrency 参数进行控制...
动态分区
动态分区使用过程中，如果因为一些意外情况导致 dynamic_partition.start 和 dynamic_partition.end 之间的某些分区丢失，那么当前时间与 dynamic_partition.end 之间的丢失分区会被重新创建，dynamic_partition.start 与当前时间之间的...
初始化小于等于2 TiB数据盘（Linux）
说明 云盘使用MBR分区形式，最多可以创建4个主分区，或者3个主分区和1个扩展分区，扩展分区不可以直接使用，需要划分成若干个逻辑分区才可以使用。更多信息，请参见 分区格式介绍。以创建一个主要分区为例。输入 p 并按 Enter 键，开始创建...
创建EMR表
重要 提交时，您需要选择提交表时所用的调度资源组，当使用独享调度资源组提交表时，DataWorks平台将下发对应新建表的任务到引擎侧执行，并打印执行过程的执行日志，如果资源提交过程中出现问题，您可以先通过日志自助排查。如果您目前无...
分区设计
表的数据将拆解成多个数据分区独立存储，通常的设计原则是：主键（Primary Key）单实例数据库不要求表一定要有主键，但是对于分布式数据库，主键则是必须的，以保证一行数据是全局唯一的，避免迁移过程出现问题。如果用户没有特殊的性能...
为什么Topic有分区时间显示1970或“-”？
可能原因 出现此问题的原因可能是以下情况中的一种：该分区没有消息数据，或者消息都已过期。客户端版本过低，或者传递的时间戳为null。Local存储引擎：开源Apache Kafka接口未提供该数据，所以未显示。云存储引擎：最近更新时间存在缓存...
与标准SQL的主要区别及解决方法
超过6万个分区会报错。选择合适的分区列，减少分区数。一次查询输入的分区不能超过1万个，否则会报错。如果是2级分区且查询时只根据2级分区进行过滤，总的分区数大于1万也可能导致报错。解决方法请参见 执行INSERT INTO或INSERT OVERWRITE...
2024年
本文介绍2024年 云原生数据仓库...修复分区主表同时存在Primary Key和Unique Index时，子分区只会继承Primary Key的问题。修复Nestloop Index JOIN计划中，触发Motion Rescan报错：illegal rescan of motion node:invalid plan 的问题。
分区热力图
库表视图 图 2.DN视图 左侧直方图：各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区，DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区，其中表示DN节点和逻辑分区的矩形，通过长度表示拥有数据量的多少，长度越长表示数据量越多。...
删除分区
场景 3：删除一个模板化二级分区 对于模板化二级分区，所有一级分区下的二级分区会同时进行变更。假设k_r_tp_t1与k_r_tp_t2都采用Key+Range的模板化二级分区，建表SQL如下所示：CREATE TABLE `k_r_tp_t1`(`a` bigint(20)UNSIGNED NOT NULL,...
分区热力图
库表视图 图 2.DN视图 左侧直方图：各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区，DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区，其中表示DN节点和逻辑分区的矩形，通过长度表示拥有数据量的多少，长度越长表示数据量越多。...
MaxCompute表的高级功能
若此时数据量很少而Shard很多，则MaxCompute里就会出现很多小文件。应按需分配Shard，避免过度分配。转化Hash Clustering表 Hash Clustering表的优势在于可以实现Bucket Pruning优化、Aggregation优化以及存储优化。在创建表时，使用...
- 产品推荐
- 这些文档可能帮助您