名称解释
逻辑分区与表 逻辑上，用户创建的数据库由多个数据逻辑分区（Partition）组成，用户创建的表（Table）的数据将分布在这些数据逻辑分区上，数据分布规则依照用户建表时指定的列（PartitionKey）进行Hash计算后来划分。逻辑分区的数量一旦...
初始化概述
Linux：分区数量无限制 Windows：128个 所有分区都是主分区，没有扩展分区与逻辑分区的概念。重要 MBR支持的最大分区容量为2 TiB，GPT最大支持的分区容量为18 EiB。如果您使用的云盘容量大于2 TiB或者后续有可能会扩容到2 TiB以上，分区时...
历史版本常见问题
处理建议 如果分库分表列是相同的，建议使用HASH（该哈希算法与上述几类算法的计算逻辑不同），可以减少此类问题。将实例迁移至PolarDB-X 2.0使用AUTO模式的HASH分区。版本范围 PolarDB-X 1.0 的所有版本及2.0的DRDS模式数据库。PolarDB-X ...
Dataphin中汇总逻辑表补数据生成SQL中事实逻辑表筛选...
该问题是由于“分区与生命周期”-“派生指标分区”中选择了“最大分区”，所以生成的SQL中分区是20230516。如果希望生成的SQL中分区是业务日期，请在“分区与生命周期”-“派生指标分区”中选择“业务日期”。派生指标分区中两种方式说明...
Dataphin管道任务是否支持数据数仓的动态分区
问题原因 静态分区与动态分区的分区字段都是一个表外的虚拟字段,静态分区需要是手动指定分区字段及文件位置(load data);动态分区则是根据指定的字段值自动判断分区；目前Dataphin管道任务不支持动态分区。适用于 Dataphin 版本V3.6.2
列存索引中HashMatch算子的实现
Probe阶段 Build阶段读取左表并构建出散列表，而Probe阶段读取右表数据后查找散列表并根据匹配情况进行输出，既然Build阶段已经将数据进行分区构建，那Probe阶段也需要按Build阶段所采用的数据分区规则来进行分区处理。DoFetch Probe阶段...
变更表类型及分区策略（AUTO模式）
本文介绍了变更表类型（即在单表、广播表和分区表三者间进行相互转换）及分区策略（包括拆分函数或分区列）的相关语法和示例。本语法仅适用于AUTO模式数据库。前提条件 仅适用于分区模式为auto/partitioning的逻辑库（请参见 CREATE ...
版本发布说明
修复CoHash的Right分区函数计算结果不正确导致的分区路由问题，发布日期：2023-12-27 大版本：V5.4.18 小版本：17034692 类别 说明 新增&优化 新增支持AUTO模式数据库的co_hash分区策略。优化使用AB表方案进行事务日志清理的流程，避免一次...
Linux实例中数据恢复
在处理磁盘相关问题时，您可能会碰到操作系统中数据盘分区丢失的情况。本文介绍了Linux系统下常见的数据盘分区丢失的问题以及对应的处理方法，同时提供了使用云盘的常见误区以及最佳实践，避免可能的数据丢失风险。前提条件 在修复数据前，...
CREATE TABLE（AUTO模式）
Hash分区与Key分区是 原生MySQL的标准分区语法 之一，PolarDB-X 为提供灵活强大的分区管理能力（例如分裂、合并与迁移等）以及考虑支持向量分区键下热点散裂，PolarDB-X 不仅在语法上尽量兼容了MySQL的Hash分区与Key分区的建表语法...
接入方式
Collection<Callable<Void>>tasks=records.partitions().stream()/获取单个分区内消息.map(records:records)/为每个分区创建分区内消息串行消费的逻辑.map(partitionRecords->(Callable)()->{ for(ConsumerRecord,String>record:...
多元索引最佳实践
在订单场景中，当用户拼接“UserId+商品ID”作为分区键且商品ID是自增的时，如果某个UserId的写TPS过高，则会发生写尾部分区问题，即写入的均为Tablestore数据表的最后一个分区，这样写入数据会影响多元索引的同步延时和查询性能。...
Linux实例SWAP分区的配置和常见问题处理
概述 本文介绍在Linux实例中，如何配置SWAP分区和常见问题处理。详细描述 SWAP分区介绍 在Linux系统中的SWAP（交换分区），类似于Windows系统的虚拟内存。系统会把一部分硬盘空间虚拟成内存使用，将系统内非活动内存换页到SWAP，以提高系统...
表分区
指定的分区键可以与父亲的分区键重叠，不过在指定子分区的边界时要注意它接受的数据集合是分区自身边界允许的数据集合的一个子集，系统不会尝试检查事情情况是否如此。3.在分区表的键列上创建一个索引，还有其他需要的索引（键索引并不是...
Windows实例中数据恢复
在处理磁盘相关问题时，您可能会碰到操作系统中数据盘分区丢失的情况。本文介绍了Windows系统下常见的数据盘分区丢失的问题以及对应的处理方法，同时提供了使用云盘的常见误区以及最佳实践，避免可能的数据丢失风险。前提条件 已注册阿里云...
表设计规范
分区设计与存储逻辑 一张表里有很多个一级分区，每个一级分区都会按时间存储二级分区，每个二级分区都会存储所有的列，如下图所示。分区设计需要注意：设置分区的数量上限。避免每个分区中只存少量数据。以方便数据查询和计算为前提设置...
Tunnel常见错误码
检查分区字段信息，确保满足如下要求：参数中的分区列顺序要与建表语句中分区列顺序保持一致。当分区列值中有引号(pt='a'或pt="a")时，旧版本SDK没有做过引号处理，需要使用新版本的Tunnel SDK。多级分区中间有空格时，例如 pt1=a,pt2=a，...
PolarDB MySQL版8.0.2版本发布日志
修复分区表的所有分区在分区剪枝阶段都被裁剪掉的情况下，使用RANGE INDEX访问分区表的全局二级索引时，触发ASSERT CRASH（断言错误）的问题。修复将冷数据归档为ORC格式时，因表中存在Blob类型的字段导致归档失败的问题。修复MRR等场景下...
2021年
2021-11-29 华北2（北京）华东2（上海）华北3（张家口）华东1（杭州）华南1（深圳）网络开通流程 MaxCompute支持清空分区表中指定分区的数据 MaxCompute支持用户手动清空分区表中指定的一个或者多个分区的数据，但不会删除分区表或者分区表...
2024年
2024年04月（V7.0.6.1）类别 功能 功能描述 相关文档 修复 修复并发事务处理过程场景中，由于错误的子事务可见性逻辑，导致写入的事务发现数据丢失的问题。修复备份归档进程异常终止时，锁文件未能正确清除，阻塞后续的xlog归档回收流程，...
数据倾斜调优
MapReduce 在了解数据倾斜之前首先需要了解什么是MapReduce，MapReduce是一种典型的分布式计算框架，它采用分治法的思想，将一些规模较大或者难以直接求解的问题分割成较小规模或容易处理的若干子问题，对这些子问题进行求解后将结果合并成...
列存索引如何实现高效数据过滤
它能够减少为了处理查询而必须扫描的数据量，因为它只需要处理与查询范围相关的数据块。另外，minmax索引有助于减少存储索引所需的空间，因为它只需要存储每个块的最小值和最大值，而不是所有数据的索引。Bloom filter Bloom filter是一种...
RDS MySQL助力MySQL 5.7升级8.0
外键分区表不兼容 在预检查逻辑中，定位包含外键和分区表冲突的表信息，方便用户提前处理。需要用户解决表中外键和分区表的冲突。空间列和B-tree索引不兼容 在预检查逻辑中，定位包含空间列和B-tree索引冲突的表信息，方便用户提前处理。...
版本发布记录
无 修复分区投影表问题 修复分区投影表 insert overwrite 之后查不到数据的问题。无 算子下推 支持Filter、Aggregation、Limit等算子下推到OTS。Tablestore计算下推 参数控制 支持用户对 task_writer_count、task_concurrency 参数进行控制...
宽表模型介绍
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
Logview诊断实践
SQL在结束阶段运行于控制集群的逻辑占用时间较长，比如更新动态分区的元数据，下面将举例介绍几种典型。子查询多阶段执行 大部分情况下，MaxCompute SQL的子查询会被编译进同一个Fuxi DAG，即所有子查询和主查询都通过一个Fuxi作业完成。但...
时序引擎版本说明
修复分区的TTL参数值被删除时元数据持久化的问题。实例默认开启tsproxy健康检查。实例默认开启慢查询管理。优化读写性能，稳定性修复。3.4.31 发布日期 类型 说明 2023年08月09日 功能优化 修复调用API进行鉴权时，不支持数据库粒度鉴权的...
EMR Kafka磁盘故障运维
分区副本迁移：物理盘维修完毕上线之后，应将Topic分区数据迁移回原磁盘，leader负载迁移回原Broker节点。数据迁移时长：在磁盘运维过程当中，如果涉及到数据复制迁移，需要评估数据迁移时长对业务的影响。Broker迁移方式 方案描述 当发生...
MySQL分库分表同步至MaxCompute
手工添加逻辑表 在 自动生成逻辑表 与期望的匹配结果不符时，可以编辑逻辑表匹配规则，也可以通过 手工添加逻辑表 添加没有扫描到的逻辑表。单击 手工添加逻辑表，有几个逻辑表需要同步，就在此处添加几个。同一逻辑表的数据会同步到目标表...
MySQL分库分表同步至MaxCompute
手工添加逻辑表 在 自动生成逻辑表 与期望的匹配结果不符时，可以编辑逻辑表匹配规则，也可以通过 手工添加逻辑表 添加没有扫描到的逻辑表。单击 手工添加逻辑表，有几个逻辑表需要同步，就在此处添加几个。同一逻辑表的数据会同步到目标表...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
一致性检查
传入的上下文特征没有，或者在线服务没有构造出相关特征 特征值不匹配，在线的特征值的处理逻辑或者方法与离线的构造不一致 模型的特征处理逻辑有误，processor在打分之前，如果需要对特征的处理，比如EasyRec，这块特征处理涉及特征加载、...
发布者最佳实践
该代码的实现逻辑主要是根据一定的时间间隔，切换一次分区。public class MyStickyPartitioner implements Partitioner {/记录上一次切换分区时间。private long lastPartitionChangeTimeMillis=0L;记录当前分区。private int ...
为什么发送给Topic的消息在分区中分布不均衡
问题现象 发送消息到某个Topic后，该Topic下部分分区消息比较多，部分分区消息少，甚至没有。分区中消息量可以在 Topic详情 页面的 分区状态 页签查看，位点数即是...通过代码重新实现了分区分配策略，但策略逻辑有问题，导致分区消息不均衡。
常见问题
分区索引主要由HASH分区、时间分区或HASH分区和时间分区的组合组成，您可以根据以下场景和建议合理设置分区索引：业务数据有明显的时间属性，例如查询语句携带一个时间字段作为过滤字段，建议设置时间分区属性。在业务查询场景中，多数情况...
SQL 诊断概述
可疑 SQL 可疑 SQL 是指平台根据规则、算法筛选出的将会带来性能问题的 SQL，常见的可疑 SQL 诊断结果及处理建议如下。诊断结果 处理建议 Hint 未生效 异常 SQL，需要 DBA 确认是否使用 OUTLINE 进行执行计划固化。全表扫描性能较差 请分析...
功能更新动态（2023年）
分区表预览功能优化，默认查询最新有数据的分区，但是部分场景下受引擎和分区类型限制无法获取有数据的最新分区值，该情况下，默认查询最新分区（可能无结果数据）。数据探查全局配置 新建及管理专题分组 MaxCompute物理表和字段详情 查看...
文档更新动态（2023年）
分区表预览功能优化，默认查询最新有数据的分区，但是部分场景下受引擎和分区类型限制无法获取有数据的最新分区值，该情况下，默认查询最新分区（可能无结果数据）。新增说明 数据探查全局配置 新建及管理专题分组 MaxCompute物理表和字段...
2021年
对分区表使用跨机并行查询 GLOBAL INDEX支持对分区表进行DDL操作 支持在对分区表进行DDL操作时（如DROP、SPLIT、MERGE等），操作该分区表下的所有GLOBAL INDEX。支持对分区表进行DDL操作 优化 ORA_HASH函数兼容性 ORA_HASH函数替换为DBMS_...
单元测试报告
可累加值与不可累加值检查 检查可累加值和不可累加值的处理逻辑正确性，如：计算客户数总计时需要做去重处理，金额则可以累加。单元测试用例记录 序号 用例大类 测试要点 表 字段 自定义表达式 备注 1 规范性 命名规范检查（表、视图、工作...
- 产品推荐
- 这些文档可能帮助您