概述
因此，根据一个逻辑库对于所有业务的MySQL单表的建表SQL默认所采用的是纯单表方案、单表打散方案还自动分区方案，我们可以将透明分布式的功能划分为以下三种工作模式：单表打散 自动分区 手动分区 透明分布式的工作模式 由于需要对接分布式...
存储池
逻辑库的分区类型需为Auto模式。说明 如何查看实例版本，请参见 查看实例版本。背景介绍 在平台类应用和系统（如电商CRM平台、仓库订单平台等）中通常需要服务多个用户，服务模型往往是围绕用户维度（用户维度可以是一个卖家或品牌，可以是...
消息堆积和延迟问题
本文主要介绍 云消息队列 RocketMQ 版 TCP协议的Java客户端使用过程中，经常会出现的消息堆积和消息延迟的问题。通过了解 云消息队列 RocketMQ 版 客户端的消费原理和消息堆积的主要原因，帮助您可以在业务部署前更好的规划资源和配置，或...
表结构设计
您可以通过 LIFECYCLE N 关键字实现表生命周期管理，即对分区进行排序，超出 N 的分区会被过滤。重要 每张表中支持的最大分区数存在上限，因此分区表中的数据无法永久保留。关于分区数量限制的详情，请参见 使用限制。选择主键 主键可以...
热点分区分裂
表组级用法 说明 对表组的分区分裂，意味着表组内所有表的相应分区会同步进行分裂。和表级类似，仅需将语法规则 alter table#tb 改成 alter tablegroup#tgname 或 alter tablegroup by#tb。场景 2：目标分区是包含有二级分区的一级分区 ...
Tunnel常见错误码
RecordReader内部有缓存，一旦用户的计算或处理逻辑较为缓慢，未能在超时时限内处理完一块缓存数据并触发下一次读取，则会出现该错误。解决措施 优化代码处理逻辑。报错信息：ErrorCode=Unauthorized ErrorMessage=The request ...
DQL操作常见问题
产生原因 示例SQL是table1通过ID字段和table2的ID字段做左外关联，所以会出现以下情况：如果table2表中找不到关联数据，table1也会返回一条数据。如果table1找不到但是table2能找到关联数据，则不返回结果。如果table1和table2都能找到关联...
多元索引最佳实践
主键设计对多元索引的同步速度有一定的影响，对数据表主键的要求是写入数据时要尽可能分散到数据表的不同分区，因此如果写入TPS较高时，需要尽可能分散在数据表的多个分区中，避免出现写单分区、写尾部分区等问题。目前仅支持从数据表中...
PolarDB MySQL版8.0.2版本发布日志
修复了在分区剪枝时因没有定位到分区而可能出现的死循环问题。8.0.2.2.18 类别 说明 发布时间 问题修复 修复删除相同的SQL语句类型中，最后一个只填写了keyword而没有schema和table的CCL规则时，可能导致节点崩溃的问题。2023-09-17 8.0.2....
列存索引如何实现高效数据过滤
其中，RANGE和LIST分区会把数据表分成若干个区间或列表，HASH分区会将数据散列到不同的分区。在使用分区剪枝技术时，需要使用符合分区条件的查询语句，并将分区键作为查询条件进行查询。例如，假设有一个订单表orders，根据订单日期分为12...
单元测试报告
字段枚举值检查 字段的枚举值是否都在代码考虑范围内，是否有可能会出现新值。主键检查 物理主键或逻辑主键是否成立。数据完整性检查 代码中引用的数据能否支撑实际需求。字段间逻辑检查 字段间的业务逻辑关系是否在数据上成立，例如余额=...
数据倾斜调优
建议只对一定会出现数据倾斜的Join添加Hint，因为Hint会运行一个Aggregate，存在一定代价。被Hint的Join的Left Side Join Key的类型需要与Right Side Join Key的类型一致，否则SkewJoin Hint不生效。例如上例中的 a.c0 与 b.c0 的类型需要...
MySQL分库分表同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
MySQL分库分表同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
INSERT INTO|OVERWRITE
如下语句会返回报错，sale_date 和 region 为分区列，不允许出现在静态分区的 select 子句中。错误命令示例如下：insert overwrite table sale_detail_insert partition(sale_date='2013',region='china')select shop_name,customer_id,...
上下游存储
问题原因 Kafka某个分区没有数据，会影响Watermark的产生，从而导致Kafka源表数据基于Event Time的窗口后，不能输出数据。解决方案 确保所有分区都存在数据。开启源数据空闲监测功能。在 其他配置 中添加如下代码后保存生效，具体操作请...
常见问题
另外，当数据量很大时，单机分区数也会很多，服务端的并发请求可能会出现排队现象。如果设置固定查询字段进行HASH分区，则查询时只需要扫描某一个或某几个分区。因此，当分区数量较多时，设置固定字段会带来明显的RT和QPS提升。说明 为提升...
2024年
修复数据处理场景中存储引擎处理特定数据时会触发 negative bitmapset member not allowed 报错信息，导致执行引擎异常崩溃的问题。修复数据处理过程中系统在尝试读取数据文件的特定块时发生错误，触发 beam could not read block in file ...
2021年
修复栅格数据导入时可能会出现崩溃的问题。2021年4月 内核小版本（V1.1.11）类别 名称 描述 相关文档 新增 idle_session_timeout参数 新增idle_session_timeout参数，用于控制空闲会话的保留时间，超出保留时间的会话将会被释放。取值范围...
关键缺陷通知
2024年01月 等级 报错/问题描述 缺陷原因 出现/修复版本 规避建议 P2 升级到Hologres V2.1版本后，truncate 后再执行 INSERT 操作会偶发报错：Invalid table id in schema。Hologres V2.1版本FrontEnd错误增加了过长的replay缓存时间，导致...
SQL其他常见问题
由于复杂结构的超大字段在数据开发和分析中会严重影响计算性能，因此建议根据数据仓库建设规范来设计您的数据架构，避免出现超大字段：具有复杂结构的原始数据，作为ODS层，最好以压缩的方式归档。定时（例如每天）对ODS层的增量数据做数据...
通过日志服务迁移日志数据至MaxCompute
说明 日志服务数据的一个字段最多允许映射到一个MaxCompute表的列（数据列或分区列），不支持字段冗余，同一个字段名第二次使用时其投递的值为null，如果null出现在分区列会导致数据无法被投递。MaxCompute分区列 按顺序左边填写与...
插入或覆写数据（INSERT INTO|INSERT OVERWRITE）
如下语句会返回报错，sale_date 和 region 为分区列，不允许出现在静态分区的 select 子句中。错误命令示例如下：insert overwrite table sale_detail_insert partition(sale_date='2013',region='china')select shop_name,...
ALTER TABLE
当唯一或者主键约束被添加到分区表时，会有额外的限制，请参考 CREATE TABLE。此外，当前分区表上的外键约束不能被声明为 NOT VALID。ADD table_constraint_using_index 这种形式基于一个已有的唯一索引为一个表增加新的 PRIMARY KEY 或 ...
Linux实例磁盘扩容后同步空间到逻辑卷分区
问题原因 系统分区做了逻辑分区，磁盘扩容成功后，没有进行相应的逻辑分区扩容。解决方案 说明 如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置...
列存索引中HashMatch算子的实现
为避免此问题，build阶段可以将左表数据按一定规则进行分区，每一个分区各自构建独立散列表，而probe阶段则根据右表每一行所在分区查找对应分区上的散列表进行相应处理。Build阶段 在IMCI中HashMatch的build功能是在DoOpen中完成，实际分为...
MapReduce常见问题
本文为您介绍在使用MapReduce时的常见问题。问题类别 常见问题 功能咨询 MapReduce的输入源可以是视图吗？MapReduce的结果写入到表或分区时，会覆盖还是追加数据？MapReduce中是否可以调用Shell文件？reduce.setup能否读入输入表？Mapper...
RDS MySQL助力MySQL 5.7升级8.0
阿里云RDS MySQL 5.7升级8.0的部分治理工作如下表所示：导致升级失败的问题 阿里云RDS的治理 是否需要用户进一步干预 Server层与InnoDB字段、索引大小写不一致 在升级过程中，系统会主动检测并修复Server层和InnoDB之间的不一致问题，用户...
ODPS-0123031
如无逻辑或语法问题，建议修改分区表的分区字段，或将业务逻辑拆分为多个作业，避免出现该错误。错误3：invalid dynamic partition value 错误信息示例 ODPS-0123031:Partition exception-invalid dynamic partition value:province=上海 ...
通道服务概述
增量数据变化保序 通道服务为数据划分一到多个可并行消费的逻辑分区，每个逻辑分区的增量数据按写入时间顺序保序，不同逻辑分区的数据可以并行消费。消费延迟监控 通道服务通过DescribeTunnel API提供了客户端消费数据延迟（即当前消费到的...
偏分析场景的实践和优化
尽可能选择值分布均匀的字段作为分区键，这样可以避免由于分布式不均导致出现计算长尾现象，严重拖慢大查询性能。合理设计二级分区 PolarDB-X 的DRDS模式数据库支持二级分区。当数据量过大或者有数据倾斜时，二级分区的选择至关重要，如果...
一键MaxCompute Merge任务节点问题排查方案
其后的数据处理逻辑：在T+1日的凌晨，启动Merge任务合并log表T日分区的增量数据和Base表T-1日分区中的全量数据，输出T日的全量分区数据。其过程如下图所示（分区表为例）：离线任务节点 一键实时同步到MaxCompute流程执行完成后，数据集成...
表概述
表的限制 边界名 最大值 限制类别 说明 表名长度 128字节（byte）长度限制 表名和列名中不能出现特殊字符，只能出现英文字母a~z、A~Z、数字和下划线，且必须以字母开头。注释长度 1024字节（byte）长度限制 注释内容为长度不超过1024字节...
T+1多库合并建仓
上述方案可解决因数据量大而导致的用户体验问题，但在对分库分表数据进行大数据分析时，逻辑上的一个表被拆成了多张表，由于没有类似TDDL中间件来屏蔽物理表的拆分，进行数据分析时变得十分复杂。解决方案 T+1多库合并建仓是指通过DLA控制...
初始化云盘
一块全新的云盘挂载到ENS实例后，还不能直接存储数据，您需要为云盘...说明 如果您的整块云盘只呈现为一个独立的分区（例如：/dev/vdb），不需要划分逻辑分区（例如：/dev/vdb1、/dev/vdb2 等），云盘初始化时直接在云盘上创建文件系统即可。
热点散列
PolarDB-X 作为分布式数据库，对于分区表的各个分区会尽可能均衡的分布到不同的存储节点，更好地利用上整体系统资源，避免出现单点性能。对于Range和List分区，分区数据是按照用户的定义来划分的，对于HASH策略的分区，PolarDB-X采用的是...
为什么发送给Topic的消息在分区中分布不均衡
问题现象 发送消息到某个Topic后，该Topic下部分分区消息比较多，部分分区消息少，甚至没有。分区中消息量可以在 Topic详情 页面的 分区状态 页签查看，位点数即是...通过代码重新实现了分区分配策略，但策略逻辑有问题，导致分区消息不均衡。
OSS性能与扩展性最佳实践
如果您在上传大量文件（Object）时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间（Bucket）中的某个特定分区的情况。此时如果您的请求次数过多，会导致请求速率下降。出现此类问题时，建议您...
名称解释
逻辑分区与表 逻辑上，用户创建的数据库由多个数据逻辑分区（Partition）组成，用户创建的表（Table）的数据将分布在这些数据逻辑分区上，数据分布规则依照用户建表时指定的列（PartitionKey）进行Hash计算后来划分。逻辑分区的数量一旦...
使用ODPS Foreign Table访问MaxCompute数据
当出现MaxCompute上不存在的分区外表，查询外表时，会告警显示，用户可以参考本章的3.5节 如何删除子分区外表 删除相应子分区。3.4 如何添加子分区外表 以上述odps_src分区外表为例。添加一级子分区，效果如下图。添加一级子分区（自动创建...
- 产品推荐
- 这些文档可能帮助您