偏分析场景的实践和优化
理论上表的分区数量越多越好，这样多个分区表可以做并行扫描。存储层更易做到水平扩展，存储千万条甚至上亿条数据。实际使用中建议一个分区表的数量在500w~5000w之间。选择合适的分区键 PolarDB-X 默认按照主键做分拆，主要为了降低分布式...
Linux实例磁盘扩容后同步空间到逻辑卷分区
问题原因 系统分区做了逻辑分区，磁盘扩容成功后，没有进行相应的逻辑分区扩容。解决方案 说明 如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置...
概述
在流计算中每个分区和RDD的Partition一一绑定，通过扩展表的分区，可以完成数据吞吐量的线性扩展。场景案例 Tablestore结合Spark的流批一体SQL实战 海量结构化数据的冷热分层一体化 Tablestore+Delta Lake（快速开始）使用方式 根据业务...
通道服务概述
增量数据变化保序 通道服务为数据划分一到多个可并行消费的逻辑分区，每个逻辑分区的增量数据按写入时间顺序保序，不同逻辑分区的数据可以并行消费。消费延迟监控 通道服务通过DescribeTunnel API提供了客户端消费数据延迟（即当前消费到的...
SQL其他常见问题
具体的拆分逻辑您可以根据业务特性设计，保证每个字段不超过8 MB即可。由于复杂结构的超大字段在数据开发和分析中会严重影响计算性能，因此建议根据数据仓库建设规范来设计您的数据架构，避免出现超大字段：具有复杂结构的原始数据，作为...
MapReduce常见问题
Mapper支持同一表格多分区输入，同一张表的多个分区可以理解为独立的两张表。Mapper可以直接从Record中读取分区数据段的信息吗？Mapper无法从Record中获取分区字段信息，但是可以使用如下代码。PartitionSpec为分区信息。PartitionSpec ps=...
顺序消息
顺序消息可以保证消息的消费顺序和发送的顺序一致，即先发送的先消费，后发送的后消费，常用于金融证券、电商业务等对消息指令顺序有严格要求的场景。本文介绍 云消息队列 RocketMQ 版 顺序消息的概念、适用场景、实现原理以及使用过程中的...
表结构设计
A：执行以下SQL，可以查看表的所有二级分区及分区的统计信息：SELECT partition_id,-分区名 row_count,-分区总行数 local_data_size,-分区本地存储所占用空间大小 index_size,-分区的索引大小 pk_size,-分区的主键索引大小 remote_data_...
名称解释
逻辑分区与表 逻辑上，用户创建的数据库由多个数据逻辑分区（Partition）组成，用户创建的表（Table）的数据将分布在这些数据逻辑分区上，数据分布规则依照用户建表时指定的列（PartitionKey）进行Hash计算后来划分。逻辑分区的数量一旦...
数据倾斜调优
MapReduce 在了解数据倾斜之前首先需要了解什么是MapReduce，MapReduce是一种典型的分布式计算框架，它采用分治法的思想，将一些规模较大或者难以直接求解的问题分割成较小规模或容易处理的若干子问题，对这些子问题进行求解后将结果合并成...
常见问题
如果有时间分区，可以将 partitions 设置为较小的值，例如节点数的2倍。达到 RANGE_TIME_PARTITION_INTERVAL 参数设置的时间后，服务端会自动增加分区，增加的分区数量就是设置的 partitions 参数的值。RANGE_TIME_PARTITION_INTERVAL：...
黄牛账号识别之GraphCompute解决方案
cheating_demo_medium_edge】，关系表中包括100000个媒介，其中0.3%的媒介被超过1个用户使用 可参考的MaxCompute建表语句：score主要用于表示用户使用媒介的频繁程度/重要性，可以根据业务逻辑进行赋值，如没有特殊业务逻辑可以默认设置为1...
CREATE TABLE
使用范围或哈希分区时，分区键可以包含多个列或表达式（最多 32 个，但在构建 PolarDB时可以更改此限制），但对于列表分区，分区键必须由单个列或表达式组成。范围和列表分区需要 btree 运算符类，而哈希分区需要哈希运算符类。如果没有...
上下游存储
作业启动位点设置了2019-10-11 00:00:00，为什么启动位点前的分区也会被全量MaxCompute源表读取？增量MaxCompute源表监听到新分区时，如果该分区还有数据没有写完，如何处理？MaxCompute连接器运行报错：ErrorMessage=Authorization Failed...
版本发布说明
优化analyze table逻辑，避免对GSI做统计信息采集。统计信息支持对未采集到的时间列数据进行合理预测。优化表组的表数目过大时，AUTO模式数据库中建表的速度。优化AUTO模式数据库中表数据量较大时，建表的速度。优化部分场景下数据迁移过程...
单元化介绍
为什么要做单元化，单元化架构能给系统带来什么样的能力。本文结合蚂蚁集团支付宝系统的单元化架构建设实践，阐释单元化的原理与实现。单点瓶颈 任何一个互联网系统，不论是支付宝、淘宝，还是 Google、Facebook，当发展到一定规模时，都会...
订阅者最佳实践
消费失败 云消息队列 Kafka 版 是按分区逐条消息顺序向前推进消费的，如果消费端拿到某条消息后执行消费逻辑失败，例如应用服务器出现了脏数据，导致某条消息处理失败，等待人工干预，那么有以下两种处理方式：失败后一直尝试再次执行消费...
DQL操作常见问题
如果分区剪裁条件置于ON语句中，从表的分区剪裁会生效，主表的分区剪裁不会生效即会全表扫描。更多分区裁剪信息，请参见 分区剪裁合理性评估。如何用MAPJOIN缓存多张小表？您可以在MAPJOIN中填写表的别名。假设项目中存在一张表iris，表...
宽表模型介绍
说明 分区键值是最小的分区单位，相同的分区键值的数据无法再做切分。为了防止分区过大无法切分，单个分区键值所有行的大小总和建议不超过10 GB。关于分区键选择的更多信息，请参见 表操作篇。属性 属性由多个属性列组成。每行的属性列个数...
ALTER TABLE
要从所有的分区中删除 NOT NULL 约束，可以在父表上执行 DROP NOT NULL。即使在父表上没有 NOT NULL 约束，这样的约束还是能被增加到分区上。也就是说，即便父表允许空值，子表也可以不允许空值，但反过来不行。DROP EXPRESSION[IF EXISTS]...
初始化概述
3个主分区和1个扩展分区 在扩展分区中创建逻辑分区的数目没有限制，可以创建任意多个逻辑分区。分为主分区、扩展分区和逻辑分区三种类型。GPT 18 EiB（1 EiB=1,048,576 TiB）说明 阿里云云盘支持的最大容量为32 TiB。Linux：分区数量无限制...
新建普通维度逻辑表
关联字段 来源对象中与逻辑表主键相对应的字段，与主键可以做等值关联。删除 主来源不支持删除。无主键逻辑表，删除来源将清空字段的计算逻辑。单击 确定，完成来源配置。完成来源配置后,将 来源字段 拖入计算逻辑中，您也可以单击 同名字...
新建普通维度逻辑表
关联字段 来源对象中与逻辑表主键相对应的字段，与主键可以做等值关联。删除 主来源不支持删除。无主键逻辑表，删除来源将清空字段的计算逻辑。单击 确定，完成来源配置。完成来源配置后,将 来源字段 拖入计算逻辑中，您也可以单击 同名字...
新建事实逻辑表
关联字段 来源对象中与逻辑表主键相对应的字段，与主键可以做等值关联。删除 主来源不支持删除。无主键逻辑表，删除来源将清空字段的计算逻辑。单击 确定，完成来源配置。完成来源配置后,将来源字段拖入计算逻辑中。您也可以单击 同名字段...
新建事实逻辑表
关联字段 来源对象中与逻辑表主键相对应的字段，与主键可以做等值关联。删除 主来源不支持删除。无主键逻辑表，删除来源将清空字段的计算逻辑。单击 确定，完成来源配置。完成来源配置后,将来源字段拖入计算逻辑中。您也可以单击 同名字段...
分区表常见问题
一般情况下，每个分区是一个Innodb表，Hybrid分区可以放在其他存储引擎上。误删了一个表的分区数据，能否恢复？目前仅支持库表级的恢复，不支持分区级的数据恢复。分区数太多，导致内存耗尽，如何解决这个问题？在 PolarDB MySQL版 8.0.1和...
done分区指南
done分区自动触发回流 iGraph支持通过指定.done 分区来标示对应分区可以回流.done 分区为一个无数据的空分区，只用来提供标识 示例 ds=20160528这个分区,如果您认为这个分区可以回流了，则需要产出对应的done分区:ds=20160528.done，此时，...
CREATE TABLE
本文介绍 AnalyticDB for MySQL 的 CREATE TABLE 建表语法。您将了解到如何创建分区表和维表，以及如何定义表的分布键、分区键、索引、生命周期、冷热数据分层等。设置默认值、自增列 设置主键 设置...为什么要定义分区 分区可以加快数据过滤...
初始化云盘
一块全新的云盘挂载到ENS实例后，还不能直接存储数据，您需要为云盘...说明 如果您的整块云盘只呈现为一个独立的分区（例如：/dev/vdb），不需要划分逻辑分区（例如：/dev/vdb1、/dev/vdb2 等），云盘初始化时直接在云盘上创建文件系统即可。
概述
PolarDB 还支持 创建混合分区，可以将每个分区放在不同的存储引擎上。Orders表做二级分区的示意图如下：优势 丰富的分区类型及组合。支持 RANGE、LIST、HASH 和 LIST DEFAULT HASH 分区及其分区的任意组合，使得分区表具有更加灵活的数据...
分区裁剪
静态分区裁剪 概述 如果分区约束为确定的表达式，在查询规划阶段就可以根据分区约束表达式裁掉不需要扫描的分区，这种在查询规划阶段做分区裁剪的方式称为静态分区裁剪。AnalyticDB PostgreSQL版 主要通过静态谓词确定何时使用静态裁剪。...
KEY
KEY分区与HASH分区的区别在于：KEY分区可以没有分区字段，没有分区字段时，默认将主键字段作为分区键。如果没有主键字段时，则按照唯一键进行分区。KEY分区支持多列分区字段。KEY分区支持INT类型、字符类型、DATE类型、TIME类型、DATETIME...
路由到对象存储OSS
说明 分区配置可以对数据做合理分组，避免单路径下小文件过多造成不可控问题。Connector 的吞吐能力和分区数正相关，无分区或分区少时 Connector 吞吐较弱，可能造成上游堆积问题。分区较多会导致数据分散、写入次数增多、碎片文件多等问题...
创建OSS Sink Connector（新版）
说明 分区配置可以对数据做合理分组，避免单路径下小文件过多造成不可控问题。Connector 的吞吐能力和分区数正相关，无分区或分区少时 Connector 吞吐较弱，可能造成上游堆积问题。分区较多会导致数据分散、写入次数增多、碎片文件多等问题...
何时选择虚拟列分区
虚拟列分区可以对表达式进行分区，该表达式可能使用来自其他列的数据，并使用这些列进行计算。虚拟列分区支持所有分区类型。如果查询条件不是某一个列上的原始数据，而是经过计算过的，又不想添加一个单独的列来存储计算过的正确值，可以...
分区
合理设计和使用分区，可以提高查询性能、简化数据管理，并支持更灵活的数据访问和操作。概述 分区可以理解为分类，通过分类把不同类型的数据放到不同的目录下。分类的标准就是分区字段，可以是一个，也可以是多个。MaxCompute将分区列的每...
分区表索引
不同于本地索引中索引分区和表分区一一对应的关系，全局索引分区可以指向所有表分区。全局索引也可以被分区，它的分区键必须是索引键的前缀。语法说明 创建本地索引 CREATE[UNIQUE]INDEX[CONCURRENTLY][[IF NOT EXISTS]name]ON table_name...
分区表索引
不同于本地索引中索引分区和表分区一一对应的关系，全局索引分区可以指向所有表分区。全局索引也可以被分区，它的分区键必须是索引键的前缀。说明 全局索引是分区表所特有的，具体请参见 全局索引。语法说明 创建本地索引 CREATE[UNIQUE]...
分区表索引
不同于本地索引中索引分区和表分区一一对应的关系，全局索引分区可以指向所有表分区。全局索引也可以被分区，它的分区键必须是索引键的前缀。说明 全局索引是分区表所特有的，具体请参见 全局索引。语法说明 创建本地索引 CREATE[UNIQUE]...
表分区定义
分裂分区存在如下限制：仅支持分裂最底层的分区，即只有包含数据的分区可以被分裂。分裂分区语句中指定的分裂值会被分在后一个分区中。将2017年1月的分区分裂成两个分区，一个分区包含1月1号至15号，第二个分区包含1月16号至31号，分裂分区...
- 产品推荐
- 这些文档可能帮助您