done分区指南
done分区自动触发回流 iGraph支持通过指定.done 分区来标示对应分区可以回流.done 分区为一个无数据的空分区，只用来提供标识 示例 ds=20160528这个分区,如果您认为这个分区可以回流了，则需要产出对应的done分区:ds=20160528.done，此时，...
分区格式化数据盘
不同操作系统的数据盘分区格式化的操作不同，请您根据服务器实际的操作系统进行选择：分区格式化Linux服务器的数据盘的具体操作，请参见 分区格式化Linux服务器的数据盘。分区格式化Windows服务器的数据盘的具体操作，请参见 分区格式化...
出错提示“Btrfs has been removed”
问题原因 待迁移的操作系统使用了Btrfs文件系统，而迁移后Anolis/Alibaba Linux不再支持Btrfs文件系统，这会导致使用了Btrfs文件系统的硬盘分区中的文件在迁移后将无法读取，从而导致操作系统迁移失败。解决方案 远程连接ECS实例。具体操作...
Quick Audience创建用户标签时报错："该分区无数据，...
问题描述 Quick Audience创建用户标签时报错："该分区无数据，请检查分区信息是否正确。问题原因 当天分区没有数据导致的，需要检查一下分区表哪天存在数据，...解决方案 配置分区格式为${yyyyMMdd-1}就可以了。适用于 Quick Audience 公共云
读取以分区方式存储的OSS数据
MaxCompute支持创建OSS外部表为分区表，访问OSS上以分区方式存储的数据，通过该方式可降低读取数据量并提升数据处理效率。...基于该方式，自定义分区路径后，即使数据存放不符合推荐的标准分区路径格式，您也可以正确地对子目录数据进行访问。
约束和限制
目录下面采样最新和最老的文件，每个文件读取前1000行 元数据发现SLS数据源发现历史投递数据 如果投递中途修改了分区格式，不会发现修改前的数据 一键建仓/多库合并支持的数据源网络类型 VPC 一键建仓/多库合并支持的数据源 PolarDB MySQL ...
MapReduce错误码（ODPS-07CCCCX）
ODPS-0720281:Invalid partitition format PARSER 1 分区格式非法。修改为合法的分区格式。ODPS-0720291:Invalid description json PARSER 1 输入的JSON格式非法。修改为合法的JSON格式。ODPS-0720301:Too many job input PARSER 1 指定的...
表分区定义
分裂分区存在如下限制：仅支持分裂最底层的分区，即只有包含数据的分区可以被分裂。分裂分区语句中指定的分裂值会被分在后一个分区中。将2017年1月的分区分裂成两个分区，一个分区包含1月1号至15号，第二个分区包含1月16号至31号，分裂分区...
块存储
创建一块新云盘，作为数据盘挂载到实例上，并需要自行分区格式化。更换系统盘的同时指定更高的系统盘容量。安全性 您可以通过访问控制RAM授权其他用户访问您云盘的权限。对于数据敏感型应用，建议您加密存储设备。ECS云盘加密采用行业标准...
分区
合理设计和使用分区，可以提高查询性能、简化数据管理，并支持更灵活的数据访问和操作。概述 分区可以理解为分类，通过分类把不同类型的数据放到不同的目录下。分类的标准就是分区字段，可以是一个，也可以是多个。MaxCompute将分区列的每...
分区表简介
表的每个分区必须具有相同的逻辑属性，例如列名、数据类型和约束，但每个分区可以具有单独的物理属性，例如启用或禁用压缩、物理存储设置和表空间。分区表对于许多不同类型的应用程序很有用，尤其是管理大量数据的应用程序，如数据库。OLTP...
分区表简介
表的每个分区必须具有相同的逻辑属性，例如列名、数据类型和约束，但每个分区可以具有单独的物理属性，例如启用或禁用压缩、物理存储设置和表空间。分区表对于许多不同类型的应用程序很有用，尤其是管理大量数据的应用程序，如数据库。OLTP...
概述
PolarDB 还支持 创建混合分区，可以将每个分区放在不同的存储引擎上。Orders表做二级分区的示意图如下：优势 丰富的分区类型及组合。支持 RANGE、LIST、HASH 和 LIST DEFAULT HASH 分区及其分区的任意组合，使得分区表具有更加灵活的数据...
Windows实例中数据恢复
背景信息 在Windows实例里，您可以选择以下任一种工具恢复数据盘数据：磁盘管理：Windows系统自带工具，主要用于分区格式化数据盘等。数据恢复软件：一般是商业软件，您可以去相应的官网下载使用。主要作用是文件系统异常恢复数据。磁盘...
AUTO模式核心特性及典型场景
但是，AUTO模式的分区表由于采用了一致性哈希的路由算法，它的分区可以更灵活的进行合并、分裂与迁移，分区可以按需调度到指定的DN中，并且不会影响到不相关的分区数据。通过分区的合并分离等操作并结合分区调度，PolarDB-X 可以将数据均匀...
KEY
KEY分区与HASH分区的区别在于：KEY分区可以没有分区字段，没有分区字段时，默认将主键字段作为分区键。如果没有主键字段时，则按照唯一键进行分区。KEY分区支持多列分区字段。KEY分区支持INT类型、字符类型、DATE类型、TIME类型、DATETIME...
何时选择RANGE分区
在这些列上对表进行分区可以实现分区剪枝。希望维护数据的滚动窗口。不能在指定的时间内完成大型表的管理操作，例如备份和恢复，但是可以根据分区范围列将它们划分为更小的逻辑块。示例：创建为期9年+的表 orders，并根据列 o_orderdate 按...
DDL操作常见问题
您可以重新创建一张分区表，使用动态分区SQL将源表数据导入至新分区表，详情请参见 插入或覆写动态分区数据（DYNAMIC PARTITION）。如何查看指定的分区是否存在？可以使用函数PARTITION_EXISTS查看指定的分区是否存在，更多函数信息，请...
分区表索引
不同于本地索引中索引分区和表分区一一对应的关系，全局索引分区可以指向所有表分区。全局索引也可以被分区，它的分区键必须是索引键的前缀。语法说明 创建本地索引 CREATE[UNIQUE]INDEX[CONCURRENTLY][[IF NOT EXISTS]name]ON table_name...
分区表索引
不同于本地索引中索引分区和表分区一一对应的关系，全局索引分区可以指向所有表分区。全局索引也可以被分区，它的分区键必须是索引键的前缀。说明 全局索引是分区表所特有的，具体请参见 全局索引。语法说明 创建本地索引 CREATE[UNIQUE]...
何时选择虚拟列分区
虚拟列分区可以对表达式进行分区，该表达式可能使用来自其他列的数据，并使用这些列进行计算。虚拟列分区支持所有分区类型。如果查询条件不是某一个列上的原始数据，而是经过计算过的，又不想添加一个单独的列来存储计算过的正确值，可以...
自动扩容失败时如何手动扩容Linux系统盘
本文示例环境以Centos7.X系统为例，且分区为MBR格式分区，系统盘容量小于2T。分区以/dev/vda 为例。登录机器，执行 blkid 命令查看当前文件系统类型，确认为MBR格式分区。执行以下命令，查看当前分区状态。fdisk-lu 系统显示类似如下，重点...
生命周期
对于分区表，每个分区可以分别被回收。在生命周期内未被修改数据的分区，经过指定的天数后此分区将会被回收，否则会被保留。每个分区的生命周期是从最后一次分区数据被修改的时间（LastModifiedTime）开始计算。不同于非分区表，分区表的...
分区分桶
为了帮助您深入理解 云数据库 SelectDB 版 的分区分桶的概念和如何实施分区分桶，本文档详细阐释了分区分桶的原理和操作示例，以帮助您理解分区分桶原理和如何实施分区分桶。概述 为了能高效处理大数据量的存储和计算，云数据库 SelectDB ...
分区剪枝
例如，当查询在列表分区表中搜索特定值时，分区剪枝可能会导致只有特定分区可以保存该值。约束排除必须检查为每个分区定义的约束。分区剪枝发生在优化器的早期，以减少规划者必须考虑的分区数量。约束排除发生在优化器的后期。不同阶段的...
分区迁移
场景 3：目标分区是模板化的二级分区 可以迁移具体的二级分区，也可以迁移模板二级分区，如果迁移模板二级分区，意味着所有一级分区下的该模板二级分区都会同步迁移。表级用法 对于以下表tb1的定义为：create table tb1(a bigint unsigned ...
分区剪枝
例如，当查询在列表分区表中搜索特定值时，分区剪枝可能会导致只有特定分区可以保存该值。约束排除必须检查为每个分区定义的约束。分区剪枝发生在优化器的早期，以减少规划者必须考虑的分区数量。约束排除发生在优化器的后期。不同阶段的...
上下游存储
如果您需要获取嵌套的JSON数据，则源表DDL中使用ROW格式定义JSON Object，结果表DDL中定义好要获取的JSON数据对应的Key，在DML语句中设置好Key获取的方式，就可以获取到对应的嵌套Key的Value值。代码示例如下：测试数据 {"a":"abc","b":1,...
初始化概述
分区格式介绍 数据盘支持主引导记录分区MBR（Master Boot Record）和全局分区表GPT（Globally Unique Identifier Partition Table）两种分区格式，二者说明如下：分区格式 最大分区容量 分区数量 分区说明 MBR 2 TiB MBR有以下分区形式：4...
图编辑
扫描DONE分区 选择【是】，用户在产出分区后同时产出对应分区的DONE分区，由GraphCompute主动探测发现该分区可以进行数据回流。选择【否】，用户产出分区后需调用接口GraphCompute进行分区回流。图信息查看 版本信息 图模型的基础版本信息...
并发控制
因此，根据通常用于命令的条件对表进行分区可以显著减少冲突。不过，按基数较高的列对表进行分区可能会导致由大量子目录引起的其他性能问题。冲突例外 发生事务冲突时，您将观察到以下异常之一：ConcurrentAppendException ...
表设计最佳实践
项目空间的表和分区可以通过Package授权的方式进行交换。维度表的设计 描述属性的表通常被设计为维度表。维度表可与任意表组中的任意表进行关联，且创建时无需配置分区信息，但是对单表个数有所限制。通常要求维度表的单表量不超过1000万个...
基于CEN-TR实现企业级云上互联
每个分区可以由独立的VPC承载并根据实际情况调整，VPC内按照部署的业务模块选择创建不同的虚拟交换机，不同业务系统之间的互通即不同VPC之间的路由打通。可以使用云企业网CEN及转发路由器快速打通，同时可以按需进行路由表隔离、路由过滤、...
使用pg_pathman插件
HASH分区 有一个管理函数用来创建范围分区，可以指定起始值、间隔、分区个数，具体如下：create_hash_partitions(relation REGCLASS,-主表OID attribute TEXT,-分区列名 partitions_count INTEGER,-打算创建多少个分区 partition_data ...
使用pg_pathman插件
HASH分区 有一个管理函数用来创建范围分区，可以指定起始值、间隔、分区个数，具体如下：create_hash_partitions(relation REGCLASS,-主表OID attribute TEXT,-分区列名 partitions_count INTEGER,-打算创建多少个分区 partition_data ...
分区投影
默认的格式为table_path/分区列名1=取值1/分区列名2=取值2/.，也可以指定为其他格式。分区投影类型 projection.c.type 表示列的分区投影类型。目前DLA支持四种分区投影类型：enum、integer、date 以及 injected。不同类型需要设置不同的...
CREATE TABLE
使用范围或哈希分区时，分区键可以包含多个列或表达式（最多 32 个，但在构建 PolarDB时可以更改此限制），但对于列表分区，分区键必须由单个列或表达式组成。范围和列表分区需要 btree 运算符类，而哈希分区需要哈希运算符类。如果没有...
如何查看Linux系统I/O负载情况？
I/O性能优化：通过4K对齐提高I/O性能 4K对齐指将符合4K扇区定义格式化过的硬盘，按照4K扇区的规则写入数据。4K对齐可以使簇与扇区相对应，保证了磁盘读写效率，以提高I/O性能。本操作介绍如何通过以下脚本对磁盘进行格式化并自动配置4K对齐...
使用Logstash（流式数据传输）
支持动态分区，可以根据Logstash解析的日志字段产生分区字段，能够自动创建不存在的分区。logstash-output-maxcompute 插件应用于如下场景：需要收集的应用的日志格式在Logstash上有输入插件支持或易于解析，例如NGINX日志。希望根据日志...
数据倾斜调优
数据倾斜排查及解决方法 根据使用经验总结，引起数据倾斜的主要原因有如下几类：Join GroupBy Count（Distinct）ROW_NUMBER（TopN）动态分区 其中出现的频率排序为 JOIN>GroupBy>Count(Distinct)>ROW_NUMBER>动态分区。Join 针对Join端产生...
- 产品推荐
- 这些文档可能帮助您