MaxCompute分区表数据导入
本文为您介绍如何将MaxCompute分区表数据导入到Hologres分区表。前提条件 已购买并开通Hologres实例，开通方法请参见 购买Hologres。已开通MaxCompute并创建项目，详情请参见 开通MaxCompute和DataWorks。已开通DataWorks服务并创建...
创建和管理自定义存储表
物联网平台数据服务提供离线数据存储功能，支持自定义分区表、事务表和时序表。自定义存储表可以作为数据服务中数据解析、SQL分析任务和数据可视化的数据源，可以作为数据解析、SQL分析任务的结果输出表，可以集成时序表数据到实时计算...
ANALYZE
此外，当 ANALYZE 通常处理指定分区表的所有分区时，如果分区表上有一个冲突的锁，这个选项将导致 ANALYZE 跳过所有分区表。boolean 规定所选的选项打开或关闭。您可以写 TRUE、ON 或 1 以启用该选项，或者是 FALSE、OFF 或 0 来禁用它。...
ack-node-repairer
当Node Problem Detector（简称NPD）组件检测到节点上的故障并生成节点的事件（Event）或者Condition上报给集群时，ACK的自愈系统（ACK Node Repairer）会监听每个节点上的新故障事件，并根据配置对故障节点进行相应的修复操作。...
分区和列操作
合并分区 对分区表的分区进行合并，即同一个分区表下的多个分区合并成一个分区，同时删除被合并的分区维度的信息，把数据移动到指定分区。清空分区数据 清空指定分区的数据。列操作 添加列或注释 为已存在的非分区表或分区表添加列或注释。...
PolarDB MySQL版DDL操作指南
本文将从如下几个方面介绍 PolarDB MySQL版 的各个版本常见的DDL操作的行为特征：是否锁表（允许并发DML）：非锁表的DDL（Online DDL）只在修改元数据时申请表互斥锁（持续时间一般不超过1秒），在表结构变更期间允许对目标表进行读写操作...
2020年及以前
无 导出外表分区表 支持导出外表分区表。无 ZORDER BY子句 支持ZORDER BY子句。无 2020年10月12日 类别 功能 功能描述 相关文档 新增 PG 11 JIT新特性 云原生数据仓库AnalyticDB PostgreSQL版 Laser行式引擎接入PG 11 JIT新特性。无 ...
手动创建分区表（AUTO模式）
本文介绍了手动创建分区表、选择分区和查看分区信息的语法。注意事项 使用分区表语法之前，请务必确认创建当前的逻辑库时模式指定为自动分区模式（mode='auto'），非自动分区模式不允许使用分区表的建表语法。您也可以通过 SHOW CREATE ...
离线扩容分区和文件系统（Linux数据盘）
确认分区表格式和文件系统 运行以下命令确认数据盘的分区表格式。sudo fdisk-lu/dev/vdb 本示例中，原有的数据盘空间已做分区/dev/vdb1。如果 System 为 Linux，说明数据盘使用的是MBR分区表格式。如果 System 为 GPT，说明数据盘使用的是...
使用说明
在MaxCompute客户端，执行如下语句创建分区表sale_detail，并为分区表sale_detail添加分区。CREATE TABLE IF NOT EXISTS sale_detail(shop_name STRING,customer_id STRING,total_price DOUBLE)PARTITIONED BY(sale_date STRING,region ...
表操作
不同于非分区表，分区表的最后一个分区被回收后，该表不会被删除。生命周期只能设定到表级别，不支持在分区级别设置生命周期。分区表参数 partitioned by(<col_name><data_type>[comment],.：可选。指定分区表的分区字段。col_name：表的...
表操作
不同于非分区表，分区表的最后一个分区被回收后，该表不会被删除。生命周期只能设定到表级别，不支持在分区级别设置生命周期。分区表参数 partitioned by(<col_name><data_type>[comment],.：可选。指定分区表的分区字段。col_name：表的...
OSS数据源
表的名称基于OSS目录前缀或目录名，当某个目录级别下大部分的目录结构和文件格式都相同时，发现程序会创建一张分区表。例如，对于以下OSS目录结构：oss:/bucket01/folder1/table1/partition1/fiile.txt oss:/bucket01/folder1/table1/...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
MySQL分库分表同步至MaxCompute
您可以在 时间自动分区设置 配置该任务写入MaxCompute分区表或是非分区表，并定义分区字段的名称，本案例中选择写入分区表，分区字段为 ds。说明 若选择写入分区表，可单击 图标定义目标表分区字段名称。刷新源表与目标表映射。单击 刷新源...
MySQL分库分表同步至MaxCompute
您可以在 时间自动分区设置 配置该任务写入MaxCompute分区表或是非分区表，并定义分区字段的名称，本案例中选择写入分区表，分区字段为 ds。说明 若选择写入分区表，可单击 图标定义目标表分区字段名称。刷新源表与目标表映射。单击 刷新源...
分区裁剪
在扫描分区表前，能通过检查分区约束条件与每个分区的定义，提前排除不需要扫描的分区，大大减少从磁盘中读取的数据量，从而缩短运行时间，改善查询性能，减少资源浪费。云原生数据仓库AnalyticDB PostgreSQL版 支持按列分区。分区表能够将...
使用SQL导入MaxCompute的数据至Hologres
导入MaxCompute的非分区表数据至Hologres并查询 准备MaxCompute的非分区表数据。在MaxCompute中创建一张非分区源数据表，或直接选用已创建的非分区表。示例选取MaxCompute公共数据集 public_data 的 customer 表，您可以参照 使用公开数据...
开启和使用冷数据分层存储
方式三：设置默认表空间为OSS表空间后再创建分区表。SET default_tablespace='oss';CREATE TABLE prt1(a int,b int)PARTITION BY RANGE(a);CREATE TABLE prt1_p1 PARTITION OF prt1 FOR VALUES FROM(0)TO(250);CREATE TABLE prt1_p2 ...
开启和使用冷数据分层存储
方式三：设置默认表空间为OSS表空间后再创建分区表。SET default_tablespace='oss';CREATE TABLE prt1(a int,b int)PARTITION BY RANGE(a);CREATE TABLE prt1_p1 PARTITION OF prt1 FOR VALUES FROM(0)TO(250);CREATE TABLE prt1_p2 ...
开启和使用冷数据分层存储
方式三：设置默认表空间为OSS表空间后再创建分区表。SET default_tablespace='oss';CREATE TABLE prt1(a int,b int)PARTITION BY RANGE(a);CREATE TABLE prt1_p1 PARTITION OF prt1 FOR VALUES FROM(0)TO(250);CREATE TABLE prt1_p2 ...
Tunnel命令
将log.txt（在MaxCompute客户端的bin目录中）中的数据上传至项目空间test_project的表test_table（二级分区表）中的p1="b1",p2="b2"分区。tunnel upload log.txt test_project.test_table/p1="b1",p2="b2;将log.txt中的数据上传至表test_...
Tunnel命令
将log.txt（在MaxCompute客户端的bin目录中）中的数据上传至项目空间test_project的表test_table（二级分区表）中的p1="b1",p2="b2"分区。tunnel upload log.txt test_project.test_table/p1="b1",p2="b2;将log.txt中的数据上传至表test_...
DELETE
您需要删除具体的分区表子表后，才可以删除分区表父表。如果执行整表数据的清空删除，建议使用TRUNCATE语法，效率远比DELETE更高，参考 TRUNCATE。推荐使用Fixed Plan优化DETELE执行效率，参考 DELETE场景。Hologres中的DELETE命令与...
CREATE TABLE（AUTO模式）
本文主要介绍使用DDL语句创建分区表的语法、子句、参数和基本方式。本语法仅适用于AUTO模式数据库。注意事项 使用分区表语法之前，请务必确认创建当前的逻辑库时模式指定为自动分区模式（mode='auto'），非自动分区模式不允许使用分区表的...
功能特性
非分区表 分区 分区表是指拥有分区空间的表，即在创建表时指定表内的一个或者某几个字段作为分区列。分区表实际就是对应分布式文件系统上的独立的文件夹，一个分区对应一个文件夹，文件夹下是对应分区所有的数据文件。分区表 外部表 OSS...
数据存储冷热分层
支持将分区表的部分子分区转为冷分区，暂不支持将整个分区表父表转为冷表。热表或者热分区转冷会建立临时表存放临时数据，转冷结束会自动清除。请确保各个segment节点上磁盘剩余空间大于当前正在转冷的热表空间之和。热表转为冷表后，原表...
2020年
2020年12月 内核小版本（V1.1.7）类别 名称 描述 相关文档 新增 分区表 新增Merge Partitions功能，用于合并两个分区表。ALTER TABLE…MERGE PARTITION ALTER TABLE.MERGE SUBPARTITION 兼容Oracle风格解码 支持Oracle的Base64解码风格，...
对分区表使用跨机并行查询
PolarDB PostgreSQL版（兼容Oracle）支持对分区表使用跨机并行查询的功能。通过对分区表使用跨机并行查询，提升数据库的性能。功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询...
对分区表使用跨机并行查询
PolarDB PostgreSQL版（兼容Oracle）支持对分区表使用跨机并行查询的功能。通过对分区表使用跨机并行查询，提升数据库的性能。功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询...
EMR-3.37.x版本说明
修复了INSERT OVERWRITE分区表时的问题。修复了G-SCD场景下，Optimize将虚拟字段写入文件时的问题。YARN 节点Containers REST API增加了appId，CPU和Memory资源使用信息。修复了弹性伸缩释放节点上AM日志无法查看的问题。支持弹性伸缩...
创建TTL表
如果需要将t_order的物理表按照gmt_modified列进行时间分区，每个分区间隔一个月，每个分区12个月后过期，提前创建3个分区，创建语法如下：CREATE TABLE t_order(id bigint NOT NULL AUTO_INCREMENT,gmt_modified DATETIME NOT NULL,...
MaxCompute数据迁移
开启后分区表已经迁移过的分区不会被重新迁移。只迁schema 只迁移表结构、分区值。根据实际情况选择是否打开。分区过滤 详情请参见 分区过滤表达式说明。表名映射 ⼀个Table迁移到⽬的项目后的名称。单击 确定。说明 如果迁移任务的配置...
PolarDB MySQL版5.6版本发布日志
修复部分情况下由于分区表估计逻辑提前终止，导致的分区表估计错误的问题。修复部分场景下SHOW PROCESSLIST结果不正确的问题。修复在打开 session_track_temporary_tables 系统变量的情况下，在存储过程中创建或删除临时表会导致集群不可用...
普通表转换为分区表
当单张普通表的数据量超过1亿或者1 TB时，建议使用分区表。本文介绍了使用 ALTER 语法将单张普通表转换为分区表的注意事项以及示例。前提条件 普通表中的主键或唯一键需要包含分区表中的分区键字段。注意事项 普通表转换为分区表的过程中，...
扩容分区和文件系统（Linux）
重要 CentOS 6操作系统在扩容至2 TiB以上或者扩容GPT分区表时，需要参考 离线扩容分区和文件系统（Linux数据盘）使用 parted 命令进行操作，不能使用本文档介绍的 growpart 命令进行操作，否则会有分区表被破坏的风险。判断是否为GPT分区，...
多级分区表静态裁剪与并行扫描
为了方便管理和提高查询性能，用户一般会使用分区表，将大表拆分成多张子分区表，每张子分区表又进一步可以拆成二级子分区表，从而形成了多级分区表。支持多级分区表的静态分区裁剪，避免对无关分区进行扫描。同时，针对被裁剪后的分区表，...
实施步骤
配置项 说明 类型 分区表或者维度表。主键 支持复合主键，保证数据唯一。分区列 请参见 一级分区的规划和设计。分区数 建议128。完成上述参数配置后，单击 预检查并启动，进入 预检查 页面。如果预检查显示 失败，需要根据提示并参见 源库...
分区表常见问题
本文汇总了 PolarDB MySQL版 分区表相关的常见问题。说明 如需了解更多关于分区表的内容，请搜索钉钉群号加群进行咨询。钉钉群号：24490017825。PolarDB MySQL版 是否支持表分区?支持。目前 PolarDB MySQL版 100%兼容MySQL，同时做了功能和...
- 产品推荐
- 这些文档可能帮助您