列存索引中HashMatch算子的实现
Probe阶段 Build阶段读取左表并构建出散列表，而Probe阶段读取右表数据后查找散列表并根据匹配情况进行输出，既然Build阶段已经将数据进行分区构建，那Probe阶段也需要按Build阶段所采用的数据分区规则来进行分区处理。DoFetch Probe阶段...
分区表自动冷存
场景描述 带有时间序列的数据采用分区表存储，并按月进行分区，随着时间的推移，一段时间之前的数据访问频率大大降低（过期），为了降低存储成本，需要自动将超过某个固定时间的分区表进行冷存处理。对于这种场景，PolarDB PostgreSQL版 ...
多级分区表静态裁剪与并行扫描
支持多级分区表的静态分区裁剪，避免对无关分区进行扫描。同时，针对被裁剪后的分区表，可以进一步开启并行查询能力，从而加快分区表的查询性能。前提条件 支持的的版本如下：PostgreSQL 11（内核小版本1.1.17及以上）说明 您可通过如下...
全局索引
PolarDB PostgreSQL版 的许多用户大量的使用分区表来管理自己的数据，其中较为典型的用法是以时间为维度对分区进行管理：分区表使用时间作为分区键。定期（每周或每月）创建新的子分区，新数据进入新的子分区中。定期对旧的子分区进行归档...
全局索引
PolarDB PostgreSQL版（兼容Oracle）的许多用户大量的使用分区表来管理自己的数据，其中较为典型的用法是以时间为维度对分区进行管理：分区表使用时间作为分区键。定期（每周或每月）创建新的子分区，新数据进入新的子分区中。定期对旧的子...
Check节点
步骤三：配置任务调度 如您需要周期性使用Check节点进行分区数据检查，可单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息。详情请参见 任务调度属性配置概述。Check节点与普通调度节点一样，需设置调度依赖、调度...
在线分区维护
使用说明及示例 在线分区维护功能，使得分区表的数据访问和分区维护相互不影响，用户可以更自由的进行分区维护，而不影响分区表业务流量，使用示例及效果如下：#在客户端1上输出tr表结构 SHOW CREATE TABLE tr\G*1.row*Table:tr Create ...
数据管理
转换指定路径下的Parquet数据文件，并按照dt和hour进行分区。CONVERT TO DELTA parquet.`oss:/region/path/to/tbl_with_partition` PARTITIONED BY(dt string,hour int);使用CONVERT后，仅将表路径构建为Delta表所需的格式，尚未将其注册为...
截断分区（Truncate）
与截断表的操作类似，PolarDB PostgreSQL版 可以指定一个分区进行截断。本文介绍了其语法及示例。语法说明 TRUNCATE[PARTITION]name[CASCADE|RESTRICT]使用以上 TRUNCATE 语法可以快速删除一组表中的所有行。它与每个表上的非限定 DELETE ...
截断分区（Truncate）
与截断表的操作类似，PolarDB PostgreSQL版（兼容Oracle）可以指定一个分区进行截断。本文介绍了其语法及示例。语法说明 TRUNCATE[PARTITION]name[CASCADE|RESTRICT]使用以上 TRUNCATE 语法可以快速删除一组表中的所有行。它与每个表上的非...
分区合并
若要对二级分区进行合并操作，要求 PolarDB-X 实例版本必须为5.4.17-16952556及以上。对于非list/list column策略的分区表，只能合并相邻分区。名词解释 表组：分区列完全相同的一组逻辑表或全局索引表的集合。全局索引：使用另一个维度...
截断分区
与截断表的操作类似，PolarDB PostgreSQL版（兼容Oracle）可以指定一个分区进行截断。本文介绍了其语法及示例。语法说明 ALTER TABLE<table_name>TRUNCATE PARTITION；ALTER TABLE<table_name>TRUNCATE SUBPARTITION;使用以上 TRUNCATE ...
热点分区分裂
若要对二级分区进行分区分裂操作，要求 PolarDB-X 实例版本必须为5.4.17-16952556及以上。对于热点分裂，只适用于包含key分区策略（一级分区或者二级分区是key分区皆可）的数据表。名词解释 表组：分区列完全相同的一组逻辑表或全局索引表...
列存索引如何实现高效数据过滤
同时，也支持JOIN列的等价关系进行推导，从而更加充分的进行分区剪枝。例如关系R，S的分区键均为a，查询 select count(1)from R,S where R.a=S.a and R.a>10，利用 R.a=S.a 以及 R.a>10 可推导出 S.a>10，从而用来做关系S的分区剪枝。不同...
使用SQL导入MaxCompute的数据至Hologres
业务日期 如果MaxCompute表使用日期进行分区，则您可以选择具体的分区日期，系统将会导入指定日期的数据至MaxCompute表。索引配置 存储模式 列存，适用于各种复杂查询。行存，适用于基于主键的点查询和Scan。如果不指定存储模式，则默认为 ...
列存索引
PARTITION BY ENUMERABLE(column_name(,.),bucket(bucket_num,column_name))指定索引数据按照枚举算法进行分区，从而提升查询过程中的检索能力。分区表达式包括普通分区表达式和bucket分区表达式，且普通分区表达式和bucket分区表达式中的...
分布式线性扩展
在上面的例子中，如果对user表的某个分区进行迁移而不迁移orders表的对应分区，那么上文中的查询将无法下推到存储节点，导致性能大幅下降。但有了表组的概念之后，由于user表和orders表位于同一表组中，它们的分区迁移、分裂与合并都会同步...
概述
不支持 不支持 支持 支持 支持 支持 不支持 删除分区 删除一个分区 不支持 不支持 支持 支持 支持 支持 不支持 修改分区 修改List分区的Values集合 不支持 不支持 不支持 不支持 支持 支持 不支持 重组分区 对连续的多个分区进行重新定义 ...
如何分析数据分布不均衡
除此之外，分区表还支持通过 select*from information_schema.table_detail where logical_table='test_tb' 查询分区级的详细信息，部分参数说明如下：PARTITION_NAME：分区名 TABLE_ROWS：分区的数据行数 DATA_LENGTH：分区的数据大小 ...
什么是网络智能服务
评估业务维度网络质量 实时监测网络运行状况 网络洞察仪 使用网络洞察仪 网络拓扑 快速了解阿里云云上网络架构，进行网络配置验证和云网络资源统一运维。快速了解网络架构 识别网络可达组网 统一运维网络资源 网络拓扑概述 使用专有网络...
Dataphin周期任务查询对应的分区，报其他分区错误
经过和客户沟通了解到昨天两个人同时对20211122分区进行补数据后来停止过一个补数据任务。查看sql语句客户这样写会导致右表查询所有分区，对于MaxCompute来说有些条件表达式是不会进行上推的，上推后的数据会不一致。解决方案 1.可以将报错...
分区管理
本文档旨在介绍如何在 ODC 上使用分区计划，包括对新建和删除的表分区进行自动管理。注意事项 仅支持 OceanBase MySQL 数据源。仅支持Timestamp 字段类型的 Range 分区表及 Date 字段类型的 Range Columns 分区表。新建分区计划 重要 ODC V...
挂载数据盘
说明 分区表本身和对分区进行扇区对齐时需要占用1～2 MiB的空间，分区功能会自动缩减最后一个分区的大小来预留出所需要的空间。所以分区后的实际大小可能会略小于所制定的分区大小，总的可用容量也会稍小于云盘总容量。文件系统仅支持ext4...
分区表达式介绍
对于不需要限制触发日期，希望每天或者表有新分区的时候，就对指定分区进行校验，这时，建议直接使用业务日期 ds='${yyyyMMdd}'、执行日期 ds='$[yyyyMMdd]'、每月 ds='${yyyyMM}' 的分区。对于希望指定时间才校验的，如每月1号、月末日、...
分区表达式介绍
对于不需要限制触发日期，希望每天或者表有新分区的时候，就对指定分区进行校验，这时，建议直接使用业务日期 ds='${yyyyMMdd}'、执行日期 ds='$[yyyyMMdd]'、每月 ds='${yyyyMM}' 的分区。对于希望指定时间才校验的，如每月1号、月末日、...
Linux实例中数据恢复
您可以尝试如下三种办法进行处理：通过fdisk恢复分区 通过testdisk恢复分区 通过testdisk直接恢复数据 通过fdisk恢复分区 对数据盘分区时，分区磁盘的起止扇区一般使用默认的值，所以可以先尝试直接使用 fdisk 命令新建分区进行恢复。...
ALTER TABLE…RENAME PARTITION
查询视图ALL_TAB_PARTITIONS显示了已成功对分区进行了重命名：acctg=SELECT partition_name,high_value FROM ALL_TAB_PARTITIONS;partition_name|high_value-+-europe|'FRANCE','ITALY' asia|'INDIA','PAKISTAN' n_america|'US','CANADA'(3...
分区投影
projection.columnName.digits 否 1 为最后生成的分区进行格式化。必须是一个正整数，默认为0。例如：projection.columnName.range=1,10、projection.columnName.interval=3、projection.columnName.digits=2，则生成的分区值为01,04,07。...
CREATE TABLEGROUP（AUTO模式）
例如要对表组的一个表的某个分区进行分裂，那么需要通过分裂整个表组某个分区来实现这个目的。语法 create_tablegroup_stmt:CREATE tablegroup[IF NOT EXISTS]tablegroup_name 示例 创建一个名为test_tg的表组。create tablegroup test_tg;...
CREATE TABLE
PARTITION BY { RANGE|LIST|HASH }({ column_name|(expression)}[opclass][,.])可选的 PARTITION BY 子句指定了对表进行分区的策略。这样创建的表称为 分区 表。带括号的列或表达式的列表构成表的 分区键。使用范围或哈希分区时，分区键...
使用JindoTable实现对OSS上表或分区的归档和解冻
本文介绍了JindoTable中的archiveTable和unarchiveTable命令，这两个命令可以用于对OSS上的表或分区进行归档和解冻操作。使用限制 该文档仅适用于使用Hive Metastore存储元数据的情况。archiveTable命令 archiveTable 命令可以对OSS上的表...
BUILD
功能说明 BUILD 命令可以对实时写入的数据及其涉及到的历史分区，进行合并、构建索引、执行异步DDL等操作。如果用户通过INSERT/UPDATE/DELETE等修改分区的数据，那么该分区需要执行BUILD，与实时数据结合后，生成新的分区。如果用户没有...
与标准SQL的主要区别及解决方法
如果是2级分区且查询时只根据2级分区进行过滤，总的分区数大于1万也可能导致报错。解决方法请参见 执行INSERT INTO或INSERT OVERWRITE操作时，报错a single instance cannot output data to more than 10000 partitions，如何解决？精度 ...
JindoTable SDK模式归档和解冻命令介绍
背景信息 JindoTable原有archive和unarchive命令可以对OSS上的表或分区进行归档或解冻等操作，但archive和unarchive命令依赖SmartData组件Jindo Namespace Service。现在新增的archiveTable和unarchiveTable命令，可以在不依赖Jindo ...
JindoTable SDK模式归档和解冻命令介绍
背景信息 JindoTable原有archive和unarchive命令可以对OSS上的表或分区进行归档或解冻等操作，但archive和unarchive命令依赖SmartData组件Jindo Namespace Service。现在新增的archiveTable和unarchiveTable命令，可以在不依赖Jindo ...
扩容分区和文件系统（Windows）
说明 如果扩容数据盘，则右键单击对应数据盘（例如 磁盘 1）分区进行扩容。如果您的磁盘存在多个分区，建议扩容的分区是与未分配分区左相邻的分区，否则，Windows会将选定的基本磁盘转换成动态磁盘。根据 扩展卷向导 的默认设置完成扩展卷...
ALTER TABLE…ADD PARTITION
SPLIT PARTITION语句对现有分区进行划分，有效增加表中的分区数量。RANGE分区必须以升序的方式指定。您不能把新分区添加在RANGE分区表中现有的分区之前。包括TABLESPACE子句指定新分区要所属的表空间。如果您没有指定表空间，那么分区将所...
分区和列操作
合并分区 对分区表的分区进行合并，即同一个分区表下的多个分区合并成一个分区，同时删除被合并的分区维度的信息，把数据移动到指定分区。清空分区数据 清空指定分区的数据。列操作 添加列或注释 为已存在的非分区表或分区表添加列或注释。...
INSERT OVERWRITE SELECT
2|1|1|2|1|3|+-+-+对目标表 test_target b=2和b=3的分区进行覆盖写入。INSERT OVERWRITE test_target SELECT*FROM test_source WHERE a=2 AND b>=2 AND b;覆盖写入b=2和b=3的分区后，查询 test_target，得到如下结果。2|1|2|2|2|3|+-+-+...
JindoTable SDK模式归档和解冻命令介绍
背景信息 JindoTable原有archive和unarchive命令可以对OSS上的表或分区进行归档或解冻等操作，但archive和unarchive命令依赖SmartData组件Jindo Namespace Service。现在新增的archiveTable和unarchiveTable命令，可以在不依赖Jindo ...
- 产品推荐
- 这些文档可能帮助您