分区表管理（auto_partition）
AnalyticDB PostgreSQL版 支持将大表定义为分区表，并支持通过auto_partition插件对分区表进行自动删除或新增，当您进行条件查询时，系统只会扫描满足条件的分区，避免全表扫描，从而提升查询性能。新增分区的粒度包括小时，天，星期，月，...
术语表
分区表 AUTO模式数据库中，创建表时使用了 PARTITION 语法的表称为分区表。表组（Table Group）AUTO模式数据库中，为了尽可能避免跨机器查询，提高性能，可将某些全局索引组成表组，表组中的所有索引必须具有同样的Partition数目、相同的...
使用存储过程将数据导入Hologres内部表（Beta）
使用示例 示例1：MaxCompute非分区表数据导入Hologres 准备MaxCompute的非分区表数据。在MaxCompute中创建一张非分区源数据表，或直接选用已创建的非分区表。示例选用MaxCompute公告数据集 public_data 项目下的 customer 表数据，其表DDL...
手动创建分区表（AUTO模式）
DATABASE|CREATE DATABASE|+-+-+|part_db|CREATE DATABASE `part_db`/*MODE='auto'*/|+-+-+1 row in set(0.18 sec)创建数据库的语法详情，请参见 CREATE DATABASE。如果分区表的主键不含分区键，且不是自增主键，需要业务保证主键的唯一性...
如何使用表分区？
对于数据库中的事实表以及一些比较大的表，建议您使用表分区。使用表分区功能，方便您定期进行数据删除（通过alter table drop partition命令可删除整个分区的数据）和导入（使用交换分区的方式，即alter table exchange partition命令可以...
CREATE PARTITION TABLE
如果您的数据来源于数据库，不建议使用分区表。过多的分区会引起额外的IO资源浪费，为改善此问题并实现索引过滤加速查询的效果，您可以将常用分区条件作为segment_key。使用限制 Hologres暂不支持插入数据至分区表父表，只支持插入数据至...
INSERT
从Hologres V1.3版本起，支持符合FixedPlan的Insert语句直接写入分区表父表，详情请参见 Fixed Plan加速SQL执行。column table 表中的某个列的名称。您也可以使用子域名或者数组下标限定列名称。（指向一个组合列的某些列中插入会让其他域...
5.6/5.7/8.0版功能对比
SQL防火墙 ✔️ 动态脱敏 ✔️ 数据库管理 功能 集群版 管理数据库 ✔️ 数据库代理企业版 功能 集群版 管理连接地址 ✔️ 连接数据库集群 ✔️ 私有域名 ✔️ 读写分离 ✔️ 配置数据库代理 ✔️ 过载保护 ✔️ 变更集群配置 功能 集群版 ...
节点/数据库/表/分区/二级分区
介绍节点、数据库、表、分区表和二级分区的概念。节点 在HybridDB for MySQL中，节点是一个资源单位（比如当前C2规格对应：8 Core 32GB Memory 512GB SSD）。当前在阿里云的控制台中最多能够购买64个节点，如果有需要更多节点，可以通过...
概述
使用限制 开启SQL防火墙功能后，Proxy会在您当前的集群中创建一个数据库 database:proxy_auditing 和两张表，其中，sql_list 表用于保存黑白名单规则中的参数化SQL语句，org_sql_list 表用于保存黑名单规则中具体的SQL语句。且每张表最多...
Tunnel SDK常见问题
问题现象 使用Tunnel SDK下载分区表数据，返回如下报错。ErrorCode=MissingPartitionSpec,ErrorMessage=You need to specify a partitionspec along with the specified table.产生原因 使用Tunnel SDK下载分区表数据时，需要指定分区列的...
通过联邦分析同步数据
开启高级配置后可配置 同步库表选择 和 大表分区键设置 参数。同步库表选择 您可以选择需要同步的数据库和数据表。默认同步源端所有的库表。重要 不支持同步无主键的表，无主键的表会被自动过滤。AnalyticDB MySQL 每个集群最多可创建2048...
写入数据到分区表
创建OSS分区表后，可以通过INSERT OVERWRITE重写OSS数据。本文介绍如何写入数据到分区表。步骤一：创建Schema 登录 DLA控制台。单击左侧导航栏的 Serverless Presto>SQL访问点。单击 登录到DMS，执行以下SQL创建OSS Schema。您也可以通过...
库表
使用如下语句修改二级分区表生命周期：ALTER TABLE db_name.table_name partitions N;是否支持修改分布字段和分区字段？AnalyticDB MySQL 不支持修改分布字段和分区字段。如需修改分布字段和分区字段，您可以尝试如下办法：先创建临时表，...
Check节点
策略二：检查目标分区在指定时长是否有更新 若Check节点检查到MaxCompute分区表的目标分区在指定时长内未更新，则表示该分区的数据已产出完成，平台即认为MaxCompute分区表数据已可用。FTP文件或OSS文件 若Check节点检查到目标FTP文件或OSS...
新建并启用物理表质量检查计划
用来设置，包含分区字段的待检查物理表分区数据产出的检测时间，保证分区的数据无遗漏。检查周期 当选中 分区产出检测 参数时，才出现该选项。用来设置待检查的物理表中分区数据 产出时间 的检测周期。新建完质量检查计划后，单击 操作 列...
新建并启用物理表质量检查计划
用来设置，包含分区字段的待检查物理表分区数据产出的检测时间，保证分区的数据无遗漏。检查周期 当选中 分区产出检测 参数时，才出现该选项。用来设置待检查的物理表中分区数据 产出时间 的检测周期。新建完质量检查计划后，单击 操作 列...
ODPS-0130071
数据插入表是一个分区表，其中有m个分区字段，但是插入数据SQL里只有n个分区列，导致数据写入找不到分区报错 解决方案 建议修改插入数据SQL，对齐分区字段。示例-创建表 create table if not exists mf_sale_detail(shop_name string,...
分区剪裁合理性评估
分区剪裁是指对分区列指定过滤条件，使得SQL执行时只用读取表分区的部分数据，避免全表扫描引起的数据错误及资源浪费。但是分区失效的情况会经常发生。本文将从以下两方面介绍分区剪裁：判断分区剪裁是否生效。分区剪裁失效的场景分析。...
MAX_PT
返回分区表的一级分区中有数据的分区的最大值，按字母排序，且读取该分区下对应的数据。注意事项 max_pt 函数也可以使用标准SQL实现，select*from table where pt=max_pt("table");可以改写为 select*from table where pt=(select max(pt)...
分区表索引
因此数据库会自动将索引分区与其关联的表分区同步，从而使每个表索引相互独立。本地索引通过指定 LOCAL 属性创建。在与基础表相同的列上对索引进行分区，创建相同数量的分区或子分区，并为它们提供与基础表的相应分区相同的分区范围。当...
分区表索引
因此数据库会自动将索引分区与其关联的表分区同步，从而使每个表索引相互独立。本地索引通过指定 LOCAL 属性创建。在与基础表相同的列上对索引进行分区，创建相同数量的分区或子分区，并为它们提供与基础表的相应分区相同的分区范围。当...
分区表索引
因此数据库会自动将索引分区与其关联的表分区同步，从而使每个表索引相互独立。本地索引通过指定 LOCAL 属性创建。在与基础表相同的列上对索引进行分区，创建相同数量的分区或子分区，并为它们提供与基础表的相应分区相同的分区范围。当...
名称解释
数据库 数据库（Database）是用户购买HybridDB for MySQL服务的基本单位。用户可以购买一个或多个不同规格的数据库。数据库在逻辑上由逻辑分区（Partition）组成，在物理上由物理节点（Node）组成。实例 实例（Instance）是数据库之上的...
INTERVAL RANGE简介
而对于INTERVAL RANGE分区表，当新插入的数据超过现有分区的范围时，允许数据库自动创建新分区，根据INTERVAL子句指定的范围来新增分区。如果分区范围设置为1个月，新插入的数据为当前转换点（当前存在的分区的最大边界值）两个月后的数据...
数据建模
（比如：本表SQL执行输出与关联表SQL执行输出进一步的计算逻辑支持${result_1}和${result_2}的四则运算，支持使用abs取绝对值的运算比如：(${result_1}+5*abs(${result_1}-${result_2}))/2）逻辑表数据质量的强规则和弱规则有什么区别？...
AUTO模式数据库与DRDS模式数据库
DRDS模式数据库下不支持使用分区表的语法创建表，仅支持创建分库分表。标准版集群不支持创建AUTO模式数据库。通过MODE参数指定数据库模式 PolarDB-X 在创建数据库时引入了MODE参数，以决定创建的数据库是AUTO模式还是DRDS模式。关于MODE...
RDS SQL Server中无法直接删除数据库的处理方法
问题描述 在RDS SQL Server实例中删除数据库时，会出现以下场景的报错：如果数据库没有会话，对于RDS SQL Server 2008、2012和2016版，是用镜像做的主备同步，直接使用 drop database SQL语句删除数据库会存在以下报错。The database 'XX' ...
OceanBase 数据库 Oracle 租户至 Oracle 数据库的同步...
如果是 Oracle 数据库至 OceanBase 数据库等库到库的数据迁移或数据同步，OceanBase 数据库上的 PK 名称和 Oracle 数据库的不同，因此无法在 OceanBase 数据库中删除。迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle 数据库时，不支持...
IMPORT PARTITION
本文档介绍了导入表分区TABLESPACE（ibd文件）的方法。语法 ALTER TABLE…IMPORT PARTITION 命令用于导入表分区的TABLESPACE（ibd文件）。ALTER TABLE table_name IMPORT PARTITION partition_name[,partition_name].TABLESPACE;说明 在...
RDS MySQL表分区的限制
RDS MySQL对表分区有以下限制：只能对数据表的整型列进行分区，或者数据列可以通过分区函数转化成整型列。最大分区数目不能超过1024。如果含有唯一索引或者主键，则分区列必须包含在所有的唯一索引或者主键内。不支持外键。不支持全文索引...
产品整体介绍
这些对象将按照逻辑划分成不同的集合即组成模式（schema），每当新数据库创建后，都会默认为数据库创建模式public，这也是该数据库的默认模式，并且允许每个用户（角色）进行访问，所有为此数据库创建的对象一般都将默认在这个模式中。数据...
何时选择间隔（Interval）分区
而对于INTERVAL RANGE分区表，当新插入的数据超过现有分区的范围时，允许数据库自动创建新分区，根据INTERVAL子句指定的范围来新增分区。如果分区范围设置为1个月，新插入的数据为当前转换点（当前存在的分区的最大边界值）两个月后的数据...
表设计规范
依据数据量、数据集成特点定义分区表或非分区表。定义字段或分区字段。创建表和转换表。明确导入数据场景的相关因素（包括批量数据写入、流式数据写入、周期性条式数据插入）。定义表和分区的生命周期。说明 创建完表后，您可以根据业务...
无锁结构变更
删除主键 ✔️ 表存在非空唯一键 分区 删除分区 ✔️ truncate 分区 ✔️ 重分区 ✔️ 非分区表改为分区表 ✔️ 注意事项 确保数据库磁盘空间充足。表中须 存在主键或非空唯一键 且表中 不存在外键。当前表在执行无锁结构变更同时，执行...
通过联邦分析功能同步至湖仓版
开启高级配置后可配置 同步库表选择 和 大表分区键设置 参数。同步库表选择 您可以选择需要同步的数据库和数据表。默认同步源端所有的库表。重要 不支持同步无主键的表，无主键的表会被自动过滤。AnalyticDB MySQL 每个集群最多可创建2048...
创建表并导入数据
完成集群、租户和数据库的创建后，我们将带领您登录数据库，并创建一个名为 order 的表，并使用 Hash 分区将表分为 16 个分区。背景信息 表信息大概如下：概念介绍 OceanBase 数据库可以把普通的表的数据按照一定的规则划分到不同的区块内...
归档为CSV或ORC格式
本文介绍了将冷数据归档为CSV或ORC格式的方法，以及将OSS表数据导回至...示例 在数据库中，将归档在OSS上的分区表 t 中 p1 分区上的数据导回至PolarStore。ALTER TABLE t REORGANIZE PARTITION p1 INTO(PARTITION p1 values less than(100));
创建OSS外部表
CSV 以GZIP方式压缩的CSV TSV 以GZIP方式压缩的TSV 示例：通过内置文本数据解析器创建OSS外部表-非分区表 示例：通过内置文本数据解析器创建OSS外部表-分区表 示例：通过内置文本数据解析器创建OSS外部表-压缩数据 通过内置开源数据解析器...
MSCK REPAIR TABLE
示例 自动同步全表分区。MSCK REPAIR TABLE adb_external_db.partition_table_test;自动同步指定分区。MSCK REPAIR TABLE adb_external_db.partition_table_test SYNC_DIR 'oss:/testBucketName/test_db/partition_table_test/dt=20220619'...
- 产品推荐
- 这些文档可能帮助您