表结构设计
您可以在创建表时，通过 PARTITION BY 来定义二级分区，数据会将按照指定方式进行切分。更多详情，请参见 CREATE TABLE。语法 使用 column_name 的值做分区，语法如下：PARTITION BY VALUE(column_name)将 column_name 的值转换为%Y%m%d 的...
全局索引
不同于默认在每个子分区上创建的局部索引（Local Index，一个索引对应一个子分区），全局索引通过一个索引来索引整个分区表的数据（一个索引对应多个子分区），从而可以提供非分区键上的全局唯一约束，也可以大幅提升非分区键的查询性能。...
全局索引
不同于默认在每个子分区上创建的局部索引（Local Index，一个索引对应一个子分区），全局索引通过一个索引来索引整个分区表的数据（一个索引对应多个子分区），从而可以提供非分区键上的全局唯一约束，也可以大幅提升非分区键的查询性能。...
常用SQL
针对源端为OSS的元数据操作 MSCK REPAIR TABLE：同步OSS数据源上实际的数据分区信息到元数据分区中。MSCK REPAIR TABLE SYNC_DIR：同步OSS数据源一个目录的分区信息到元数据分区中。针对源端为数据库的元数据操作 MSCK REPAIR DATABASE：...
创建隐匿信息查询任务
数据分区 数据分区：分区分为动态分区和静态分区，动态分区按照日、小时调度。使用场景 离线场景：生成预计算文件在后续离线PIR查询中速度较快。在线场景：生成的预计算文件在后续在线PIR查询中速度较快。单击 提交，完成任务的创建。步骤...
测试模型
Byte-Hash+Long.toHexString 20 属性列 属性列名 类型 长度 field0 string 100 field1 string 100 field2 string 100 field3 string 100 field4 string 100 分区数量 表格存储的自动负载均衡机制能够根据表下各个分区的数据量、访问压力对...
DDL操作常见问题
您可以重新创建一张分区表，使用动态分区SQL将源表数据导入至新分区表，详情请参见 插入或覆写动态分区数据（DYNAMIC PARTITION）。如何查看指定的分区是否存在？可以使用函数PARTITION_EXISTS查看指定的分区是否存在，更多函数信息，请...
云盘扩容后使用growpart扩展GPT分区失败该如何处理？
可能原因 初始化数据盘（例如/dev/vdb）时，未按推荐的分区对齐方式进行分区，即未按要求执行 mkpart primary 1 100%命令设置分区的开始位置和结束位置。您可以执行以下命令查看分区是否对齐：fdisk-l：查看 Start 值是否为 2048。如果不是...
ListPartitionsProfile-获取分区数据概况
获取分区数据概况的详细信息。接口说明 使用数据概况需要先将该表的 OSS Bucket 进行 Location 托管。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 ...
分区裁剪
由于查询条件落在一级分区1的二级子分区 'usa' 上，查询只会扫描读取这个二级子分区数据。如下其查询计划显示，总计52个三级子分区中，只有一个分区被读取（Partitions selected）。Gather Motion 3:1(slice1;segments:3)(cost=0.00.431.00...
TRUNCATE TABLE
TRUNCATE TABLE 用于清空表数据或者表分区数据。语法 清空表数据。TRUNCATE TABLE db_name.table_name;清空表中的指定分区。TRUNCATE TABLE db_name.table_name PARTITION partition_name[,.];分区名的数据类型为bigint，您可以通过以下SQL...
CREATE PARTITION TABLE
如果您需要经常对某分区数据进行整体替换，包括执行truncate操作或者drop操作，建议使用分区表。针对该场景，执行truncate或者drop效果更好，可以避免大范围的删除操作。创建分区表 命令格式。创建分区表的命令格式如下。创建分区父表语句 ...
CREATE TABLE
您将了解到如何创建分区表和维表，以及如何定义表的分布键、分区键、索引、生命周期、冷热数据分层等。设置默认值、自增列 设置主键 设置分布键 设置分区键与生命周期 设置聚集索引 设置全文索引 设置向量索引 设置冷热分层存储策略 表的...
配置MaxCompute输入组件
同时支持填写范围分区，如/*query*/ds>=202101 and ds，则采集202101至202108的分区数据。分区不存在时 可选择以下策略，处理当指定分区不存在时的场景：置任务失败：终止该任务并置失败。置任务成功，无写入数据：任务正常运行成功，无...
配置MaxCompute输入组件
同时支持填写范围分区，如/*query*/ds>=202101 and ds，则采集202101至202108的分区数据。分区不存在时 可选择以下策略，处理当指定分区不存在时的场景：置任务失败：终止该任务并置失败。置任务成功，无写入数据：任务正常运行成功，无...
INSERT INTO|OVERWRITE
使用限制 执行 insert into 和 insert overwrite 操作更新表或静态分区数据的使用限制如下：insert into：不支持向聚簇表中追加数据。insert overwrite：不支持指定插入列，只能使用 insert into。例如 create table t(a string,b string);...
分区和列操作
清空分区数据 清空指定分区的数据。列操作 添加列或注释 为已存在的非分区表或分区表添加列或注释。删除列 删除已存在的非分区表或分区表的列。更改列数据类型 更改已存在列的数据类型。修改列的顺序 调整表中指定列的顺序。修改列名 为已...
创建服务器迁移任务
如果迁移源的数据盘是单分区结构，则只会生成 分区0。说明 若您的迁移源没有数据盘，或数据盘未挂载，则不会出现 数据盘 配置项。更多信息，请参见 为什么新建迁移任务页面没有出现数据盘配置项？块复制 SMC会根据迁移源磁盘分区状态进行...
为什么使用表格存储过程中会有少量的500错误
当某个数据分区的数据量过大，或者访问过热，如下图的数据分区P1，表格存储的动态负载均衡机制能够检测到这种情况的发生，并将数据分区分裂成两个数据分区P1和P5，并将该两个数据分区调度到负载较低的服务节点上。表格存储使用上述的自动...
清空分区
场景2：清空一个含有二级分区的一级分区 由于一级分区下含有二级分区，所以清空一级分区，实际是会同时清空该一级分区下的所有二级分区。假设r_k_tp_t1与r_k_tp_t2都采用Range分区，建表SQL如下所示：CREATE TABLE `r_k_tp_t1`(`a` bigint...
新建表
对于分布规则不明显的数据，并没有明显的范围查找等特征，可以使用HASH分区，将数据分区列的值按照HASH算法打散到不同的分区上，将数据随机分布到各个分区。Key 分区：类似于按 HASH 分区，区别在于 KEY 分区只支持计算一列或多列，且 ...
与标准SQL的主要区别及解决方法
IN和NOT IN IN、NOT IN、EXISTS和NOT EXISTS，后面的子查询返回的分区数据量不能超过1000条。解决方案请参见 在执行MaxCompute SQL过程中，使用NOT IN后面接子查询，子查询返回的结果是上万级别的数据量，但当IN和NOT IN后面的子查询返回的...
通过DataWorks周期性导入MaxCompute数据最佳实践
场景二：重新对历史分区数据刷新。创建临时分区子表 BEGIN;CREATE TABLE IF NOT EXISTS"public".tmp_holo_dwd_product_movie_basic_info_${bizdate}("movie_name"text,"director"text,"scriptwriter"text,"area"text,"actors"text,"type...
如何分析数据分布不均衡
除此之外，分区表还支持通过 select*from information_schema.table_detail where logical_table='test_tb' 查询分区级的详细信息，部分参数说明如下：PARTITION_NAME：分区名 TABLE_ROWS：分区的数据行数 DATA_LENGTH：分区的数据大小 ...
生命周期
MaxCompute表的生命周期（Lifecycle），指表（分区）数据从最后一次更新的时间算起，在经过指定的时间后没有变动，则此表（分区）将被MaxCompute自动回收。这个指定的时间就是生命周期。通过设置生命周期可以实现自动数据清理或数据保留，...
分区设计
用户存有海量数据的表应该按照数据规模进行拆解，表的数据将拆解成多个数据分区独立存储，通常的设计原则是：主键（Primary Key）单实例数据库不要求表一定要有主键，但是对于分布式数据库，主键则是必须的，以保证一行数据是全局唯一的，...
数据输入输出
processed_odps_table")如果表为分区表，read_odps_table 方法会读取所有分区的数据，因此如果存在多个分区，您可以通过 partitions 参数读取部分的分区数据：df=md.read_odps_table("parted_odps_table",partitions=["pt1=20240119,pt2=10...
配置数据质量监控
此步骤中，您需要监控ods_raw_log_d表的 dt=$[yyyymmdd-1]表达式所匹配的分区数据是否符合预期，即在ods_raw_log_d表每次监控规则执行时，监控其业务时间对应分区的数据是否符合数据质量校验规则。步骤如下：在表的监控规则配置页面，单击 ...
配置数据质量监控
此步骤中，您需要监控目标表ods_raw_log_d表达式$[yyyymmdd-1]所匹配的分区数据是否符合预期，即在ods_raw_log_d表每次监控规则执行时，监控其业务时间对应分区的数据是否符合数据质量校验规则。步骤如下：在表监控规则配置页面，单击 分区...
统计表
选择 是，则在首次导入数据时，将把历史分区数据全部拉取保存。选择 否，则在首次导入数据时，将仅拉取最新分区数据。配置表结构后请务必配置调度任务导入数据，请参见 调度任务。管理表结构配置，请参见 表结构配置管理。
ODS层设计规范
ODS增量表 按天分区 有对应全量表，最多保留最近14天分区数据。无对应全量表，需要永久保留数据。ODS ETL过程临时表 按天分区 最多保留最近7天分区。DBSync非去重数据 按天分区 由应用通过中间层保留历史数据，默认ODS层不保留历史数据。...
云服务器ECS多分区场景下的磁盘分区扩容方法
扩容分区 以下扩容方法适用于系统盘与数据盘。远程连接 Windows实例。按 Win+R 键，打开 运行 窗口。输入 diskmgmt.msc 并回车，打开磁盘管理器。在磁盘管理器，选择 操作>重新扫描磁盘。在磁盘管理区域，确认存在未分配容量。右键单击分区...
列存索引中HashMatch算子的实现
当出现内存不足时，需要按一定规则将一些分区数据落盘，以便内存中分区能够正常进行Build与Probe阶段。目前HashMatch采用从最高分区开始整区落盘，直到能够完成处理前面分区，若出现连一个分区均无法处理时则直接抛出OOM。在DoBuild不断...
数据变更最佳实践
通过 TRUNCATE TABLE db_name.table_name 删除指定表（包括所有二级分区）数据。批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响...
名词解释
下表列出了 AnalyticDB PostgreSQL 所涉及到的基本概念：名词 解释 MPP Massively ...数据分布 MPP架构下，表的数据按分区键存储在不同数据分区上，是全并行计算中的一个计算执行和存储单元。常见的分布方式有哈希分布，随机分布，复制分布。
ACID语义
本文为您介绍MaxCompute在作业并发情况下...UPDATE、DELETE、MERGE小文件操作会因为目标非分区表或分区数据变化而产生冲突报错。说明 需要注意的是，在极端情况下，如果多个作业并发且元数据正处于更新阶段，可能因元数据更新而产生冲突报错。
自动化管理分区
示例如下：创建一个与分区表相同表结构的非分区表来做exchange,DDL结束后分区数据会被交换出去，原来的分区会变为空分区。DELIMITER|CREATE EVENT IF NOT EXISTS exchange_partition ON SCHEDULE EVERY 1 DAY STARTS '2022-05-21 02:00:00'...
CREATE TABLE
当使用分区字段对表进行分区时，新增分区、更新分区内数据和读取分区数据均不需要做全表扫描，提高处理效率。col_comment：分区列的注释内容。注释内容为长度不超过1024字节的有效字符串，否则报错。说明 分区值不能包含双字节字符（如中文...
如何使用表分区？
使用表分区功能，方便您定期进行数据删除（通过alter table drop partition命令可删除整个分区的数据）和导入（使用交换分区的方式，即alter table exchange partition命令可以加入新数据分区）。AnalyticDB PostgreSQL版 支持Range ...
插入或覆写数据（INSERT INTO|INSERT OVERWRITE）
使用限制 执行 insert into 和 insert overwrite 操作更新表或静态分区数据的使用限制如下：insert into：不支持向聚簇表中追加数据。insert overwrite：不支持指定插入列，只能使用 insert into。例如 create table t(a string,b string);...
- 产品推荐
- 这些文档可能帮助您