2021年
可视化管理资源 2021年10月更新记录 时间 特性 类别 描述 产品文档 2021-10-26 支持清空分区表的分区数据。新说明 MaxCompute支持通过条件筛选方式清空分区数据。如果您希望一次性删除符合某个规则条件的一个或多个分区，可以使用表达式...
Dataphin管道任务表分区如何配置当天时间
问题描述 Dataphin管道任务表分区配置当天时间的方法。解决方案 需要在调度配置页面配置“参数配置”，并且表分区中使用配置的变量，在运维环境中执行。适用于 Dataphin 版本v3.6.2 运维环境
Dataphin资产中表分区存在记录数，但是表分区记录数...
问题描述 Dataphin资产中表分区存在记录数，但是表分区记录数显示为空。问题原因 该分区记录数是T+1更新数据，这里的T指的是分区的创建时间。解决方案 无需解决，待T+1后看下分区记录数即可。适用于 Dataphin 公共云
IMPORT PARTITION
本文档介绍了导入表分区TABLESPACE（ibd文件）的方法。语法 ALTER TABLE…IMPORT PARTITION 命令用于导入表分区的TABLESPACE（ibd文件）。ALTER TABLE table_name IMPORT PARTITION partition_name[,partition_name].TABLESPACE;说明 在...
管理分区
表分区是指根据一定规则，将数据库中的一张表分解成多个更小的、容易管理的部分。从逻辑上看，只有一张表，但是底层却是由多个物理分区组成。DDM目前支持对MySQL、Oracle、DB2和GaussDB等数据库进行表分区操作。在逆向数据库时，支持抽取...
如何使用表分区？
本文介绍 AnalyticDB PostgreSQL版 如何使用表分区。对于数据库中的事实表以及一些比较大的表，建议您使用表分区。使用表分区功能，方便您定期进行数据删除（通过alter table drop partition命令可删除整个分区的数据）和导入（使用交换...
分区表索引
分区表通常有巨大的数据量。为了加快查询速度，通常会使用索引功能。本文介绍了分区表的索引功能。分区表索引类型 PolarDB PostgreSQL版（兼容Oracle）支持分区上的两种索引类型：本地索引 在分区表本地索引（Local Index）中，本地索引与...
分区表索引
分区表通常有巨大的数据量。为了加快查询速度，通常会使用索引功能。本文介绍了分区表的索引功能。分区表索引类型 PolarDB PostgreSQL版 支持分区上的两种索引类型：本地索引 在分区表本地索引（Local Index）中，本地索引与分区表的分区...
生命周期
MaxCompute表的生命周期（Lifecycle），指表（分区）数据从最后一次更新的时间算起，在经过指定的时间后没有变动，则此表（分区）将被MaxCompute自动回收。这个指定的时间就是生命周期。通过设置生命周期可以实现自动数据清理或数据保留，...
概述
PolarDB-X 2.0的AUTO模式数据库分区表支持使用一级分区与二级分区，并且一级分区的分区策略与二级分区的分区策略具备完全正交的能力，相互组合没有限制，详情请参考 手动创建分区表（AUTO模式）。为此，PolarDB-X 2.0的AUTO模式数据库分区...
RDS MySQL表分区的限制
RDS MySQL对表分区有以下限制：只能对数据表的整型列进行分区，或者数据列可以通过分区函数转化成整型列。最大分区数目不能超过1024。如果含有唯一索引或者主键，则分区列必须包含在所有的唯一索引或者主键内。不支持外键。不支持全文索引...
RDS MySQL表分区的限制
RDS MySQL对表分区有以下限制：只能对数据表的整型列进行分区，或者数据列可以通过分区函数转化成整型列。最大分区数目不能超过1024。如果含有唯一索引或者主键，则分区列必须包含在所有的唯一索引或者主键内。不支持外键。不支持全文索引...
数据湖构建的审计事件
BatchDeletePartitions 批量删除元数据表分区。BatchDeleteTables 批量删除元数据表。BatchDeleteTableVersions 批量删除元数据表版本。BatchGetPartitionColumnStatistics 批量获取元数据分区统计信息。BatchGetPartitions 批量获取元数据...
日志投递MaxCompute后，如何检查数据完整性
在日志服务数据投递MaxCompute场景下，需要在MaxCompute表分区维度上检查数据完整性，即MaxCompute表中某个分区中数据是否已经完整。使用保留字段_partition_time_作为表分区列，如何判断分区数据是否已完整_partition_time_由日志的time...
ODPS-0121096
错误码：ODPS-0121096:MetaStore transaction conflict 错误1：Reached maximum retry times because of ...解决方案 您需要检查是否存在同时多次对表或表分区执行读写操作的情况，建议不要同时对一张表或表分区执行多次读写操作。
Lock Table和Unlock Table
锁定表分区 lock table some_partitioned_table partition(ds='20211130')exclusive;查询锁定的表 命令格式 show locks;参数说明 table_name：必填。锁定的表名称。使用示例 show locks some_table;解锁表 限制条件 仅支持解锁物理表。具有...
Quick Audience数据导入中调度任务执行...提示表分区无数据
问题描述 Quick Audience数据导入中调度任务执行失败，报错提示表分区无数据是什么原因？问题原因 调度任务查询的分区日期是当天，而Dataphin中的业务数据日期是前一天。解决方案 数据导入的任务调度的分区日期与业务数据分区日期保持一致...
数据规范
物品详情表应符合 数据表分区 规范，仅支持“依赖数据源产出新分区”调度策略，因此必须为分区表。Vector向量表 物品向量表要求有两个数据字段，其中一个字段为 主键，同时也是 分片字段，另一个字段为 向量。表中的记录和物品一一对应，...
COALESCE PARTITION
参数 参数 说明 table_name 分区表的名称（可以采用模式限定的方式引用）。num 减少的分区数，需要小于表分区总数。示例 减少 sales_hash_hash 表中的2个分区数：ALTER TABLE sales_hash_hash COALESCE PARTITION 2;减少 sales_key_key 表...
DDL语句
表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式。具体操作，请参见 内置Extractor访问OSS。修改表的注释 是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 ...
DDL语句
表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式。具体操作，请参见 创建OSS外部表。修改表的注释 是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 不支持...
配置MaxCompute输出
例如：配置MaxCompute表分区字段值来源为源端字段A，当A字段值为aa时，实时同步会将数据写入到MaxCompute表对应的aa分区中，当A字段值为bb时，实时同步会将数据写入到MaxCompute表对应的bb分区中。单击工具栏中的 图标。
常见问题
Spark查询Hudi表分区裁剪不生效？使用Spark的alter table语句时，报错xxx is only supported with v2 tables，如何处理？Spark查询Hudi数据重复，如何处理？问题原因：出现Spark查询hudi数据重复，通常是因为Hudi不支持Spark DataSource...
Hive采集字段
基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数 视图个数 函数个数 Top对象信息 通过对Hive DB进行元数据统计获取Top对象信息，采集的字段重点...
TRUNCATE TABLE
TRUNCATE TABLE 用于清空表数据或者表分区数据。语法 清空表数据。TRUNCATE TABLE db_name.table_name;清空表中的指定分区。TRUNCATE TABLE db_name.table_name PARTITION partition_name[,.];分区名的数据类型为bigint，您可以通过以下SQL...
REMOVE PARTITIONING
本文档介绍了删除分区表的分区结构，并转化成单表，且不丢失数据的方法。语法 ALTER TABLE.REMOVE PARTITIONING 命令用于删除分区和子分区表的分区结构，并转化成单表，且不丢失数据：ALTER TABLE table_name REMOVE PARTITIONING 示例 ...
分区表常见问题
本文汇总了 PolarDB MySQL版 分区表相关的常见问题。说明 如需了解更多关于分区表的内容，请搜索钉钉群号加群进行咨询。钉钉群号：24490017825。PolarDB MySQL版 是否支持表分区?支持。目前 PolarDB MySQL版 100%兼容MySQL，同时做了功能和...
数据建模
数据完整率 表分区所选字段值全部非空的count数与表分区总记录数的比率与一个固定值进行比较，符合规则则通过。比较方式包括：>、、>=、、=和!数据唯一性 表分区所选字段值去重后的count数与表分区总记录数的比率与一个固定值进行比较，...
分区
分区表是指拥有分区空间的表，即将表数据按照某个列或多个列进行划分，从而将表中的数据分散存储在不同的物理位置上。合理设计和使用分区，可以提高查询性能、简化数据管理，并支持更灵活的数据访问和操作。概述 分区可以理解为分类，通过...
分区表管理（auto_partition）
AnalyticDB PostgreSQL版 支持将大表定义为分区表，并支持通过auto_partition插件对分区表进行自动删除或新增，当您进行条件查询时，系统只会扫描满足条件的分区，避免全表扫描，从而提升查询性能。新增分区的粒度包括小时，天，星期，月，...
PARTITION_EXISTS
按照表分区列的顺序依次写出分区值，分区值数目必须与分区列数目一致。返回值说明 返回BOOLEAN类型。如果指定的分区存在返回True，否则返回False。使用示例-创建分区表foo。create table foo(id bigint)partitioned by(ds string,hr string...
自定义分区
不支持 table_partition_description 子句定义分区表的物理和存储特征，忽略该 option。自定义 list 分区 自定义 list 分区 list_partition_desc 的语法如下：PARTITION[partition]list_values_clause table_partition_description[(range_...
表设计规范
依据数据量、数据集成特点定义分区表或非分区表。定义字段或分区字段。创建表和转换表。明确导入数据场景的相关因素（包括批量数据写入、流式数据写入、周期性条式数据插入）。定义表和分区的生命周期。说明 创建完表后，您可以根据业务...
高度兼容性
PolarDB PostgreSQL版（兼容Oracle）兼容了丰富的表分区功能包括常用的RANGE分区、INTERVAL分区、分区SPLIT和MERGE、分区模版等，基于表分区的全局索引可以极大的提升用户的查询性能。存储过程开发语言 存储过程开发语言是业务应用常用的一...
两表关联分析
左表分区字段：选择相应的ds字段，分区字段显示有两种形式 yyyymmdd 与 yyyy-mm-dd，可下拉选择显示的样式。左表分析字段：选择需要分析的字段。关联右表：选择相应的待关联的数据表。右表分区字段：选择相应的ds字段，分区字段显示有两种...
分区表命令列表
本文总结了分区表的相关命令以及说明。分类 分区表命令 说明 创建 CREATE TABLE.PARTITION BY 创建一个分区表。CREATE TABLE.PARTITION BY HASH 创建指定分区数的HASH分区表。变更 ALTER TABLE…ADD PARTITION 将分区添加到现有的分区表中...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
MSCK REPAIR TABLE
示例 自动同步全表分区。MSCK REPAIR TABLE adb_external_db.partition_table_test;自动同步指定分区。MSCK REPAIR TABLE adb_external_db.partition_table_test SYNC_DIR 'oss:/testBucketName/test_db/partition_table_test/dt=20220619'...
数据质量入门
步骤二：创建质量规则 确定校验的表分区后，需为其创建校验该表分区数据的质量规则。您可直接使用数据质量提供的模板规则，也可自定义规则。DataWorks支持自定义规则强弱，控制规则产生的影响，当数据质量校验不符合预期时，用于决定是否...
普通表转换为分区表
当单张普通表的数据量超过1亿或者1 TB时，建议使用分区表。本文介绍了使用 ALTER 语法将单张普通表转换为分区表的注意事项以及示例。前提条件 普通表中的主键或唯一键需要包含分区表中的分区键字段。注意事项 普通表转换为分区表的过程中，...
- 产品推荐
- 这些文档可能帮助您