数据规范
物品详情表应符合 数据表分区 规范，仅支持“依赖数据源产出新分区”调度策略，因此必须为分区表。Vector向量表 物品向量表要求有两个数据字段，其中一个字段为 主键，同时也是 分片字段，另一个字段为 向量。表中的记录和物品一一对应，...
入门概述
下文以创建集群，在集群中安装GROMACS软件并运行水分子算例进行高性能计算为例，介绍弹性高性能计算的使用流程，帮助您快速上手使用弹性高性能计算。使用流程如下图所示。创建集群 集群可为E-HPC计算提供计算资源，用于后续提交、调试、...
COALESCE PARTITION
参数 参数 说明 table_name 分区表的名称（可以采用模式限定的方式引用）。num 减少的分区数，需要小于表分区总数。示例 减少 sales_hash_hash 表中的2个分区数：ALTER TABLE sales_hash_hash COALESCE PARTITION 2;减少 sales_key_key 表...
DDL语句
表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式。具体操作，请参见 内置Extractor访问OSS。修改表的注释 是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 ...
DDL语句
表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式。具体操作，请参见 创建OSS外部表。修改表的注释 是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 不支持...
配置MaxCompute输出
例如：配置MaxCompute表分区字段值来源为源端字段A，当A字段值为aa时，实时同步会将数据写入到MaxCompute表对应的aa分区中，当A字段值为bb时，实时同步会将数据写入到MaxCompute表对应的bb分区中。单击工具栏中的 图标。
常见问题
Spark查询Hudi表分区裁剪不生效？使用Spark的alter table语句时，报错xxx is only supported with v2 tables，如何处理？Spark查询Hudi数据重复，如何处理？问题原因：出现Spark查询hudi数据重复，通常是因为Hudi不支持Spark DataSource...
Hive采集字段
基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数 视图个数 函数个数 Top对象信息 通过对Hive DB进行元数据统计获取Top对象信息，采集的字段重点...
TRUNCATE TABLE
TRUNCATE TABLE 用于清空表数据或者表分区数据。语法 清空表数据。TRUNCATE TABLE db_name.table_name;清空表中的指定分区。TRUNCATE TABLE db_name.table_name PARTITION partition_name[,.];分区名的数据类型为bigint，您可以通过以下SQL...
REMOVE PARTITIONING
本文档介绍了删除分区表的分区结构，并转化成单表，且不丢失数据的方法。语法 ALTER TABLE.REMOVE PARTITIONING 命令用于删除分区和子分区表的分区结构，并转化成单表，且不丢失数据：ALTER TABLE table_name REMOVE PARTITIONING 示例 ...
附加/分离分区
例如：假设分区表A引用了分区B作为外键，若从分区表B中分离一个分区B_p1，则会对分区表A加上共享锁。上述语法中还可以指定 CONCURRENTLY 或 FINALIZE：如果指定 CONCURRENTLY，则会在低级别锁定上运行，以避免阻塞可能正在访问分区表的其他...
数据建模
数据完整率 表分区所选字段值全部非空的count数与表分区总记录数的比率与一个固定值进行比较，符合规则则通过。比较方式包括：>、、>=、、=和!数据唯一性 表分区所选字段值去重后的count数与表分区总记录数的比率与一个固定值进行比较，...
附加/分离分区
例如：假设分区表A引用了分区B作为外键，若从分区表B中分离一个分区B_p1，则会对分区表A加上共享锁。上述语法中还可以指定 CONCURRENTLY 或 FINALIZE：如果指定 CONCURRENTLY，则会在低级别锁定上运行，以避免阻塞可能正在访问分区表的其他...
附加/分离分区
例如：假设分区表A引用了分区B作为外键，若从分区表B中分离一个分区B_p1，则会对分区表A加上共享锁。上述语法中还可以指定 CONCURRENTLY 或 FINALIZE：如果指定 CONCURRENTLY，则会在低级别锁定上运行，以避免阻塞可能正在访问分区表的其他...
服务等级协议
请参见 弹性高性能计算服务等级协议。
PARTITION_EXISTS
按照表分区列的顺序依次写出分区值，分区值数目必须与分区列数目一致。返回值说明 返回BOOLEAN类型。如果指定的分区存在返回True，否则返回False。使用示例-创建分区表foo。create table foo(id bigint)partitioned by(ds string,hr string...
服务条款
请参见 弹性高性能计算（E-HPC）服务协议。
自定义分区
不支持 table_partition_description 子句定义分区表的物理和存储特征，忽略该 option。自定义 list 分区 自定义 list 分区 list_partition_desc 的语法如下：PARTITION[partition]list_values_clause table_partition_description[(range_...
两表关联分析
左表分区字段：选择相应的ds字段，分区字段显示有两种形式 yyyymmdd 与 yyyy-mm-dd，可下拉选择显示的样式。左表分析字段：选择需要分析的字段。关联右表：选择相应的待关联的数据表。右表分区字段：选择相应的ds字段，分区字段显示有两种...
创建和管理自定义存储表
物联网平台数据服务提供离线数据存储功能，支持自定义分区表、事务表和时序表。自定义存储表可以作为数据服务中数据解析、SQL分析任务和数据可视化的数据源，可以作为数据解析、SQL分析任务的结果输出表，可以集成时序表数据到实时计算...
分区表命令列表
本文总结了分区表的相关命令以及说明。分类 分区表命令 说明 创建 CREATE TABLE.PARTITION BY 创建一个分区表。CREATE TABLE.PARTITION BY HASH 创建指定分区数的HASH分区表。变更 ALTER TABLE…ADD PARTITION 将分区添加到现有的分区表中...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
数据质量入门
步骤二：创建质量规则 确定校验的表分区后，需为其创建校验该表分区数据的质量规则。您可直接使用数据质量提供的模板规则，也可自定义规则。DataWorks支持自定义规则强弱，控制规则产生的影响，当数据质量校验不符合预期时，用于决定是否...
MSCK REPAIR TABLE
示例 自动同步全表分区。MSCK REPAIR TABLE adb_external_db.partition_table_test;自动同步指定分区。MSCK REPAIR TABLE adb_external_db.partition_table_test SYNC_DIR 'oss:/testBucketName/test_db/partition_table_test/dt=20220619'...
普通表转换为分区表
当单张普通表的数据量超过1亿或者1 TB时，建议使用分区表。本文介绍了使用 ALTER 语法将单张普通表转换为分区表的注意事项以及示例。前提条件 普通表中的主键或唯一键需要包含分区表中的分区键字段。注意事项 普通表转换为分区表的过程中，...
分区裁剪
在扫描分区表前，能通过检查分区约束条件与每个分区的定义，提前排除不需要扫描的分区，大大减少从磁盘中读取的数据量，从而缩短运行时间，改善查询性能，减少资源浪费。云原生数据仓库AnalyticDB PostgreSQL版 支持按列分区。分区表能够将...
Dataphin同步任务同步多层分区表
问题描述 用户需要将二级分区表同步至一级分区表，分区字段填写一个总是报错。解决方案 例如一级分区ds，二级分区city，可以如下图配置：适用于 Dataphin 同步任务
使用限制
产品功能 单个地域下，弹性高性能计算相关功能限制如下所示。限制项 配额值 提升配额方式 集群总数 3 提交工单。一个集群节点总数 500 提交工单。一次最多扩容的节点数 99 无 一个节点系统盘大小 500 GiB 提交工单。单个文件系统可以挂载...
DDL操作常见问题
如何将非分区表修改为分区表？因误操作删除的表可以恢复吗？如何查询某个用户创建的表？如何查看指定的表是否存在？如何获取项目下的所有表名称？如何快速查看项目下哪些表是分区表？如何查看MaxCompute表的最近访问时间？如何查看表的数据...
GetMetaTablePartition
Order String 否 desc 表分区的排序顺序，支持使用asc、desc方式排序。默认使用desc。返回数据 名称 类型 示例值 描述 HttpStatusCode Integer 200 HTTP状态码。ErrorMessage String The connection does not exist.错误信息。RequestId ...
产品优势
相较于其他HPC集群，阿里云弹性高性能计算E-HPC产品具有灵活部署、弹性资源、数据安全、高可用性、结果可视等特点。弹性高性能计算E-HPC的优势 灵活部署 您可以在E-HPC控制台快速创建高性能计算集群。一键部署需要的高性能计算环境和应用...
ACID语义
数据对象：指持有实际数据的对象，例如非分区表、分区。INTO类作业：指INSERT INTO、DYNAMIC INSERT INTO等包含关键字INTO的SQL作业。OVERWRITE类作业：指INSERT OVERWRITE、DYNAMIC INSERT OVERWRITE等包含关键字OVERWRITE的SQL作业。...
分区剪裁合理性评估
背景信息 MaxCompute分区表是指在创建表时指定分区空间，即指定表内的几个字段作为分区列。使用数据时，如果指定了需要访问的分区名称，则只会读取相应的分区，避免全表扫描，提高处理效率，降低费用。分区剪裁是指对分区列指定过滤条件，...
REORGANIZE PARTITION
示例 拆分 sales_range_range 表分区 p_2021 为 p_2021_1、p_2021_2，及其对应的所有子分区：ALTER TABLE sales_range_range REORGANIZE PARTITION p_2021 INTO(PARTITION p_2021_1 VALUES LESS THAN(2021)(SUBPARTITION q1_2021_1 VALUES ...
USER_PART_TABLES
USER_PART_TABLES 视图提供当前用户拥有的数据库中的所有分区表的信息。名称 类型 说明 schema_name TEXT 表所在 schema 的名称。table_name TEXT 表的名称。partitioning_type TEXT 用于定义表分区的分区类型。subpartitioning_type TEXT ...
CREATE PARTITION TABLE
CREATE PARTITION TABLE语句用于创建分区表。本文为您介绍CREATE PARTITION TABLE的用法。命令说明 Partition Table，也叫分区表。父表按分区键（Partition Key）的值划分为不同的子表，子表对外可见。下文无特殊说明的父表和子表皆指分区...
变更表类型及分区策略（AUTO模式）
本文介绍了变更表类型（即在单表、广播表和分区表三者间进行相互转换）及分区策略（包括拆分函数或分区列）的相关语法和示例。本语法仅适用于AUTO模式数据库。前提条件 仅适用于分区模式为auto/partitioning的逻辑库（请参见 CREATE ...
ALL_PART_TABLES
ALL_PART_TABLES 视图提供位于数据库中的所有分区表的信息。名称 类型 说明 owner TEXT 分区表的所有者。schema_name TEXT 表所在 schema 的名称。table_name TEXT 表的名称。partitioning_type TEXT 用于定义表分区的分区类型。...
弹性高性能计算系统权限策略参考
本文描述弹性高性能计算支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）...
- 产品推荐
- 这些文档可能帮助您