分区投影
本文档主要介绍了分区投影功能的背景信息、使用场景和限制，以及如何使用分区投影功能。背景信息 当您把数据存储在OSS或HDFS上，并建立大量的分区管理这些数据。DLA Presto在分析这些数据时，会花费大量的时间从元数据系统中获取分区，从而...
Control Center设置告警
您可以通过配置电子邮件来及时获取集群故障信息。每个触发器都基于一个带有条件值标准的指标，该条件确定触发器应何时触发。当触发器触发时，它会执行所有未超出其关联的已启用操作。详情请参见 Confluent官方文档。建议设置的告警指标 ...
原理
本文概述了分区表模块的主要实现原理，便于用户了解分区表在底层实现时的一些细节，从而能够更好地学习如何去使用分区表。分区表创建原理 分区表的创建主要涉及语法解析模块和执行模块。语法解析模块 分区表创建是分区表整个功能的核心部分...
EMR Kafka磁盘写满运维
操作步骤 当磁盘写满时，由于log directory已经offline了，所以不能用 kafka-reassign-partitions.sh 工具进行分区迁移。本文通过非标方式直接移动文件、修改Kafka相关元数据的方式来迁移分区。创建测试Topic。以SSH方式登录到源Kafka集群...
表的创建和使用
在HybridDB for MySQL中可以通过如下语法来创建表。创建表 CREATE TABLE db_name.table_name(auto_id bigint[NOT NULL]AUTO_INCREMENT,col1 boolean[NULL|NOT NULL][DEFAULT default_value],col2 tinyint[NULL|NOT NULL][DEFAULT default_...
列存索引中HashMatch算子的实现
PolarDB IMCI执行器默认用行号表示执行的中间结果，当大查询所需数据量无法完全存放于内存时则可能会引发大量随机且重复IO，从而影响执行效率。为了解决上述问题，IMCI执行器实现了基于中间结果物化的算子集合，本文介绍了HashJoin算子的...
投递日志到MaxCompute（旧版）
MaxCompute分区列取值不支持配置为空，所以映射到分区列的字段必须为保留字段或日志字段，且可以通过cast运算符将string类型字段值转换为对应分区列类型，空分区列的日志会在投递中被丢弃。日志服务中一个日志字段只能映射到一个MaxCompute...
创建MaxCompute投递任务（新版）
MaxCompute分区列必须要配置确定的字段（系统保留字段或日志内容的字段），旧版投递需要满足通过cast运算符将string类型字段值转换为对应分区列类型（若转换失败导致的空分区列，日志会在投递中被丢弃）。日志服务中一个日志字段只能映射到...
OPT_PARAM Hints
enable_partitionwise_join 允许或禁止查询规划器使用面向分区的连接，这使得分区表之间的连接以连接匹配分区的方式来执行。面向分区的连接当前只适用于连接条件包括所有分区键的情况，连接条件必须是相同的数据类型并且子分区集合需要1对1...
OPT_PARAM Hints
enable_partitionwise_join 允许或禁止查询规划器使用面向分区的连接，这使得分区表之间的连接以连接匹配分区的方式来执行。面向分区的连接当前只适用于连接条件包括所有分区键的情况，连接条件必须是相同的数据类型并且子分区集合需要1对1...
ListPartitionNames-获取元数据表分区名称列表
获取数据湖元数据表分区名称列表，通常用于多级分区。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM...
表操作篇
设计良好的主键 表格存储会根据表的分区键将表的数据自动切分成多个分区，每个分区调度到一台服务节点上。分区键的值是最小的分区单位，相同的分区键值下的数据无法再做切分。为了防止某一个分区键值的数据成为访问热点造成单机服务能力...
版本发布说明
修复CoHash的Right分区函数计算结果不正确导致的分区路由问题，发布日期：2023-12-27 大版本：V5.4.18 小版本：17034692 类别 说明 新增&优化 新增支持AUTO模式数据库的co_hash分区策略。优化使用AB表方案进行事务日志清理的流程，避免一次...
DeletePartition-删除元数据表分区
删除数据湖元数据表的指定分区。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
ModifyPartitionNum-修改Topic的分区数
修改Topic的分区数。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用...
RenamePartition-更新元数据表分区名
更新数据湖元数据表的分区名称。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
CREATE PUBLICATION
publish_via_partition_root（boolean）此参数确定是否会使用分区表的标识和模式而不是实际更改的单个分区的标识和模式来发布中包含的分区表（或其分区）中的更改。单个分区的标识和模式是默认设置。启用此功能可以将更改复制到非分区表或...
SQL调优
并行度优化 并行度是衡量并行计算并行程度的一个指标，从执行计划上来看，例如ID为M1的任务，使用1000个Instance来执行，我们就说M1的并行度是 1000。需要注意的是：调整并行度不一定是越多越好，Instance数量过多会从如下两个方面影响执行...
解决Linux实例磁盘空间满问题
二、磁盘分区Inode使用率达到100%磁盘分区Inode使用率达到100%会造成您的应用无法继续新建目录或者文件，此时通常您系统内对应的磁盘空间还未用满，Inode用满也是平时容易被忽略的点。您可以通过清除Inode占用高的文件或者目录、或者增加...
BatchDeletePartitions-批量删除元数据表分区
批量删除数据湖元数据表的指定分区。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
Linux实例磁盘空间满和Inode满的问题排查方法
二、磁盘分区Inode使用率达到100%磁盘分区Inode使用率达到100%会造成您的应用无法继续新建目录或者文件，此时通常您系统内对应的磁盘空间还未用满，Inode用满也是平时容易被忽略的点。您可以通过清除Inode占用高的文件或者目录、或者增加...
BatchUpdatePartitions-批量更新元数据表的分区
为数据湖的元数据表，批量更新多个分区。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
UpgradePrePayOrder-升配预付费实例
调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取...
CDM汇总层设计规范
命名规范 命名规则：{project_name}.dws{业务缩写/pub}{数据域缩写}{数据粒度缩写}[{自定义表命名标签缩写}]{统计时间周期范围缩写}{刷新周期标识}{单分区增量全量标识}。命名说明：在默认情况下，离线计算应该包括最近一天（1d）、最近N天...
ListPartitions-获取元数据库分区列表
获取数据湖元数据库分区详情列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
BatchCreatePartitions-批量新增元数据表的分区
为数据湖的元数据表，批量新增多个分区。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
块存储FAQ
如果您直接测试裸盘分区，会破坏裸盘分区中的文件系统元数据，导致无法访问该裸盘分区中的文件，甚至导致实例宕机。使用FIO的文件系统测试性能方式时，不存在上述问题。如何根据应用需求选择可用区？按量付费的云盘只能挂载到同一可用区的...
BatchGetPartitions-批量获取元数据库分区
批量获取数据湖元数据库分区详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
DescribeTableDetail-查询表详情
分区偏离度。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给...
CreatePartition-新增元数据表的分区
为数据湖的元数据表，新增一个分区。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
通过外表导入至数仓版
说明 TABLE_PROPERTIES 中的 partition_column 属性必须声明分区列（本例中的p1、p2、p3）且 partition_column 属性里必须严格按照第1级、第2级、第3级的顺序声明（本例中p1为第1级分区，p2为第2级分区，p3为第3级分区）。列定义中必须定义...
UpgradePostPayOrder-升配后付费实例
调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取...
CreatePrePayOrder-创建预付费实例
调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取...
GetPartition-获取元数据库分区
获取数据湖元数据库分区详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
读数据表
分区 如果输入表为分区表，您可以选中 分区 复选框，并配置 参数，按分区来查询数据。说明 如果该组件下游接入SQL脚本组件，则该分区过滤条件不生效，您需要在 SQL脚本 组件中配置过滤条件。参数 分区参数，通过该参数来过滤分区表数据。...
GetPartitionsHeatmap-获取分区热度信息
调用GetPartitionsHeatmap接口，查看PolarDB-X 2.0分区访问热度和数据热点。接口说明 该接口不建议用户自行调用，因为返回的数据格式比较特殊，自行解析会非常复杂，建议使用阿里云 DAS 的 分区热力图 功能查看该数据。调试 您可以在Open...
CreatePostPayOrder-创建后付费实例
调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取...
CREATE TABLEGROUP（AUTO模式）
例如要对表组的一个表的某个分区进行分裂，那么需要通过分裂整个表组某个分区来实现这个目的。语法 create_tablegroup_stmt:CREATE tablegroup[IF NOT EXISTS]tablegroup_name 示例 创建一个名为test_tg的表组。create tablegroup test_tg;...
DescribeSourceServers-查询一个或多个迁移源信息
调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取...
何时使用Range-List分区
Range-List分区是指一级分区是Range分区，二级分区是List分区的组合分区类型。Range-List分区通常用于存储历史数据的大表，并且在多个维度上访问。数据的历史视图通常是一个访问路径，但是某些业务用例向访问路径添加了另一种分类。例如，...
- 产品推荐
- 这些文档可能帮助您