AUTO模式数据库与DRDS模式数据库
自动分区与手动分区 自动分区 自动分区，指创建表时不指定任何分区定义（如分区键、分区策略等），PolarDB-X 能够自动选择分区键并对表及其索引进行水平分区的功能。AUTO模式数据库支持自动分区，而DRDS模式数据库不支持。示例如下：使用...
数据消费框架原理
背景信息 Tunnel Client可以解决全量和增量数据处理时的常见问题，例如负载均衡、故障恢复、Checkpoint、分区信息同步确保分区信息消费顺序等。使用Tunnel Client后，您只需要关心每条记录的处理逻辑。Tunnel Client的代码详情请参见 ...
历史版本常见问题
RDS主备切换后PolarDB-X1.0会报错一段时间 现象描述 PolarDB-X 1.0 与RDS的连接使用了连接池，连接池中保存了一部分连接。正常的RDS主备切换流程中，会对老的连接进行KILL操作，但 PolarDB-X 1.0 作为客户端无法感知到这些连接被KILL，在该...
开发部署扩展程序：函数计算方式
在DataWorks扩展程序中，您可以自定义逻辑以监管用户的操作行为，例如拦截和阻断不当行为，通过扩展程序对特定事件进行消息通知与流程管控。本文为您介绍如何通过函数计算方式开发部署扩展程序。权限说明 开放平台管理员 和 租户管理员 ...
使用ODPS Foreign Table访问MaxCompute数据
末级分区外表 相对于非分区外表，末级分区外表，映射的是MaxCompute的末级分区表，需要设置正确的 partition 属性，多级分区时，末级分区外表只支持末级分区表，即 partition 属性需要包含多级分区完整路径。举例说明：在MaxCompute上创建...
增加分区
场景2：目标分区是含有二级分区的一级分区 示例1：增加一个一级分区，但同时指定二级分区定义 说明 该种用法仅适用于非模板化的二级分区。假设r_k_ntp_t1与r_k_ntp_t2都采用Range+Key的非模板化二级分区，建表SQL如下所示：CREATE TABLE `r...
Hive采集字段
该文档描述了云迁移中心CMH的Hive采集工具采集您的Hive的所有核心信息。简介 Hive采集工具通过访问Metastore DB 进行相关资源信息采集，当前支持的类型为MySQL数据库。...存储大小top10表名 分区个数top10表名 分区大小top10表名与分区名
路由到对象存储OSS
脏数据处理问题：如果在任务的自定义分区或文件内容中配置了JsonPath，但数据未命中JsonPath规则，Connector会将这类数据按攒批策略投递到Bucket下的invalidRuleData/路径。如发现Bucket下有此目录，请检查JsonPath规则的正确性，且避免...
HASH
把数据按照哈希规则打散到不同的分区上，支持表达式来对分区列的值进行处理。CREATE TABLE.PARTITION BY[LINEAR]HASH(expr)[PARTITIONS number](PARTITION partition_name1,PARTITION partition_name2,.);参数 参数名称 参数说明 expr 分区...
创建OSS Sink Connector（新版）
脏数据处理问题：如果在任务的自定义分区或文件内容中配置了JsonPath，但数据未命中JsonPath规则，Connector会将这类数据按攒批策略投递到Bucket下的invalidRuleData/路径。如发现Bucket下有此目录，请检查JsonPath规则的正确性，且避免...
开发者指南
源码构建 框架设计 扩展点加载 实现细节 SPI扩展实现 协议扩展 调用拦截扩展 引用监听扩展 暴露监听扩展 集群扩展 路由扩展 负载均衡扩展 合并结果扩展 注册中心扩展 监控中心扩展 扩展点加载扩展 动态代理扩展 编译器扩展 消息派发扩展 ...
EMR Kafka磁盘写满运维
此时，该磁盘上的分区副本不可读写，降低了分区的可用性与容错能力，同时由于leader迁移到其他Broker，增加了其他Broker的负载。因此，当磁盘出现写满情况时，应及时处理。磁盘写满运维概述 本文从磁盘写满监控和磁盘写满恢复角度来介绍...
分布式线性扩展
本文详细介绍了分布式线性扩展的特性。数据物理分布 PolarDB-X 将数据表以水平分区的方式，分布在多个存储节点...但有了表组的概念之后，由于user表和orders表位于同一表组中，它们的分区迁移、分裂与合并都会同步进行，解决了上述的问题。
表分区
指定的分区键可以与父亲的分区键重叠，不过在指定子分区的边界时要注意它接受的数据集合是分区自身边界允许的数据集合的一个子集，系统不会尝试检查事情情况是否如此。3.在分区表的键列上创建一个索引，还有其他需要的索引（键索引并不是...
图运维
注意：分区名要与第四步填写的保持一致 每次导出，需要在max compute的对应table添加一个新分区，否则可能存在数据重复写入的问题 max compute里的table及分区创建完毕后，进行授权操作，然后在graph compute里的数据导出页面检查填写信息...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
测试模型
表结构 主键名 类型 编码方式 长度 userid string 4-Byte-Hash+Long.toHexString 20 属性列 属性列名 类型 长度 field0 string 100 field1 string 100 field2 string 100 field3 string 100 field4 string 100 分区数量 表格存储的自动负载...
多元索引最佳实践
在订单场景中，当用户拼接“UserId+商品ID”作为分区键且商品ID是自增的时，如果某个UserId的写TPS过高，则会发生写尾部分区问题，即写入的均为Tablestore数据表的最后一个分区，这样写入数据会影响多元索引的同步延时和查询性能。...
维度和事实逻辑表物化配置
物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化表的个数及字段在物化表中的分布，有效的提升了自动化生成模型的数据查询效率和资源使用效率。本文为您介绍如何配置维度和事实逻辑表的物化参数。...
SQL错误码（ODPS-01CCCCX）
处理方法：更多隐式类型转换信息，请参见 隐式类型转换及其作用域。ODPS-0121045:Unsupported return type 模块：PROCESSOR。严重等级：5。触发条件：不支持的返回值。处理方法：修改为支持的返回值。ODPS-0121055:Empty argument value ...
离线扩容分区和文件系统（Linux数据盘）
具体问题与解决方案请参见 使用fdisk扩容新分区起始位置无法与扩容前保持一致。输入 w：保存修改并退出。以下为扩容分区的命令行交互示例。本示例中，将/dev/vdb1 由20GiB扩容到40GiB。[testuser@ecshost~]#sudo fdisk-u/dev/vdb Welcome ...
维度和事实逻辑表物化配置
物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化表的个数及字段在物化表中的分布，有效的提升了自动化生成模型的数据查询效率和资源使用效率。本文为您介绍如何配置维度和事实逻辑表的物化参数。...
隔离功能扩展
高级扩展能力实例 SOFABoot 的扩展能力包括：支持 XMap 原生描述能力，包括：List Map 扩展了 Spring 集成能力，包括：通过 XNode 扩展出了 XNodeSpring 通过 XNodeList 扩展出了 XNodeListSpring 通过 XNodeMap 扩展出了 XNodeMapSpring ...
手动创建分区表（AUTO模式）
PolarDB-X还针对比较常见的特定的应用场景新扩展了一种新的名为CoHash的哈希分区策略，该策略可有效解决一个表需要同时按多个不同的相互有协同关系的分区列进行水平分区的问题。更多详细内容请参见 分区类型介绍。二级分区 PolarDB-X 的二...
应用场景
与传统架构不同，云消息队列 Kafka 版 以及Storm、Samza、Spark等数据处理引擎的出现，就是为了更好地解决这类数据在处理过程中遇到的问题，数据处理模型能实现在数据流动的过程中对数据进行实时地捕捉和处理，并根据业务需求进行计算分析...
售前常见问题
默认2个，可扩展 默认5个，可扩展 VPC流量处理能力（可防护的VPC间的总流量峰值）默认200 Mbps，可扩展 默认1,000 Mbps，可扩展 可防护的NAT防火墙数 默认0个，可扩展 默认1个，可扩展 默认2个，可扩展 NAT私网流量处理能力 默认0 Mbps，可...
使用限制
例如，您购买了分区数为50、流量规格为alikafka.hw.2xlarge、规格内赠送分区数为1000的实例，那么该实例总分区数=购买分区数+规格内赠送分区数=50+1000=1050，可用Topic数量为1050。云消息队列 Kafka 版 Serverless实例不受此项限制。分区...
附加/分离分区
PolarDB PostgreSQL版（兼容Oracle）附加/分离分区的语法完全兼容PostgreSQL。本文详细介绍了其语法及示例。概述 附加（Attach）分区：将一个普通表附加到分区表中，成为分区表的一个分区。分离（Detach）分区：将一个分区表的分区分离出来...
附加/分离分区
与分区约束重复的CHECK约束将添加到分区中。说明 CONCURRENTLY不能在事务块中运行，并且如果分区表包含默认分区，则不允许使用CONCURRENTLY。如果指定了 FINALIZE，则等待先前取消或中断的 DETACH CONCURRENTLY 调用将完成。示例 附加分区 ...
附加/分离分区
PolarDB PostgreSQL版（兼容Oracle）附加/分离分区的语法完全兼容PostgreSQL。本文详细介绍了其语法及示例。概述 附加（Attach）分区：将一个普通表附加到分区表中，成为分区表的一个分区。分离（Detach）分区：将一个分区表的分区分离出来...
Linux实例中数据恢复
在处理磁盘相关问题时，您可能会碰到操作系统中数据盘分区丢失的情况。本文介绍了Linux系统下常见的数据盘分区丢失的问题以及对应的处理方法，同时提供了使用云盘的常见误区以及最佳实践，避免可能的数据丢失风险。前提条件 在修复数据前，...
OSS性能与扩展性最佳实践
如果您在上传大量文件（Object）时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间（Bucket）中的某个特定分区的情况。此时如果您的请求次数过多，会导致请求速率下降。出现此类问题时，建议您...
Windows实例中数据恢复
在处理磁盘相关问题时，您可能会碰到操作系统中数据盘分区丢失的情况。本文介绍了Windows系统下常见的数据盘分区丢失的问题以及对应的处理方法，同时提供了使用云盘的常见误区以及最佳实践，避免可能的数据丢失风险。前提条件 已注册阿里云...
ePQ支持分区表查询
多级分区表并行查询 在多级分区表中，每级分区表的分区维度（分区键）可以不同：例如，一级分区表按照时间维度分区，二级分区表按照地域维度分区。当查询SQL的过滤条件中包含每一级分区表中的分区键时，ePQ优化器支持对多级分区表进行静态...
ePQ支持分区表查询
多级分区表并行查询 在多级分区表中，每级分区表的分区维度（分区键）可以不同：例如，一级分区表按照时间维度分区，二级分区表按照地域维度分区。当查询SQL的过滤条件中包含每一级分区表中的分区键时，ePQ优化器支持对多级分区表进行静态...
创建和使用CCI
语法 PolarDB-X 对MySQL DDL语法进行了扩展，增加定义CCI的语法，使用方式与在MySQL上创建索引一致。CLUSTERED COLUMNAR：关键字，用于指定添加的索引类型为CCI。索引名：索引表的名称，用于在SQL语句中指定该索引。排序键：索引的排序键，...
分区表简介
本文详细介绍了 PolarDB PostgreSQL版 分区表功能的优势和特性。概述 在 PolarDB PostgreSQL版...语法 关于各分区类型的分区表的相关命令及说明，例如创建分区表、添加分区至分区表、合并分区、拆分分区、删除分区等，请参见 分区表命令列表。
分区表简介
本文详细介绍了 PolarDB PostgreSQL版（兼容Oracle）分区表功能的优势和特性。...语法 关于各分区类型的分区表的相关命令及说明，例如创建分区表、添加分区至分区表、合并分区、拆分分区、删除分区等，请参见 分区表命令列表。
分区表简介
本文详细介绍了 PolarDB PostgreSQL版（兼容Oracle）分区表功能的优势和特性。...语法 关于各分区类型的分区表的相关命令及说明，例如创建分区表、添加分区至分区表、合并分区、拆分分区、删除分区等，请参见 分区表命令列表。
Tunnel常见错误码
检查分区字段信息，确保满足如下要求：参数中的分区列顺序要与建表语句中分区列顺序保持一致。当分区列值中有引号(pt='a'或pt="a")时，旧版本SDK没有做过引号处理，需要使用新版本的Tunnel SDK。多级分区中间有空格时，例如 pt1=a,pt2=a，...
- 产品推荐
- 这些文档可能帮助您