Dataphin中代码任务运行报错“Logical table ...
问题描述 Dataphin中代码任务运行报错“Logical table translate failed：Failed to validate Table XXX Partition XXX Consistent of Column:[XXX]”完整的报错信息如下：...解决方案 给代码中逻辑表指定分区之后，问题解决。适用于 Dataphin
DML操作常见问题
如无逻辑或语法问题，建议修改分区表的分区字段，或将业务逻辑拆分为多个作业，避免出现该错误。向MaxCompute表中插入动态分区时，报错invalid dynamic partition value，如何解决？问题现象 执行插入动态分区操作时，返回报错如下。FAILED...
ODPS-0123031
如无逻辑或语法问题，建议修改分区表的分区字段，或将业务逻辑拆分为多个作业，避免出现该错误。错误3：invalid dynamic partition value 错误信息示例 ODPS-0123031:Partition exception-invalid dynamic partition value:province=上海 ...
扩容分区和文件系统（Linux）
例如您有/dev/vdb1（主分区）、/dev/vdb2（扩展分区）、/dev/vdb5（逻辑分区）三个分区，此时您需要依次执行 growpart/dev/vdb 2、growpart/dev/vdb 5 完成分区的扩容。使用growpart工具时，如果出现报错信息，请参见 常见问题 进行排查。...
常见问题
逻辑编排解决什么问题？逻辑编排能帮助您简化系统集成的过程。系统预置了阿里云多个产品服务的连接器（连接器固化了阿里云产品服务的调用流程）；并提供了多个场景化模板；图形化方式编排流程，让您快速上手。2.逻辑编排图形化编排能否满足...
云盘扩容后使用growpart扩展GPT分区失败该如何处理？
解决方案 您可以参考以下步骤，重新分区后再扩展分区，解决上述问题。远程连接ECS实例。具体操作，请参见 连接方式概述。执行以下命令，查看 etc/fstab 中/dev/vdb1 的分区信息。cat/etc/fstab 例如/dev/vdb1 分区的信息如下图所示。执行...
Linux实例磁盘扩容后同步空间到逻辑卷分区
问题原因 系统分区做了逻辑分区，磁盘扩容成功后，没有进行相应的逻辑分区扩容。解决方案 说明 如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置...
发布者最佳实践
黏性分区策略主要解决无Key消息分散到不同分区，造成小Batch问题。其主要策略是如果一个分区的Batch完成后，就随机选择另一个分区，然后后续的消息尽可能地使用该分区。这种策略在短时间内看，会将消息发送到同一个分区，如果拉长整个运行...
名称解释
逻辑分区与表 逻辑上，用户创建的数据库由多个数据逻辑分区（Partition）组成，用户创建的表（Table）的数据将分布在这些数据逻辑分区上，数据分布规则依照用户建表时指定的列（PartitionKey）进行Hash计算后来划分。逻辑分区的数量一旦...
Logview诊断实践
解决措施：过滤掉不必要读取的老分区。执行阶段 Logview的 Detail 界面有执行计划（执行计划没有全部完毕），且作业状态还是Running。执行阶段卡住或执行时间比预期长的主要原因有等待资源，数据倾斜，UDF执行低效，数据膨胀等等，下面将...
偏分析场景的实践和优化
尽可能选择值分布均匀的字段作为分区键，这样可以避免由于分布式不均导致出现计算长尾现象，严重拖慢大查询性能。合理设计二级分区 PolarDB-X 的DRDS模式数据库支持二级分区。当数据量过大或者有数据倾斜时，二级分区的选择至关重要，如果...
回切至本地物理机
本文主要介绍如何利用阿里云连续复制型容灾（CDR）服务，在本地虚拟机出现问题后把云上恢复出来的ECS回切到用户本地数据中心的物理服务器上。前提条件 服务器已进入实时复制状态。更多信息，请参见 启动复制。背景信息 目前阿里云的混合...
Tunnel常见错误码
RecordReader内部有缓存，一旦用户的计算或处理逻辑较为缓慢，未能在超时时限内处理完一块缓存数据并触发下一次读取，则会出现该错误。解决措施 优化代码处理逻辑。报错信息：ErrorCode=Unauthorized ErrorMessage=The request ...
SQL其他常见问题
本文为您介绍在MaxCompute中执行SQL时，与数据类型、SQL限制等相关的常见问题。问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合...
运行失败
解析表数据时出现“-nan”错误 报错信息 解决方法 该问题一般是原始doc或query表输入的格式有问题，可能存在很大的值或者接近0的值。例如某一行vector下的值为 1.23~4.56~7.89~nan~4.21 或 1.1~2.2~127197893781729178311928739179222121....
CREATE TABLE（AUTO模式）
PolarDB-X 还针对比较常见的特定的应用场景新扩展了一种新的名为CoHash的哈希分区策略，该策略可有效解决一个表需要同时按多个不同的相互有协同关系的分区列进行水平分区的问题。Hash类型 PolarDB-X 的Hash类型分区可细分为Hash分区与Key...
分区分桶
为了帮助您深入理解 云数据库 SelectDB 版 的分区分桶的概念和如何实施分区分桶，本文档详细阐释了分区分桶的原理和操作示例，以帮助您理解分区分桶原理和如何实施分区分桶。概述 为了能高效处理大数据量的存储和计算，云数据库 SelectDB ...
常见问题
如果单表数据量超过10亿，或查询RT和查询QPS无法满足要求时可以通过创建分区索引来解决相关问题。分区索引需要关注的内容，请参见 分区索引的适用场景和不适用场景有哪些？和 创建分区索引时，需要关注哪些参数？分区索引的适用场景和不...
使用表格存储过程中返回503错误码
问题描述 在使用表格存储的过程中，偶尔会出现503错误，详细错误信息请参见下表。HTTPStatus ErrorCode ErrorMsg 503 OTSPartitionUnavailable The partition is not available.503 OTSServerUnavailable Server is not available.503 ...
版本发布说明
修复CoHash的Right分区函数计算结果不正确导致的分区路由问题，发布日期：2023-12-27 大版本：V5.4.18 小版本：17034692 类别 说明 新增&优化 新增支持AUTO模式数据库的co_hash分区策略。优化使用AB表方案进行事务日志清理的流程，避免一次...
分区热力图
库表视图 图 2.DN视图 左侧直方图：各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区，DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区，其中表示DN节点和逻辑分区的矩形，通过长度表示拥有数据量的多少，长度越长表示数据量越多。...
分区热力图
库表视图 图 2.DN视图 左侧直方图：各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区，DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区，其中表示DN节点和逻辑分区的矩形，通过长度表示拥有数据量的多少，长度越长表示数据量越多。...
初始化概述
3个主分区和1个扩展分区 在扩展分区中创建逻辑分区的数目没有限制，可以创建任意多个逻辑分区。分为主分区、扩展分区和逻辑分区三种类型。GPT 18 EiB（1 EiB=1,048,576 TiB）说明 阿里云云盘支持的最大容量为32 TiB。Linux：分区数量无限制...
转换MBR分区为GPT分区
重要 转换Windows云盘分区过程中，云盘数据不可用，如果您正在运行的业务依赖于该盘的数据，可能会出现问题。建议您先停止服务，待分区转换完成并恢复云盘数据后再继续运行业务。步骤一：转换分区（可选）备份云盘数据。警告 Windows转换...
消息堆积和延迟问题
本文主要介绍 云消息队列 RocketMQ 版 TCP协议的Java客户端使用过程中，经常会出现的消息堆积和消息延迟的问题。通过了解 云消息队列 RocketMQ 版 客户端的消费原理和消息堆积的主要原因，帮助您可以在业务部署前更好的规划资源和配置，或...
MapReduce常见问题
本文为您介绍在使用MapReduce时的常见问题。问题类别 常见问题 功能咨询 MapReduce的输入源可以是视图吗？MapReduce的结果写入到表或分区时，会覆盖还是追加数据？MapReduce中是否可以调用Shell文件？reduce.setup能否读入输入表？Mapper...
DQL操作常见问题
问题类别 常见问题 GROUP BY 在执行MaxCompute SQL过程中，报错Repeated key in GROUP BY，如何解决？在执行MaxCompute SQL过程中，报错Expression not in GROUP BY key，如何解决？对表A执行GROUP BY生成表B，表B比表A的行数少，但表B的...
RDS MySQL助力MySQL 5.7升级8.0
经常升级失败并且难以分析失败原因 尽管社区提供了相应的检查工具和帮助文档，以帮助用户进行升级前的检查和问题解决。然而在实际操作中经常会遇到升级失败的情况，出现各种各样的错误，并且很难从日志信息中逐一分析升级失败的原因。升级...
2021年
对分区表使用跨机并行查询 GLOBAL INDEX支持对分区表进行DDL操作 支持在对分区表进行DDL操作时（如DROP、SPLIT、MERGE等），操作该分区表下的所有GLOBAL INDEX。支持对分区表进行DDL操作 优化 ORA_HASH函数兼容性 ORA_HASH函数替换为DBMS_...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
数据倾斜调优
数据倾斜排查及解决方法 根据使用经验总结，引起数据倾斜的主要原因有如下几类：Join GroupBy Count（Distinct）ROW_NUMBER（TopN）动态分区 其中出现的频率排序为 JOIN>GroupBy>Count(Distinct)>ROW_NUMBER>动态分区。Join 针对Join端产生...
2023年
2024年1月 14.9.15.0 内核小版本 类别 说明 相关文档 发布时间 新增 支持分区表扫描算子，加速分区表执行计划的生成，解决大量分区场景下查询慢、内存消耗多的问题。分区表扫描算子 2023年12月 全局执行计划缓存功能，支持进程间共享执行...
订阅者最佳实践
消费失败 云消息队列 Kafka 版 是按分区逐条消息顺序向前推进消费的，如果消费端拿到某条消息后执行消费逻辑失败，例如应用服务器出现了脏数据，导致某条消息处理失败，等待人工干预，那么有以下两种处理方式：失败后一直尝试再次执行消费...
RDS MySQL/MariaDB版实例CPU使用率较高
问题描述 阿里云云数据库RDS MySQL/MariaDB版使用过程中，出现CPU使用率过高甚至达到100%的情况。问题原因 应用提交查询操作或数据修改操作时，系统需要执行大量的逻辑读操作，其中逻辑IO包含执行查询所需访问表的数据行数。所以系统需要...
关键缺陷通知
本文将为您介绍Hologres各版本相关缺陷的修复记录，包括问题描述、影响程度等。您可以通过报错或问题描述，检查您当前的业务中是否产生了相关问题，提前进行问题规避。建议加入实时数仓Hologres交流群联系对应技术支持协助您将产品升级到...
列存索引中HashMatch算子的实现
为了解决上述问题，IMCI执行器实现了基于中间结果物化的算子集合，本文介绍了HashJoin算子的物化版本HashMatch的实现细节。设计方案 HashMatch实现主要分为build与probe两个阶段，其中build阶段将左表每一行按join谓词作为key构建出散列表...
一键MaxCompute Merge任务节点问题排查方案
其后的数据处理逻辑：在T+1日的凌晨，启动Merge任务合并log表T日分区的增量数据和Base表T-1日分区中的全量数据，输出T日的全量分区数据。其过程如下图所示（分区表为例）：离线任务节点 一键实时同步到MaxCompute流程执行完成后，数据集成...
MySQL分库分表同步至MaxCompute
您可以在 时间自动分区设置 配置该任务写入MaxCompute分区表或是非分区表，并定义分区字段的名称，本案例中选择写入分区表，分区字段为 ds。说明 若选择写入分区表，可单击 图标定义目标表分区字段名称。刷新源表与目标表映射。单击 刷新源...
MySQL分库分表同步至MaxCompute
您可以在 时间自动分区设置 配置该任务写入MaxCompute分区表或是非分区表，并定义分区字段的名称，本案例中选择写入分区表，分区字段为 ds。说明 若选择写入分区表，可单击 图标定义目标表分区字段名称。刷新源表与目标表映射。单击 刷新源...
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
- 产品推荐
- 这些文档可能帮助您