热点分区分裂
场景 2：目标分区是包含有二级分区的一级分区 说明 包含二级分区的分区表，如果对其一级分区的热点值进行散列，分裂出的新分区，它的二级分区定义与原热点值所在的分区仍保持一致。表级用法 对于以下分区表：create table t1(a bigint ...
云盘扩容后使用growpart扩展GPT分区失败该如何处理？
解决方案 您可以参考以下步骤，重新分区后再扩展分区，解决上述问题。远程连接ECS实例。具体操作，请参见 连接方式概述。执行以下命令，查看 etc/fstab 中/dev/vdb1 的分区信息。cat/etc/fstab 例如/dev/vdb1 分区的信息如下图所示。执行...
回切至本地物理机
本文主要介绍如何利用阿里云连续复制型容灾（CDR）服务，在本地虚拟机出现问题后把云上恢复出来的ECS回切到用户本地数据中心的物理服务器上。前提条件 服务器已进入实时复制状态。更多信息，请参见 启动复制。背景信息 目前阿里云的混合...
分区表简介
如果出现问题，则只需重做分区移动，而不是表移动。此外，如果分区设计中考虑了使用模式，则可以通过添加或删除分区来完成批量加载和删除。使用DROP TABLE删除单个分区或执行ALTER TABLE DETACH PARTITION比批量操作要快得多。这些命令还...
分区表简介
如果出现问题，则只需重做分区移动，而不是表移动。此外，如果分区设计中考虑了使用模式，则可以通过添加或删除分区来完成批量加载和删除。使用DROP TABLE删除单个分区或执行ALTER TABLE DETACH PARTITION比批量操作要快得多。这些命令还...
分区表简介
如果出现问题，则只需重做分区移动，而不是表移动。此外，如果分区设计中考虑了使用模式，则可以通过添加或删除分区来完成批量加载和删除。使用DROP TABLE删除单个分区或执行ALTER TABLE DETACH PARTITION比批量操作要快得多。这些命令还...
分区分桶
为了帮助您深入理解 云数据库 SelectDB 版 的分区分桶的概念和如何实施分区分桶，本文档详细阐释了分区分桶的原理和操作示例，以帮助您理解分区分桶原理和如何实施分区分桶。概述 为了能高效处理大数据量的存储和计算，云数据库 SelectDB ...
转换MBR分区为GPT分区
重要 转换Windows云盘分区过程中，云盘数据不可用，如果您正在运行的业务依赖于该盘的数据，可能会出现问题。建议您先停止服务，待分区转换完成并恢复云盘数据后再继续运行业务。步骤一：转换分区（可选）备份云盘数据。警告 Windows转换...
Windows主机上磁盘无法分区
概述 本文主要介绍Windows主机上磁盘无法分区的解决方案。问题症状 Windows主机上磁盘无法进行分区，系统工具操作异常。解决方案 做好快照备份，然后将基本磁盘 转换为动态磁盘，重新分区操作，恢复正常。右键单击 我的电脑 选择 管理，弹...
iOS SDK
整体集成步骤说明 步骤 集成内容 本文中的位置 是否必选 附加说明 第一步 APM引入&配置SDK 查看文档「第一步引入&配置SDK」必选 第二步 设置域名 查看文档[第二步域名设置」必选 第三步 用户ID 查看文档[第三步设置用户标识」可选 自定义...
DML操作常见问题
解决措施 一般作业输出动态分区数达到几千已经很大，超过10000可能存在业务逻辑或SQL语法问题。如无逻辑或语法问题，建议修改分区表的分区字段，或将业务逻辑拆分为多个作业，避免出现该错误。向MaxCompute表中插入动态分区时，报错invalid...
ODPS-0123031
解决方案 当某张表超出 60000 个分区时，你可以通过以下方式解决：1）通过设置表生命周期，系统自动删除过期的分区数据与分区，详情请参考 生命周期操作。2）您可以合并历史分区数据，例如把历史一个的数据合并成一个分区，详情可以参考 ...
Dataphin中代码任务运行报错“Logical table ...
问题描述 Dataphin中代码任务运行报错“Logical table translate failed：Failed to validate Table XXX Partition XXX Consistent of Column:[XXX]”完整的报错信息如下：...解决方案 给代码中逻辑表指定分区之后，问题解决。适用于 Dataphin
如何分析数据分布不均衡
这类问题无法通过扩容来解决，需要使用本文介绍的方法分析和处理。问题分析 数据倾斜问题，DRDS模式数据库可按照分库级、分表级的方式进行分析。AUTO模式数据库可按照分区级别进行排查。分库级别的数据倾斜 执行 show db status 语句，能够...
离线扩容分区和文件系统（Linux数据盘）
具体问题与解决方案请参见 使用fdisk扩容新分区起始位置无法与扩容前保持一致。输入 w：保存修改并退出。以下为扩容分区的命令行交互示例。本示例中，将/dev/vdb1 由20GiB扩容到40GiB。[testuser@ecshost~]#sudo fdisk-u/dev/vdb Welcome ...
数据建模
时序引擎支持在数据库设置时间分区，一般情况下，如果创建周期性时间线导致了时间线膨胀，建议您开启时间分区来避免同一个分区出现大量索引膨胀。时间分区不建议设置的过小，默认时长为30天。具体操作，请参见 CREATE DATABASE。示例 创建...
为什么同一个分区被多个消费线程消费了？
问题现象 消费客户端使用“StickyAssignor”分配模式消费消息时，发现同一个分区被多个消费线程消费，出现数据错乱的情况。可能原因 您的客户端低于2.3版本。2.3版本以前的客户端有可能将同一个分区分配给多个消费线程进行消费。更多信息，...
2023年
修复分区表UPDATE分布键列时出现 tuple already updated by self 错误信息的问题。修复Master节点不回收Writer Gang，导致高并发场景下计算节点内存过高，容易出现内存溢出（OOM）的问题。修复列存表索引扫描（INDEX SCAN）结果可能出现...
Linux实例SWAP分区的配置和常见问题处理
sysctl-p 常见问题处理 常见问题描述 使用mkswap创建SWAP时出现类似如下报错信息：mkswap:error:swap area needs to be at least 40 KiB 问题原因 指定的SWAP分区文件太小，SWAP分区文件至少应该大于40KB。解决方法 重新生成更大的文件格式...
常见问题
问题原因：出现Spark查询hudi数据重复，通常是因为Hudi不支持Spark DataSource方式读取导致的。解决方法：您需要在执行查询Hudi表的命令时，添加上 spark.sql.hive.convertMetastoreParquet=false。Hive查询Hudi数据重复，如何处理？问题...
离线同步数据质量排查
环境信息排查 问题 解决方案 查询了错误或不完整的数据源、表、或者分区等。DataWorks标准项目分为开发数据源、生产数据源，在开发环境运行任务使用开发数据源，在生产环境运行任务使用生产数据源，再对数据数量和内容比对时，需要确认下...
查看实例风险
Topic 格式转换 同步发送问题 碎片化发送问题 单分区Topic风险 Topic分区倾斜问题 生产流量 分区数量配额 分区分配策略问题 Group 消费消息接收耗时 消费消息排队耗时 消费消息读磁盘耗时 消费消息读磁盘耗时 消费消息格式转换时间 Group...
发布者最佳实践
黏性分区策略主要解决无Key消息分散到不同分区，造成小Batch问题。其主要策略是如果一个分区的Batch完成后，就随机选择另一个分区，然后后续的消息尽可能地使用该分区。这种策略在短时间内看，会将消息发送到同一个分区，如果拉长整个运行...
与标准SQL的主要区别及解决方法
本文为您列举MaxCompute SQL与标准SQL的区别及常见问题解决方法。MaxCompute SQL与标准SQL的基本区别 主要区别 问题现象 解决方法 应用场景 不支持事务（不支持Commit和Rollback，不推荐使用INSERT INTO）。建议代码具备幂等性，支持重新...
MapReduce常见问题
本文为您介绍在使用MapReduce时的常见问题。问题类别 常见问题 功能咨询 MapReduce的输入源可以是视图吗？MapReduce的结果写入到表或分区时，会覆盖还是追加数据？MapReduce中是否可以调用Shell文件？reduce.setup能否读入输入表？Mapper...
CREATE TABLE（AUTO模式）
PolarDB-X 还针对比较常见的特定的应用场景新扩展了一种新的名为CoHash的哈希分区策略，该策略可有效解决一个表需要同时按多个不同的相互有协同关系的分区列进行水平分区的问题。Hash类型 PolarDB-X 的Hash类型分区可细分为Hash分区与Key...
扩容分区和文件系统（Linux）
设备名：/dev/vdc（裸数据盘未分区）文件系统类型：ext4 操作系统：CentOS 7 扩容文件系统命令如下：sudo resize2fs/dev/vdc 常见问题 说明 如果您遇到难以解决的问题，您可以加入云盘扩容问题客户钉钉群（钉钉群号：25920014655）与我们的...
Logview诊断实践
解决措施：过滤掉不必要读取的老分区。执行阶段 Logview的 Detail 界面有执行计划（执行计划没有全部完毕），且作业状态还是Running。执行阶段卡住或执行时间比预期长的主要原因有等待资源，数据倾斜，UDF执行低效，数据膨胀等等，下面将...
为什么Topic有分区时间显示1970或“-”？
可能原因 出现此问题的原因可能是以下情况中的一种：该分区没有消息数据，或者消息都已过期。客户端版本过低，或者传递的时间戳为null。Local存储引擎：开源Apache Kafka接口未提供该数据，所以未显示。云存储引擎：最近更新时间存在缓存...
ALTER TABLE
例如，值-1 表示该列中所有的值都是可区分的，而值-0.5 则表示每一个值平均出现两次。当表的尺寸随时间变化时，这会有所帮助，因为这种计算只有在查询规划时才会被执行。指定值为 0 将回到正常的估计可区分值数量的做法。更改针对每个属性...
运行失败
解析表数据时出现“-nan”错误 报错信息 解决方法 该问题一般是原始doc或query表输入的格式有问题，可能存在很大的值或者接近0的值。例如某一行vector下的值为 1.23~4.56~7.89~nan~4.21 或 1.1~2.2~127197893781729178311928739179222121....
解决Windows实例中无法查看数据盘问题
问题原因 无法查看数据盘通常是如下几种原因：磁盘显示为外部或脱机 新增的驱动被禁用 新购买磁盘未进行分区和格式化 磁盘未分配盘符 Windows 2012服务器新增数据盘异常报错 实例处于安全模式 解决方案 请根据不同的问题原因，通过以下方式...
CREATE TABLE
您将了解到如何创建分区表和维表，以及如何定义表的分布键、分区键、索引、生命周期、冷热数据分层等。设置默认值、自增列 设置主键 设置分布键 设置分区键与生命周期 设置聚集索引 设置全文索引 设置向量索引 设置冷热分层存储策略 表的...
OSS性能与扩展性最佳实践
如果您在上传大量文件（Object）时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间（Bucket）中的某个特定分区的情况。此时如果您的请求次数过多，会导致请求速率下降。出现此类问题时，建议您...
Hologres SQL语句的常见问题
本文为您介绍编写和优化Hologres SQL语句时可能遇到的常见问题及解决方法。报错：Creating publication with table that without binlog is not supported now 报错：bigint out of range 报错：too many shards in this instance 报错：...
流式数据通道概述
支持自动创建分区：解决数据同步服务并发创建分区导致的并发抢锁问题。支持增量数据异步聚合（Merge）：提升数据存储效率。MaxCompute流式数据通道服务可以解决流式服务使用批量数据通道写入数据引发的各种问题，优势如下：更优化的数据...
日志投递MaxCompute后，如何检查数据完整性
在日志服务数据投递MaxCompute场景下，需要在MaxCompute表分区维度上检查数据完整性，即MaxCompute表中某个分区中数据是否已经完整。使用保留字段_partition_time_作为表分区列，如何判断分区数据是否已完整_partition_time_由日志的time...
PolarDB MySQL版8.0.2版本发布日志
修复了在分区剪枝时因没有定位到分区而可能出现的死循环问题。8.0.2.2.18 类别 说明 发布时间 问题修复 修复删除相同的SQL语句类型中，最后一个只填写了keyword而没有schema和table的CCL规则时，可能导致节点崩溃的问题。2023-09-17 8.0.2....
查看消费状态
有消息堆积就一定是出现问题了吗？不一定。一般分为以下三种情况：最近消费时间与当前时间接近，并且堆积量保持在一个稳定的数值之间波动，没有持续扩大。说明客户端一直在拉取最新消息，没有消息堆积，属于正常情况。堆积量逐步扩大，并且...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
- 产品推荐
- 这些文档可能帮助您