扩容分区和文件系统（Linux）
例如您有/dev/vdb1（主分区）、/dev/vdb2（扩展分区）、/dev/vdb5（逻辑分区）三个分区，此时您需要依次执行 growpart/dev/vdb 2、growpart/dev/vdb 5 完成分区的扩容。使用growpart工具时，如果出现报错信息，请参见 常见问题 进行排查。...
版本发布说明
修复CoHash的Right分区函数计算结果不正确导致的分区路由问题，发布日期：2023-12-27 大版本：V5.4.18 小版本：17034692 类别 说明 新增&优化 新增支持AUTO模式数据库的co_hash分区策略。优化使用AB表方案进行事务日志清理的流程，避免一次...
MapReduce常见问题
本文为您介绍在使用MapReduce时的常见问题。问题类别 常见问题 功能咨询 MapReduce的输入源可以是视图吗？MapReduce的结果写入到表或分区时，会覆盖还是追加数据？MapReduce中是否可以调用Shell文件？reduce.setup能否读入输入表？Mapper...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
顺序消息
分区顺序消息 对于指定的一个Topic，所有消息根据Sharding Key进行区块分区，同一个分区内的消息按照严格的先进先出（FIFO）原则进行发布和消费。同一分区内的消息保证顺序，不同分区之间的消息顺序不做要求。适用场景 适用于性能要求高，...
ALTER TABLE
当给出多个子命令时，获得的锁将是子命令所要求的最严格的那一个。ADD COLUMN[IF NOT EXISTS]这种形式向该表增加一个新列，使用与 CREATE TABLE 相同的语法。如果指定了 IF NOT EXISTS 并且使用这个名字的列已经存在，则不会抛出错误。DROP...
常见问题
逻辑编排解决什么问题？逻辑编排能帮助您简化系统集成的过程。系统预置了阿里云多个产品服务的连接器（连接器固化了阿里云产品服务的调用流程）；并提供了多个场景化模板；图形化方式编排流程，让您快速上手。2.逻辑编排图形化编排能否满足...
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
DQL操作常见问题
本文为您介绍在MaxCompute中执行DQL操作过程中的常见问题。问题类别 常见问题 GROUP BY 在执行MaxCompute SQL过程中，报错Repeated key in GROUP BY，如何解决？在执行MaxCompute SQL过程中，报错Expression not in GROUP BY key，如何解决...
数据倾斜调优
MapReduce 在了解数据倾斜之前首先需要了解什么是MapReduce，MapReduce是一种典型的分布式计算框架，它采用分治法的思想，将一些规模较大或者难以直接求解的问题分割成较小规模或容易处理的若干子问题，对这些子问题进行求解后将结果合并成...
黄牛账号识别之GraphCompute解决方案
主要问题在于牺牲查询性能：用户到用户的跳数从1跳增加到2跳，综合考虑总结如下：通过【方案三】可以更好的简化离线更新链路的逻辑，同时对于性能影响不会太大。GraphCompute搭建 Step1：图模型确定 根据前面的业务梳理和沉淀，我们最终...
Dataphin中代码任务运行报错“Logical table ...
但是如果有以下使用情况，仅需为逻辑表指定分区即可：代码中有引用查询逻辑表数据，并没有为逻辑表指定分区时，会取所有分区。这种情况也会出现报错中提示的分区值和代码中其他表传递的分区值不一致的情况。解决方案 给代码中逻辑表指定...
Linux实例中数据恢复
在处理磁盘相关问题时，您可能会碰到操作系统中数据盘分区丢失的情况。本文介绍了Linux系统下常见的数据盘分区丢失的问题以及对应的处理方法，同时提供了使用云盘的常见误区以及最佳实践，避免可能的数据丢失风险。前提条件 在修复数据前，...
Windows实例中数据恢复
在处理磁盘相关问题时，您可能会碰到操作系统中数据盘分区丢失的情况。本文介绍了Windows系统下常见的数据盘分区丢失的问题以及对应的处理方法，同时提供了使用云盘的常见误区以及最佳实践，避免可能的数据丢失风险。前提条件 已注册阿里云...
DML操作常见问题
如无逻辑或语法问题，建议修改分区表的分区字段，或将业务逻辑拆分为多个作业，避免出现该错误。向MaxCompute表中插入动态分区时，报错invalid dynamic partition value，如何解决？问题现象 执行插入动态分区操作时，返回报错如下。FAILED...
CREATE TABLE（AUTO模式）
逻辑分区：对应一个或多个物理分区的虚拟分区，相当于一个逻辑概念。例如，当使用二级分区构建分区表时，它的一级分区就是逻辑分区。参数说明 参数 说明 CHARSET|CHARACTER SET 指定表中列的默认字符集，可使用字符集如下：utf8 utf8mb4 ...
名称解释
逻辑分区与表 逻辑上，用户创建的数据库由多个数据逻辑分区（Partition）组成，用户创建的表（Table）的数据将分布在这些数据逻辑分区上，数据分布规则依照用户建表时指定的列（PartitionKey）进行Hash计算后来划分。逻辑分区的数量一旦...
调度参数
调度参数典型场景 调度参数往前取一个小时，如何处理跨天参数替换的问题 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 节点定时时间为每天20:00，节点内参数取值为定时时间（$cyctime或者$[yyyymmddhh24miss]...
变更表类型及分区策略（AUTO模式）
常见问题 Q：为什么有时分区变更的DDL任务会执行失败？此时该如何处理？A：实例崩溃或唯一索引存在冲突等因素会导致分区变更的DDL任务执行失败。但这不会损坏原表任何数据，也不会阻塞正常的DML和查询语句执行。当分区变更的DDL任务执行...
小文件优化及作业诊断常见问题
问题类别 常见问题 小文件优化 MaxCompute什么情况下会产生小文件？如何解决小文件问题？作业诊断 执行并发插入操作报错，如何处理？运行作业时，报错ODPS-0130121，如何解决？创建的Shell任务执行失败，在ECS服务器执行显示成功，运维中心...
常见问题
分区索引主要由HASH分区、时间分区或HASH分区和时间分区的组合组成，您可以根据以下场景和建议合理设置分区索引：业务数据有明显的时间属性，例如查询语句携带一个时间字段作为过滤字段，建议设置时间分区属性。在业务查询场景中，多数情况...
配置规则：按表（单表）
多级分区表达式 1级分区名=分区值/2级分区名=分区值/N级分区名=分区值 分区值可以是固定值，也可以是内置参数表达式。参数必须使用中括号表示，例如，$[yyyymmdd-N]。分区表必须配置到最后一级分区。DataWorks为您提供了部分内置的业务日期...
分区表达式介绍
本文为您介绍分区表达式格式说明、分区表达式计算逻辑、内置分区表达式类型以及常用业务示例说明。使用建议 对于不需要明确指定校验分区，而是代码更新哪些分区就校验哪些分区的场景，建议使用 代码检查触发调度-任务更新 的分区。这种情况...
分区表达式介绍
本文为您介绍分区表达式格式说明、分区表达式计算逻辑、内置分区表达式类型以及常用业务示例说明。使用建议 对于不需要明确指定校验分区，而是代码更新哪些分区就校验哪些分区的场景，建议使用 代码检查触发调度-任务更新 的分区。这种情况...
块存储FAQ
存储容量单位包SCU问题 什么是存储容量单位包SCU？哪些块存储产品可以使用存储容量单位包SCU？存储容量单位包SCU可以单独使用吗？存储容量单位包SCU的抵扣规则是什么？SCU如何计费？SCU可以退款吗？ESSD云盘问题 什么是ESSD云盘？ESSD云盘...
大数据计算服务MaxCompute
增量源表独有 增量源表通过间歇轮询MaxCompute服务器获取所有的分区信息来发现新增的分区，读取新分区时要求分区内数据已写入完毕，详情参见 增量MaxCompute源表监听到新分区时，如果该分区还有数据没有写完，如何处理？通过startPartition...
发布者最佳实践
该代码的实现逻辑主要是根据一定的时间间隔，切换一次分区。public class MyStickyPartitioner implements Partitioner {/记录上一次切换分区时间。private long lastPartitionChangeTimeMillis=0L;记录当前分区。private int ...
SQL 诊断概述
可疑 SQL：平台根据规则、算法筛选出的将会带来性能问题的 SQL 语句。通过单击列表中的 SQL 文本可进入 SQL 详情页，可查看 SQL 文本，SQL 执行历史、物理执行计划等内容。详细说明，请参见 查看 SQL 详情。TopSQL TopSQL 是指在选定的时间...
分区热力图
库表视图 图 2.DN视图 左侧直方图：各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区，DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区，其中表示DN节点和逻辑分区的矩形，通过长度表示拥有数据量的多少，长度越长表示数据量越多。...
初始化概述
3个主分区和1个扩展分区 在扩展分区中创建逻辑分区的数目没有限制，可以创建任意多个逻辑分区。分为主分区、扩展分区和逻辑分区三种类型。GPT 18 EiB（1 EiB=1,048,576 TiB）说明 阿里云云盘支持的最大容量为32 TiB。Linux：分区数量无限制...
功能更新动态（2023年）
分区表预览功能优化，默认查询最新有数据的分区，但是部分场景下受引擎和分区类型限制无法获取有数据的最新分区值，该情况下，默认查询最新分区（可能无结果数据）。数据探查全局配置 新建及管理专题分组 MaxCompute物理表和字段详情 查看...
Logview诊断实践
用户UDF出错，调查步骤 Result>DAG 确定出问题的UDF，查看 StdOut 或 StdError 等报错信息。其他报错，可以参见 文档错误码以及解决方案。分析运行慢作业 编译阶段 作业处于编译阶段的特征是有Logview，但还未执行计划。根据Logview的子...
文档更新动态（2023年）
分区表预览功能优化，默认查询最新有数据的分区，但是部分场景下受引擎和分区类型限制无法获取有数据的最新分区值，该情况下，默认查询最新分区（可能无结果数据）。新增说明 数据探查全局配置 新建及管理专题分组 MaxCompute物理表和字段...
分区热力图
库表视图 图 2.DN视图 左侧直方图：各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区，DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区，其中表示DN节点和逻辑分区的矩形，通过长度表示拥有数据量的多少，长度越长表示数据量越多。...
Dataphin逻辑表的物化表是根据什么规则生成和变化的
即重新创建所有物化表 v1->v2的情况：修改任意字段数据类型 新增分区字段 删除分区字段 修改分区字段名称 分区字段顺序发生变化 任意字段发生迁移（从表A->表B）问题2：目前Dataphin 是采用基于规则的方式对表字段进行拆分的。比较典型的几...
分区表简介
本文详细介绍了 PolarDB PostgreSQL版 分区表功能的优势和特性。概述 在 PolarDB PostgreSQL版...语法 关于各分区类型的分区表的相关命令及说明，例如创建分区表、添加分区至分区表、合并分区、拆分分区、删除分区等，请参见 分区表命令列表。
分区表简介
本文详细介绍了 PolarDB PostgreSQL版（兼容Oracle）分区表功能的优势和特性。...语法 关于各分区类型的分区表的相关命令及说明，例如创建分区表、添加分区至分区表、合并分区、拆分分区、删除分区等，请参见 分区表命令列表。
分区表简介
本文详细介绍了 PolarDB PostgreSQL版（兼容Oracle）分区表功能的优势和特性。...语法 关于各分区类型的分区表的相关命令及说明，例如创建分区表、添加分区至分区表、合并分区、拆分分区、删除分区等，请参见 分区表命令列表。
限制
本文介绍了逻辑复制的限制内容。简介 逻辑复制当前有下列限制或者缺失的功能。这些可能在未来的发行中解决。数据库模式和 DDL 命令不会被复制。初始模式可以手工使用 pg_dump-schema-only 进行拷贝。后续的模式改变需要手工保持同步（不过...
Node Labels特性使用
使用YARN默认管理员hadoop账户执行 sudo su-hadoop#添加分区 yarn rmadmin-addToClusterNodeLabels"DEMO"yarn rmadmin-addToClusterNodeLabels"CORE"#列出YARN节点列表 yarn node-list#配置指定节点分区映射 yarn rmadmin-...
- 产品推荐
- 这些文档可能帮助您