使用快照回滚云盘
当云盘因误删误改、勒索病毒等原因造成数据丢失时，您可以使用该云盘的历史快照回滚云盘，从而使该云盘的数据恢复到创建快照时的状态。本文介绍如何使用快照回滚云盘。约束限制 在使用快照回滚云盘之前，请确认以下信息：确保需要进行回滚...
作为Input接入
集群中出现机器宕机时，仍然保证分区内按照发送顺序存储。但是会出现部分分区发送消息失败，等到分区恢复后即可恢复正常。当 存储引擎 选择 Local 存储 时，默认选择 分区顺序消息。普通消息 日志清理策略 Topic日志的清理策略。当 存储...
通过外表导入至数仓版
创建带分区的HDFS外表 HDFS支持对Parquet、CSV和ORC文件格式的数据进行分区，包含分区的数据会在HDFS上形成一个分层目录。在下方示例中，p1 为第1级分区，p2 为第2级分区，p3 为第3级分区：parquet_partition_classic/├─p1=2020-01-01│...
作为Output接入
集群中出现机器宕机时，仍然保证分区内按照发送顺序存储。但是会出现部分分区发送消息失败，等到分区恢复后即可恢复正常。当 存储引擎 选择 Local 存储 时，默认选择 分区顺序消息。普通消息 日志清理策略 Topic日志的清理策略。当 存储...
作为Output接入
集群中出现机器宕机时，仍然保证分区内按照发送顺序存储。但是会出现部分分区发送消息失败，等到分区恢复后即可恢复正常。当 存储引擎 选择 Local 存储 时，默认选择 分区顺序消息。普通消息 日志清理策略 Topic日志的清理策略。当 存储...
Kudu连接器
分区信息如下：Hash分区 定义一组分区 您可以使用表属性 partition_by_hash_columns 配置分区列，表属性 partition_by_hash_buckets 配置分区个数，所有的分区列必须是主键列的子集。示例如下。CREATE TABLE mytable(col1 varchar WITH...
MaxCompute（原ODPS）数据源配置
2:分区过滤规则，支持指定多个分区字段的值，不同分区字段用逗号分隔，如：pt1=1,pt2=2,pt3=3 将匹配同时满足pt1=1，pt2=2，pt3=3的所有分区【多分区目前不支持function功能，即不支持%Y%m%d|-1 days这样的，单分区是可以支持的】。...
JindoTable使用说明
JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群，详情请参见 创建集群。使用JindoTable 常见命令如下：...
JindoTable使用说明
JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群，详情请参见 创建集群。使用JindoTable 常见命令如下：...
JindoTable使用说明
JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群，详情请参见 创建集群。使用JindoTable 常见命令如下：...
JindoTable使用说明
JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群，详情请参见 创建集群。使用JindoTable 常见命令如下：...
MaxCompute（原ODPS）数据源配置
2:分区过滤规则，支持指定多个分区字段的值，不同分区字段用逗号分隔，如：pt1=1,pt2=2,pt3=3 将匹配同时满足pt1=1，pt2=2，pt3=3的所有分区【多分区目前不支持function功能，即不支持%Y%m%d|-1 days这样的，单分区是可以支持的】。...
生命周期操作
对于分区表，则根据各分区的 LastModifiedTime 判断该分区数据是否该被回收，当最后一个分区被回收后，该表不会被删除。如果您需要在最后一个分区被回收后自动删除该表，可以通过以下两种方式进行设置：说明 当项目级别与表级别的设置发生...
JindoTable使用说明
JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群，详情请参见 创建集群。使用JindoTable 常见命令如下：...
JindoTable使用说明
JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群，详情请参见 创建集群。使用JindoTable 常见命令如下：...
JindoTable使用说明
JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群，详情请参见 创建集群。使用JindoTable 常见命令如下：...
JindoTable使用说明
JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群，详情请参见 创建集群。使用JindoTable 常见命令如下：...
作为Input接入
集群中出现机器宕机时，仍然保证分区内按照发送顺序存储。但是会出现部分分区发送消息失败，等到分区恢复后即可恢复正常。当 存储引擎 选择 Local 存储 时，默认选择 分区顺序消息。普通消息 日志清理策略 Topic日志的清理策略。当 存储...
转换MBR分区为GPT分区
MBR分区格式不支持2 TiB以上的云盘。如果该云盘目前使用的是MBR分区类型，且希望将其扩容至2 TiB以上，需要先将分区类型从MBR转换为GPT。本文为您介绍如何将Linux和Windows数据盘的MBR分区转换为GPT分区。转换Linux数据盘的分区类型 您可以...
OSS数据源
自动映射了以下分区：year=2020/month=03/day=01 year=2020/month=03/day=02 year=2020/month=04/day=29 year=2020/month=04/day=30 Table4 创建分区表Table4 分区格式为age=xx。自动映射了age=20分区。Table5 创建分区表Table5 分区格式为...
DQL操作常见问题
原因二的解决措施：如果分区过大，需要调整分区个数，详情请参见 分区。原因三的解决措施：如果是由于小文件较多导致，请参见 小文件优化及作业诊断常见问题。在执行JOIN操作时，报错Both left and right aliases encountered in JOIN，...
将云消息队列 Kafka 版接入阿里云Elasticsearch
集群中出现机器宕机时，仍然保证分区内按照发送顺序存储。但是会出现部分分区发送消息失败，等到分区恢复后即可恢复正常。当 存储引擎 选择 Local 存储 时，默认选择 分区顺序消息。普通消息 日志清理策略 Topic日志的清理策略。当 存储...
CLONE TABLE
创建分区表sale_detail和非分区表sale_detail_np，并添加数据，命令示例如下：分区表sale_detail-创建一张分区表sale_detail。create table if not exists sale_detail(shop_name string,customer_id string,total_price double)...
表操作
当使用分区字段对表进行分区时，新增分区、更新分区内数据和读取分区数据均不需要做全表扫描，提高处理效率。col_comment：分区列的注释内容。注释内容为长度不超过1024字节的有效字符串，否则报错。说明 分区值不能包含双字节字符（如中文...
CLONE TABLE
创建分区表sale_detail和非分区表sale_detail_np，并添加数据，命令示例如下：分区表sale_detail-创建一张分区表sale_detail。create table if not exists sale_detail(shop_name string,customer_id string,total_price double)...
Dataphin管道任务是否支持数据数仓的动态分区
问题原因 静态分区与动态分区的分区字段都是一个表外的虚拟字段,静态分区需要是手动指定分区字段及文件位置(load data);动态分区则是根据指定的字段值自动判断分区；目前Dataphin管道任务不支持动态分区。适用于 Dataphin 版本V3.6.2
分区表达式介绍
FORMAT：分区格式化串，支持如下格式化串：yyyy：年。MM：月。dd：日。ld：每月最后一天。HH：24制小时。hh：12制小时。mm：分钟。ss：秒。OPERATE 操作符，支持如下操作符：+：增加，例如+1y就是加1年，+1M就是加一月。减少，例如-1y就是...
分区表达式介绍
FORMAT：分区格式化串，支持如下格式化串：yyyy：年。MM：月。dd：日。ld：每月最后一天。HH：24制小时。hh：12制小时。mm：分钟。ss：秒。OPERATE 操作符，支持如下操作符：+：增加，例如+1y就是加1年，+1M就是加一月。减少，例如-1y就是...
Kafka Rebalancer工具介绍
Borker分区数据量的不均衡：导致部分机器的磁盘利用率明显高于集群平均值，增加Broker宕机的风险。节点内磁盘间的利用率不均衡：部分磁盘的利用率明显高于节点磁盘的平均利用率，增加了副本offline甚至Broker宕机的风险。热点Topic：导致...
表操作
当使用分区字段对表进行分区时，新增分区、更新分区内数据和读取分区数据均不需要做全表扫描，提高处理效率。col_comment：分区列的注释内容。注释内容为长度不超过1024字节的有效字符串，否则报错。说明 分区值不能包含双字节字符（如中文...
当实例无法启动时扩容云盘
注意 一个已有分区采用了MBR分区格式，则不支持扩容到2 TiB及以上。如果您的MBR分区容量需要扩容到2 TiB以上，建议您先创建一块大于2 TiB的云盘并格式化为GPT分区，再将MBR分区中的数据拷贝到GPT分区中。格式化GPT分区操作，请参见 分区...
用户标签
若表包含时间分区，请选择时间分区字段，并输入分区值的格式，支持的格式如下图所示。若表不包含时间分区，则无需选择。若您选择的是视图，则需要您手动选择是否包含时间分区。若视图包含时间分区，请选择时间分区字段，并输入分区值的格式...
云盘扩容后使用growpart扩展GPT分区失败该如何处理？
问题现象 云盘的分区格式为GPT，云盘进行云盘容量扩容后，使用growpart工具扩展分区（例如/dev/vdb1）或者文件系统时提示如下图所示的报错信息，导致云盘容量扩容了但是分区和文件系统的可用空间没有增加。本文以/dev/vdb1 分区为例进行...
统计表
若表包含时间分区，请选择时间分区字段，并输入分区值的格式，支持的格式如下图所示。并且，请选择希望的更新方式：增量更新：每次更新前保存历史数据，把新的数据保存在新的分区。需要选择首次调度是否拉取历史数据。全量更新：每次更新前...
订单明细
若表包含时间分区，请选择时间分区字段，并输入分区值的格式，支持的格式如下图所示。并且，请选择希望的更新方式：增量更新：每次更新前保存历史数据，把新的数据保存在新的分区。需要选择首次调度是否拉取历史数据，并设置数据回刷天数，...
用户行为
若表包含时间分区，请选择时间分区字段，并输入分区值的格式，支持的格式如下图所示。并且，请选择希望的更新方式：增量更新：每次更新前保存历史数据，把新的数据保存在新的分区。需要选择首次调度是否拉取历史数据。全量更新：每次更新前...
镜像常见格式
可以在不影响物理分区的前提下对它进行分区、格式化、压缩、删除等操作。轻松备份。备份时仅需要将创建的VHD文件进行备份，也可以用备份工具将VHD文件所在的整个物理分区进行备份。迁移方便。当有一个VHD文件需要在多台计算机上使用时，...
创建OSS投递任务（旧版）
分区格式 按照投递任务的创建时间动态生成OSS Bucket目录，不能以正斜线（/）开头，默认值为%Y/m/d/H/M，相关示例请参见 分区格式，参数详情请参见 strptime API。写OSS RAM角色 授予OSS投递任务将数据写入到OSS Bucket的权限。默认角色：...
创建OSS投递任务（新版）
分区格式 按照投递时间动态生成OSS Bucket的目录，不能以正斜线（/）开头，默认值为%Y/m/d/H/M，相关示例请参见 分区格式，参数详情请参见 strptime API。写OSS RAM角色 授予OSS投递任务将数据写入到OSS Bucket的权限。默认角色：授权OSS...
分区管理
分区计划是专门针对 Range 分区的扩展功能，ODC 支持依据用户设置的分区策略对 Range 分区表进行自动管理，用户无需手动创建新分区，以方便维护 Range 分区表。创建策略：表按照指定的时间间隔和数据范围将数据划分到对应的分区。创建分区...
- 产品推荐
- 这些文档可能帮助您