CREATE TABLE
使用范围或哈希分区时，分区键可以包含多个列或表达式（最多 32 个，但在构建 PolarDB时可以更改此限制），但对于列表分区，分区键必须由单个列或表达式组成。范围和列表分区需要 btree 运算符类，而哈希分区需要哈希运算符类。如果没有...
使用Logstash（流式数据传输）
支持动态分区，可以根据Logstash解析的日志字段产生分区字段，能够自动创建不存在的分区。logstash-output-maxcompute 插件应用于如下场景：需要收集的应用的日志格式在Logstash上有输入插件支持或易于解析，例如NGINX日志。希望根据日志...
数据倾斜调优
数据倾斜排查及解决方法 根据使用经验总结，引起数据倾斜的主要原因有如下几类：Join GroupBy Count（Distinct）ROW_NUMBER（TopN）动态分区 其中出现的频率排序为 JOIN>GroupBy>Count(Distinct)>ROW_NUMBER>动态分区。Join 针对Join端产生...
创建虚拟机并安装操作系统
您可以基于VirtualBox工具提供的Windows操作系统，制作VHD格式的Windows镜像文件。本文介绍如何基于VirtualBox创建虚拟机并安装Windows操作系统。前提条件 已安装VirtualBox工具。VirtualBox工具官方下载地址，请参见 VirtualBox官网。已...
初始化小于等于2 TiB数据盘（Linux）
如果您使用的云盘容量大于2 TiB或者后续有可能会扩容到2 TiB以上，分区时请采用GPT分区格式。Parted工具适用于MBR分区和GPT分区，fdisk分区工具只适用于MBR分区。创建GPT分区 按以下步骤通过Parted分区工具为小于等于2 TiB的数据盘创建GPT...
解决Windows实例中无法查看数据盘问题
新购买数据盘的分区格式为RAW，操作系统无法识别此系统类型的文件，请参考 Windows格式化数据盘 进行初始化。磁盘未分配盘符 磁盘未分配盘符会导致磁盘无法显示。在运行窗口输入 diskmgmt.msc 命令，运行磁盘管理，可以看到数据盘可以被...
使用快照回滚云盘
当云盘因误删误改、勒索病毒等原因造成数据丢失时，您可以使用该云盘的历史快照回滚云盘，从而使该云盘的数据恢复到创建快照时的状态。本文介绍如何使用快照回滚云盘。约束限制 在使用快照回滚云盘之前，请确认以下信息：确保需要进行回滚...
使用快照回滚云盘
当云盘因误删误改、勒索病毒等原因造成数据丢失时，您可以使用该云盘的历史快照回滚云盘，从而使该云盘的数据恢复到创建快照时的状态。本文介绍如何使用快照回滚云盘。约束限制 在使用快照回滚云盘之前，请确认以下信息：确保需要进行回滚...
配置示例：MaxCompute
多级分区表达式格式：1级分区名=分区值/2级分区名=分区值/N级分区名=分区值，分区值可以是固定值，也可以是内置参数表达式。参数必须使用中括号表示，例如$[yyyymmdd-N]。分区表达式周期由配置的业务日期决定，例如配置运行时间为前5天，则...
创建虚拟机并安装操作系统
您可以基于VirtualBox工具提供的Linux操作系统，制作VHD格式的Linux镜像文件。本文介绍如何基于VirtualBox创建虚拟机并安装Linux操作系统。前提条件 已安装VirtualBox工具。VirtualBox官方下载地址，请参见 VirtualBox官网。已准备好ISO...
使用fdisk扩容新分区起始位置无法与扩容前保持一致
用户在最初进行分区格式化时，在进行“切换dos兼容性标志”的操作时，可以指定小于2048的值作为分区起始位置。解决方案 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对...
数据质量风险监控
单击+，选择 分区表达式 为 dt=$[yyyymmdd-1]，对应表ods_user_trace_log的分区格式为${bdp.system.bizdate}（即获取到前一天的日期）。分区表达式的详细信息请参见 调度参数支持的格式。如果表中无分区列，可以配置无分区。单击 计算，...
导入镜像
如果无影云电脑提供的镜像无法满足业务要求，您可以制作自定义镜像并将其导入无影云电脑控制台，然后在创建云电脑时使用该自定义镜像。本文介绍如何制作自定义镜像并将自定义镜像导入无影云电脑。前提条件 如果您是RAM用户，需先联系阿里云...
Linux实例SWAP分区的配置和常见问题处理
mnt/swap swap swap defaults 0 0 注：/mnt/swap 路径可以修改，可以根据创建的SWAP分区文件具体路径来配置。执行以下命令，临时修改 swappiness 参数值，此处以空闲内存少于10%时才使用SWAP分区为例。提示：在Linux系统中，可以通过查看/...
OSS数据源
自动映射了以下分区：year=2020/month=03/day=01 year=2020/month=03/day=02 year=2020/month=04/day=29 year=2020/month=04/day=30 Table4 创建分区表Table4 分区格式为age=xx。自动映射了age=20分区。Table5 创建分区表Table5 分区格式为...
成本
AnalyticDB PostgreSQL版 采用计算节点本地存储的模式，支持行式存储和列式存储，支持非易失存储、固态硬盘、机械硬盘等多种存储介质，支持单节点最大10TB存储空间。在此基础之上，AnalyticDB PostgreSQL版 进一步提供了存储压缩能力、OSS...
Quick Audience数据导入中调度任务...提示表分区无数据
问题描述 Quick Audience数据导入中调度任务执行失败，报错提示表分区无数据...解决方案 数据导入的任务调度的分区日期与业务数据分区日期保持一致，可以在表结构配置的时候对分区日期字段和分区值格式进行设置。适用于 Quick Audience V4版本
离线同步常见问题
本文为您介绍离线同步的...您可以尝试以下操作：JDBC格式添加的数据源修改utf8mb4：jdbc:mysql:/xxx.x.x.x:3306/database?com.mysql.jdbc.faultInjection.serverCharsetIndex=45 。实例ID形式添加数据源：在数据库名后拼接，格式为 database?...
配置Hologres输出
例如，来源数据为 20200816，目标分区格式为 {yyyy}-{mm}-{dd}，则最终写入的目标分区为 2020-08-16。作业类型 包括 重放 和 插入 两种类型：重放 表示镜像功能。即源端 INSERT 一条记录，Hologres中同样 INSERT 一条数据。源端进行 UPDATE...
镜像常见格式
可以在不影响物理分区的前提下对它进行分区、格式化、压缩、删除等操作。轻松备份。备份时仅需要将创建的VHD文件进行备份，也可以用备份工具将VHD文件所在的整个物理分区进行备份。迁移方便。当有一个VHD文件需要在多台计算机上使用时，...
创建OSS投递任务（新版）
分区格式 按照投递时间动态生成OSS Bucket的目录，不能以正斜线（/）开头，默认值为%Y/m/d/H/M，相关示例请参见 分区格式，参数详情请参见 strptime API。写OSS RAM角色 授予OSS投递任务将数据写入到OSS Bucket的权限。默认角色：授权OSS...
Kudu连接器
Kudu支持多级分区，一个表至少要有一个Hash或Range分区，但最多有一个Range分区，可以有多个Hash分区。列属性 除了指定列名称和类型，还可以指定其他列属性。列属性名 类型 描述 primary_key BOOLEAN 设置为true，则表示使用该列作为主键。...
特征重要性过滤
指定输入表的分区：指定单个分区，格式为 partition_name=value。指定多个分区，格式为 name1=value1,name2=value2。说明 多个分区之间用英文逗号（,）分隔。指定多级分区，格式为 name1=value1/name2=value2。否 weightTable 特征重要性的...
编辑资源队列
通过阿里云EMR控制台，您可以方便地管理资源队列，并关联不同的分区。前提条件 已创建集群，且集群状态为运行中。创建集群详情，请参见 创建集群。使用限制 YARN调度器需使用capacity scheduler。自定义分区相关功能，适用于EMR-5.11.1及...
ALTER（2.0版）
修改二级分区数 最大二级分区数可以在建表后进行修改。语法 ALTER TABLE table_name subpartition_available_partition_num=N;参数 N为新的二级分区数。示例 TRADE表以天为二级分区单位，增量数据保存时间由30天改为60天。ALTER TABLE ...
如何确定分区个数
本文介绍如何确定HASH分区、List Default Hash分区以及RANGE分区的分区个数。HASH分区 您可以在创建分区表时多尝试几个分区值，尽量找一个可以使得数据均衡分布的一个值作为分区值。以下命令可以辅助您来评估分区数量。查看按照ID值分为10...
CREATE PARTITION TABLE
查看所有分区子表 您可以通过如下两种方法查看当前分区父表下所有的分区子表：通过HoloWeb可视化查看，HoloWeb会展示分区父表下面的所有分区子表。通过执行如下命令语句，查看当前分区父表下所有的分区子表。其中，您可以将 parent_table_...
原理
分区表的管理可以分为以下10个主要模块：MODIFY：管理分区，是一类操作的集合，对象是一个一级分区，可以通过该指令管理这个分区下的二级分区。MOVE：移动分区，通常是移动其存储位置。ADD：增加分区，为分区表增加一个一级分区。COLESCE：...
基本数据库对象及概念
本文汇总了 AnalyticDB MySQL版 集群中关于基本数据库对象及概念相关的常见问题和答案。是否支持将表从一个表组移...如果在实际使用中二级分区数过多，建议增大二级分区键的分区粒度，比如将按日分区改为按月分区、将按月分区改为按年分区等。
Kafka Connect
Kafka自定义连接器可以从Kafka集群中提取数据或将Kafka数据推送到其他系统，本文介绍Kafka自定义连接器中的基本概念和连接配置。基本概念 Connectors Connectors位于逻辑抽象层，用于指定数据源及数据目标。负责将数据从源服务中复制到...
分区表达式介绍
column1.columnN：分区字段，多级分区可以通过and进行连接，形成and类型的多级分区表达式。暂不支持or类型的多级分区表达式。FORMAT：分区格式化串，支持如下格式化串：yyyy：年。MM：月。dd：日。ld：每月最后一天。HH：24制小时。hh：12...
分区表达式介绍
column1.columnN：分区字段，多级分区可以通过and进行连接，形成and类型的多级分区表达式。暂不支持or类型的多级分区表达式。FORMAT：分区格式化串，支持如下格式化串：yyyy：年。MM：月。dd：日。ld：每月最后一天。HH：24制小时。hh：12...
Kafka Connect
Kafka自定义连接器可以从Kafka集群中提取数据或将Kafka数据推送到其他系统，本文介绍Kafka自定义连接器中的基本概念和连接配置。基本概念 Connectors Connectors位于逻辑抽象层，用于指定数据源及数据目标。负责将数据从源服务中复制到...
配置规则：按表（单表）
分区表达式类型 分区表达式格式 说明 一级分区表达式 分区名=分区值 分区值可以是固定值，也可以是内置参数表达式。多级分区表达式 1级分区名=分区值/2级分区名=分区值/N级分区名=分区值 分区值可以是固定值，也可以是内置参数表达式。参数...
生命周期管理介绍
功能说明 您可以通过生命周期管理对数据湖中的数据库、数据表配置数据管理规则，可以基于数据最后访问时间、分区值、分区/表最后修改时间、分区/表创建时间四种规则类型，对数据定期进行存储类型转换，从而节省数据存储成本。同时，可以...
扩容数据盘
前提条件 已挂载数据盘并进行分区格式化。具体操作，请参见 挂载数据盘 和 分区格式化数据盘。步骤一：创建快照 警告 扩容数据盘可能会导致数据丢失，建议在扩容数据盘前，为数据盘创建快照，做好数据备份。登录 轻量应用服务器管理控制台...
TRUNCATE
如果您希望一次性删除符合某个规则条件的一个或多个分区，可以使用表达式指定筛选条件，通过筛选条件匹配分区并批量清空分区数据。命令格式 未指定筛选条件 truncate table<table_name>partition[,partition<pt_spec>.];指定筛选条件 ...
概述
对于分区表，您可以将冷数据 归档为CSV或ORC格式 并存储在OSS上，或在读写节点上创建 DLM 策略来自动归档冷数据。目前冷数据归档功能支持将分区表中的部分数据以OSS外表的形式归档至OSS，同时也支持将分区表中的部分分区直接转存至OSS。...
转换MBR分区为GPT分区
MBR分区格式不支持2 TiB以上的云盘。如果该云盘目前使用的是MBR分区类型，且希望将其扩容至2 TiB以上，需要先将分区类型从MBR转换为GPT。本文为您介绍如何将Linux和Windows数据盘的MBR分区转换为GPT分区。转换Linux数据盘的分区类型 您可以...
新建分区
新建多级分区 PolarDB PostgreSQL版 在创建分区时，也可以将分区作为分区表再一次进行分区，不同的分区策略可以自由组合。新建多级范围分区 CREATE TABLE tab_range_p1 PARTITION OF tab_range FOR VALUES FROM(minvalue)TO(100)PARTITION ...
- 产品推荐
- 这些文档可能帮助您