大数据计算服务MaxCompute
通过startPartition可以指定起始点位，但注意只读取 字典序 大于等于起始点位的分区，例如分区 year=2023,month=10 字典序小于分区 year=2023,month=9，对于这种类型的分区声明可以通过加0补齐的方式来保证字典序正确，例如 year=2023,...
ListPartitions-获取元数据库分区列表
每页大小 10 PartialPartValues ListString 否 分区值列表，可以只传入部分分区的值，会查询出所有下级分区的分区名 TableName string 否 元数据表名称 test_table_20200715162543389 IsShareSd boolean 否 是否共享 partition 中的 SD 中...
稳定性说明与使用限制
写入阈值 MaxCompute单分区写入上限为10 MB/s。各个地域的MaxCompute单项目写入上限略不相同。例如华东1（杭州）的上限为1MB/s×300=300 MB/s。公式说明如下：1 MB/s：单个Slot写入MaxCompute的速度。更多信息，请参 流式数据通道使用限制...
MaxCompute投递（新版）
写入阈值 MaxCompute单分区写入上限为10 MB/s。各个地域的MaxCompute单项目写入上限略不相同。例如华东1（杭州）的上限为1MB/s×300=300 MB/s。公式说明如下：1 MB/s：单个Slot写入MaxCompute的速度。更多信息，请参 流式数据通道使用限制...
订阅者最佳实践
当从非法位点拉取消息时（例如某个分区最大位点是10，但客户端却从11开始拉取消息）。Java客户端可以通过 auto.offset.reset 来配置重置策略，主要有三种策略：latest：从最大位点开始消费。earliest：从最小位点开始消费。none：不做任何...
ALTER TABLE
云原生数据仓库AnalyticDB MySQL版 支持通过 ALTER TABLE 修改表结构，包括修改表名、列名、列类型、普通索引、聚集索引、外键索引、分区函数的格式、冷热分层存储策略。本文介绍 ALTER TABLE 语法。语法 ALTER TABLE table_name { ADD ANN...
聚类分片全链路测试
分区:20210712_10w,query数量:100000,向量分隔符:~输出表信息 表名:output_table_pailitao_binary_cluster_10000_100_0_03,分区:20210712 行列信息 行数:10,列数:100,每列索引doc数量:1000000 是否清除Volume索引:false 各个worker的耗时...
查看ECI实例监控指标
具体如下：磁盘分区数据：包括系统分区和数据分区，其中数据分区为挂载作为数据盘的云盘分区。磁盘空间数据：包括磁盘的总空间、已使用空间、剩余可用空间和使用率。对于ECI实例的监控数据，您可以通过DescribeContainerGroupMetric和...
扩容分区和文件系统（Windows）
在弹出的对话框中，单击 卷 页签，然后查看 磁盘分区形式。如下图所示，磁盘分区类型为MBR。步骤二：扩容分区和文件系统 扩容原有分区和文件系统 此步骤以扩容系统盘（C盘）为例，介绍如何在ECS实例内部将扩容的20 GB容量增加到原有分区（C...
Iceberg连接器
例如，customer_orders表按order_date的月份值、account_number的哈希值（桶数量为10）和country进行分区。CREATE TABLE iceberg.testdb.customer_orders(order_id BIGINT,order_date DATE,account_number BIGINT,customer VARCHAR,country...
动态分区管理
Hologres的动态分区功能无需预先设定所有分区信息，可依据创建分区表时配置的动态分区规则，自动创建并管理分区子表。同时，还支持将符合条件的分区数据迁移到低频存储设备，在保证查询性能的同时，有效降低存储费用。功能介绍 动态分区...
创建服务器迁移任务
背景信息 服务器迁移时，SMC能够获取迁移源的磁盘分区结构，在创建迁移任务时自动生成目标磁盘分区。在尽可能保持迁移源磁盘分区结构的同时，提高迁移的传输速率。操作步骤 登录 SMC控制台。在左侧导航栏，单击 迁移源。找到目标迁移源，...
分区表常见问题
如果有10亿的数据量，则建议创建100至200个分区，单个分区的数据量平均大约为500万至5000万。HASH分区有HASH和KEY两个子类型，其原理相同，均采用取模哈希算法。如果分区键租户ID是数值类型，则选择HASH分区；如果分区键租户ID是字符类型，...
分区连接
PolarDB PostgreSQL版 支持分区连接（Partition-Wise Join）功能，可以减少分区之间的无效连接，提升连接查询的性能。概述 分区连接用于两个分区表之间Join优化。当分区表之间使用分区键进行Join时，可以通过分区连接减少分区之间无效的...
分区连接
PolarDB PostgreSQL版（兼容Oracle）支持分区连接（Partition-Wise Join）功能，可以减少分区之间的无效连接，提升连接查询的性能。概述 分区连接用于两个分区表之间Join优化。当分区表之间使用分区键进行Join时，可以通过分区连接减少分区...
按照Topic规格购买的实例，如何转换为按照分区规格...
例如：您购买了Topic数量为60、流量规格为20 MB/s，默认Topic数为50的预付费标准版实例，即增购量为10个Topic，那么转换为分区规格后，增购的10个Topic将按照下文的转换倍数转换为等价的的分区数，转换后的总分区数量=1000+10×40.602=1407...
转换MBR分区为GPT分区
MBR分区格式不支持2 TiB以上的云盘。如果该云盘目前使用的是MBR分区类型，且希望将其扩容至2 TiB以上，需要先将分区类型从MBR转换为GPT。本文为您介绍如何将Linux和Windows数据盘的MBR分区转换为GPT分区。转换Linux数据盘的分区类型 您可以...
上下游存储
作业启动位点设置了2019-10-11 00:00:00，为什么启动位点前的分区也会被全量MaxCompute源表读取？增量MaxCompute源表监听到新分区时，如果该分区还有数据没有写完，如何处理？MaxCompute连接器运行报错：ErrorMessage=Authorization Failed...
2019年
2019-10-28 全部区域 JOIN 支持合并分区 如果分区数量多，您可以通过合并分区功能，对数据进行归档。2019-10-28 全部区域 分区和列操作 支持设置IP白名单 MaxCompute支持设置VPC网络的IP白名单。2019-10-28 全部区域 管理IP白名单 2019-09 ...
列存索引中HashMatch算子的实现
ProbeDisk用于磁盘分区的probe操作，按分区来处理，处理指定磁盘分区时先从该分区的临时文件中加载chunk，然后直接调用Probe处理，若为Left类型的Join，还需要调用ProbeLeft对该分区进行处理。Join逻辑 HashMatch实现Inner/LeftOuter/...
CREATE MATERIALIZED VIEW
基于满足物化视图场景的数据创建物化视图，支持分区和聚簇场景。背景信息 视图 是一种虚拟表，任何对视图的查询，都会转换为视图SQL语句的查询。而物化视图是一种特殊的物理表，物化视图会存储实际的数据，占用存储资源。更多物化视图计费...
创建MaxCompute投递任务（新版）
log_source|log_time|log_topic|time|ip|thread|log_extract_others|log_partition_time|status|+-+-+-+-+-+-+-+-+-+|10.10.*.*|1642942213|24/Jan/2022:20:50:13+0800|10.10.*.*|414579208|{"url":"POST/PutData?Category=...
物化视图操作
插入分区数据 insert into mf_t1 partition(ds='1')values(1,10,'kyle'),(3,20,'john');查询数据 select*from mf_t1 where ds='1';id|value|name|ds|+-+-+-+-+|1|10|kyle|1|3|20|john|1|+-+-+-+-+-示例1：创建以ds为分区列的物化视图 ...
何时选择LIST分区
LIST分区根据数据的枚举值进行分区。以下示例为北京、天津、内蒙、河北的所有客户存储在一个分区中，其他省市的客户存储在不同的分区中。按区域分析账户的管理人员可以利用分区剪枝。区域 编号 华北（p_cn_north）1:BJ,2:TJ,3:HB,4:NM 华南...
Kafka增量数据同步至MaxCompute
本文以将Kafka增量数据同步至MaxCompute的一个实践为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且...
Kafka增量数据同步至MaxCompute
本文以将Kafka增量数据同步至MaxCompute的一个实践为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且...
Kafka Rebalancer工具介绍
kafka-rebalancer.sh-zookeeper master-1-1:2181/emr-kafka-preferred-election-bootstrap-server core-1-1:9092-topics elelction-topic balance-disks 该功能用于均衡节点内的磁盘分区副本分配，是对kafka-reassign-partitions.sh相应...
为容器节点扩容系统盘
通过扩容容器节点的系统盘，可以帮您解决集群中节点系统盘水位告急、...df-hl 预期输出：由预期输出可知：磁盘分区/dev/vda1 文件系统容量和 步骤二：扩容节点系统盘大小 中控制台示例扩容容量（200 GiB）基本一致，表示节点系统盘扩容成功。
INTERVAL RANGE分区
INTERVAL RANGE分区是RANGE分区的扩展，当新插入的数据超过现有分区的范围时，该分区允许数据库自动创建新分区。INTERVAL RANGE分区需要包含Interval子句并为新分区指定范围大小。范围划分的高值由范围划分键值决定，当插入的数据值超过了...
在Linux实例使用df命令查看磁盘的容量与购买容量不符
概述 在Linux系统的ECS实例使用 df-h 命令查看磁盘容量，发现与购买时选择的磁盘容量不符。详细信息 本文以购买的200G磁盘为例，说明为何在Linux系统格式化挂载后只显示197G，并说明为何Used参数值加Avail参数值的和与Size参数值不符。...
创建虚拟机并安装操作系统
在磁盘分区加载页面，按 shift 和 F10 键打开命令行窗口，执行 diskpart 命令，打开Microsoft DiskPart分区工具。执行以下命令，查看当前系统安装的磁盘信息。list disk 系统显示类似如下信息。执行以下命令，选择硬盘。select disk 0 系统...
回切至本地物理机
如果扩充的是包含系统分区的磁盘，那么扩充的这部分空间会被ECS自动填充给系统分区，这样在恢复到本地的物理机时可能会出现分区越界的问题。如果系统分区相对源端机器被扩容，将会收缩相应的空间，确保和源端机器保持一致。反向注册。确认...
PolarDB MySQL版DDL操作指南
ERROR 0A000:ALGORITHM=INPLACE is not supported.Reason:Cannot change column type INPLACE.Try ALGORITHM=COPY.VARCHAR类型属于变长存储类型，磁盘仅存储实际长度，因此建议您在使用VARCHAR类型的字段时，考虑将最大长度直接调整到256个...
CREATE TABLE
创建非分区表、分区表、外部表或聚簇表。限制条件 分区表的分区层级不能超过6级。例如某张表以日期为分区列，分区层级为 年/月/周/日/时/分。一张表允许的分区个数支持按照具体的项目配置，默认为6万个。更多表的限制条件，请参见 SQL使用...
使用pg_pathman插件
支持自动分区管理（通过函数接口创建分区，自动将主表数据迁移到分区表），或手工分区管理（通过函数实现，将已有的表绑定到分区表，或者从分区表剥离）。支持的分区字段类型包括int、float、date以及其他常用类型，包括自定义的domain。...
使用pg_pathman插件
支持自动分区管理（通过函数接口创建分区，自动将主表数据迁移到分区表），或手工分区管理（通过函数实现，将已有的表绑定到分区表，或者从分区表剥离）。支持的分区字段类型包括int、float、date以及其他常用类型，包括自定义的domain。...
解决Windows实例中无法查看数据盘问题
新购买磁盘未进行分区和格式化 警告 磁盘分区、格式化等操作风险比较高，请慎重操作。操作前请务必对ECS实例的数据盘 创建快照，以避免数据丢失。新购买的数据盘，如果未进行过分区、格式化，在Windows系统内不会显示。新购买数据盘的分区...
写入数据到分区表
prod_name|cnt|y|m|+-+|鼠标|1|2019|3|显示器|2|2019|3|键盘|4|2019|3|办公桌|100|2018|12|椅子|150|2018|12| 步骤六：向分区表插入一条数据 insert into dla values("硬盘",10,"2019","3");select*from dla;prod_name|cnt|y|m|+-+|...
表操作
当使用分区字段对表进行分区时，新增分区、更新分区内数据和读取分区数据均不需要做全表扫描，提高处理效率。col_comment：分区列的注释内容。注释内容为长度不超过1024字节的有效字符串，否则报错。说明 分区值不能包含双字节字符（如中文...
桌面迁移
分区<N>：SMC能够根据迁移源的磁盘分区结果自动生成目标磁盘分区，单位为GiB。变量表示第几个分区。如果迁移源的系统盘是单分区结构，则只会生成 分区0。块复制：开启 块复制 后，能够获取更高的传输速度和更完整一致的分区数据。默认开启 ...
- 产品推荐
- 这些文档可能帮助您