上下游存储
增量MaxCompute源表监听到新分区时，如果该分区还有数据没有写完，如何处理？MaxCompute连接器运行报错：ErrorMessage=Authorization Failed[4019],You have NO privilege 如何填写增量MaxCompute的startPartition参数？为什么带有增量...
访问列存数据
分区 删除分区 您可以通过DELETE FROM语法指定WHERE条件匹配分区来删除分区，示例如下。USE lindorm_columnar;DELETE FROM mydb.mytable WHERE city='beijing';DML 表 在表中插入数据 示例一：USE lindorm_columnar;INSERT INTO mydb....
Interval分区
背景说明 Oracle 11g的范围分区表中新增的Interval分区特性，此种范围分区不需要定义MAXVALUE，Oracle会根据分区定义的步长来动态的分配新分区来容纳超过范围的数据。create table BIGTABLE_LOG(record_date DATE,col_1 VARCHAR2(2000),col...
ALTER TABLE…EXCHANGE PARTITION
ALTER TABLE…EXCHANGE PARTITION命令可以用一个分区或子分区交换现有的表。语法介绍 如果您打算添加大量的数据到分区表中，可以使用ALTER TABLE…EXCHANGE PARTITION命令来进行批量加载。您也可以使用ALTER TABLE…EXCHANGE PARTITION命令...
皮尔森系数
说明 多个分区之间用英文逗号（,）分隔。指定多级分区，格式为 name1=value1/name2=value2。否 col1Name 输入列1的列名。是 col2Name 输入列2的列名。是 outputTableName 输出结果表的表名。是 lifecycle 输出表的生命周期。系统默认无生命...
如何使用表分区？
使用表分区功能，方便您定期进行数据删除（通过alter table drop partition命令可删除整个分区的数据）和导入（使用交换分区的方式，即alter table exchange partition命令可以加入新数据分区）。AnalyticDB PostgreSQL版 支持Range ...
ALTER TABLE…SPLIT SUBPARTITION
ALTER TABLE…SPLIT SUBPARTITION命令用于将子分区添加到现有的子分区表中。语法介绍 使用ALTER TABLE…SPLIT SUBPARTITION命令将一个子分区划分为两个子分区，并重新分配子分区的内容。ALTER TABLE…SPLIT SUBPARTITION命令有两种形式：第...
StarRocks物理表和字段详情
多级分区将按照各级分区组合结果展示，不同分区之间用/连接。例如：ds=20221001/pt1=a/pt2=b。注意：分区记录数和存储量信息仅供参考。说明 当数据表为 物理表（内部表）时，使用Less Than和fixed range创建分区时，为您展示分区名、分区...
分区和列操作
分区和列操作为您提供了变更MaxCompute中表的分区或列的操作方法，您可以根据实际业务场景执行相应操作。本文为您介绍如何添加或删除分区、添加或修改列及注释常用操作。分区和列操作详情请参见 分区和列操作。分区和列操作常用命令如下。...
使用Logstash（流式数据传输）
多级分区之间用英文逗号（,）连接，分区指定的顺序和建表时的顺序必须一致。partition_time_format 可选。指定当一个字符串型的日期时间字段被分区信息引用时，该字段的 源格式字符串。在本例中，时间字段 timestamp 已经被 date 插件转换...
Logview诊断实践
子查询 SELECT DISTINCT ds FROM t_ds_set 先执行，其结果需要被用来做分区裁剪，来优化主查询需要读取的分区数。这两次运行分别是两个Fuxi作业，Logview中体现的是两个 tab 页来显示：第一个 tab 页显示 job_0 全部成功，实际上第二个 tab...
数据分层存储
分区表 创建分区表的存储策略 分区表也可以通过 SET_TABLE_PROPERTY 来设置表的存储策略，分区子表默认继承父表的存储属性，也可以分别设置父表和子表的存储策略。支持的选项有：hot（热存储）。cold（冷存储）。例如将分区父表（tbl2）...
添加及管理监控对象
批量操作项 运行 可根据配置的调度或自定义分区来批量运行数据表，非分区表可选择校验全表。说明 校验范围默认对分区表和非分区表生效；批量运行时，可以选择非分区表按照全表校验，分区表仍按照配置的校验范围生效。批量运行时，建议选择...
添加及管理监控对象
批量操作项 运行 可根据配置的调度或自定义分区来批量运行数据表，非分区表可选择校验全表。说明 校验范围默认对分区表和非分区表生效；批量运行时，可以选择非分区表按照全表校验，分区表仍按照配置的校验范围生效。批量运行时，建议选择...
物化视图和字段资产详情
多级分区将按照各级分区组合结果展示，不同分区之间用/连接。例如：ds=20221001/pt1=a/pt2=b。说明 仅当物化视图有分区字段为您展示分区信息。分区记录数和存储量信息仅供参考。数据预览：若有当前表的查询权限，可以使用数据预览功能，...
星环ArgoDB/TDH Inceptor物理表和字段详情
多级分区将按照各级分区组合结果展示，不同分区之间用/连接。例如：ds=20221001/pt1=a/pt2=b。注意：分区记录数和存储量信息仅供参考。说明 当分区为 值分区 时，为您展示分区名、记录数、存储量、创建时间信息。当分区为 范围分区 时，为...
Linux实例磁盘扩容后同步空间到逻辑卷分区
问题原因 系统分区做了逻辑分区，磁盘扩容成功后，没有进行相应的逻辑分区扩容。解决方案 说明 如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置...
原理
根据颜色我们可以大致将其分为如下几个模块，后续由这些模块的结合来完成分区创建过程：Interval分区模块 一级分区模块 二级子分区模块 分区模板模块 二级节点列表模块 语法执行模块 执行器根据步骤大致分为以下三个部分。转储表定义存储...
回切至本地物理机
如果扩充的是包含系统分区的磁盘，那么扩充的这部分空间会被ECS自动填充给系统分区，这样在恢复到本地的物理机时可能会出现分区越界的问题。如果系统分区相对源端机器被扩容，将会收缩相应的空间，确保和源端机器保持一致。反向注册。确认...
分区和列操作
合并分区 对分区表的分区进行合并，即同一个分区表下的多个分区合并成一个分区，同时删除被合并的分区维度的信息，把数据移动到指定分区。清空分区数据 清空指定分区的数据。列操作 添加列或注释 为已存在的非分区表或分区表添加列或注释。...
系统管理函数
这一节描述的函数被用来控制和监视一个本数据库安装。配置设定函数 下表展示了那些可以用于查询以及修改运行时配置参数的函数。配置设定函数 current_setting(setting_name text[,missing_ok boolean])→text 返回设置的 setting_name 的...
数据管理
OPTIMIZ命令支持如下操作：针对分区表，可以通过指定分区来进行优化。在进行正常Compact优化时，可以通过指定非分区字段进行ZOrder排序，以调整数据布局。代码示例如下。set spark.databricks.delta.stats.skipping=true;set spark....
集群资源规格评估
对于 云消息队列 Confluent 版 集群来说，影响资源使用的因素众多，包括使用的业务场景、业务应用程序性能等，本文结合一般场景给出 云消息队列 Confluent 版 集群资源评估参考建议，帮助您在购买创建集群时评估集群规模。在集群创建完成后...
Windows实例中数据恢复
硬件层故障也可能导致磁盘分区信息丢失。底层与磁盘相关的驱动或应用，例如您使用的DiskProbe工具就可以直接修改磁盘的表结构。计算机病毒。如何修复磁盘，请参见微软官方文档 Dskprobe Overview。此外，Windows下有大量免费或商业的数据...
集群资源规格评估建议
估算每个Broker的磁盘大小：每个Broker的磁盘大小=Max（1TB，数据平均流入*数据保留时长*分区副本因子/Broker节点数）。Connect资源评估 节点数评估：建议选择2个节点以上以保证Connect为高可用的。CU评估：建议选择每个节点8CU以上。...
何时使用Range-Range分区
Range-Range分区是指一级分区是Range分区，二级分区也是Range分区的组合分区类型。Range-Range分区适用于在多个时间维度上存储与时间相关的数据应用程序，这些应用程序通常不使用某个特定的时间维度来访问数据，而是使用另一个时间维度，...
Kafka常见问题
Kafka数据日志目录Log Directory磁盘写满 当Kafka数据日志目录磁盘被写满，会导致相应的Log Directory异常Offline，您可以参见 EMR Kafka磁盘写满运维，选择合适的方法进行处理。报错“Too many open files”问题分析：分区过多或者网络...
使用pg_pathman插件
支持自动分区管理（通过函数接口创建分区，自动将主表数据迁移到分区表），或手工分区管理（通过函数实现，将已有的表绑定到分区表，或者从分区表剥离）。支持的分区字段类型包括int、float、date以及其他常用类型，包括自定义的domain。...
使用pg_pathman插件
支持自动分区管理（通过函数接口创建分区，自动将主表数据迁移到分区表），或手工分区管理（通过函数实现，将已有的表绑定到分区表，或者从分区表剥离）。支持的分区字段类型包括int、float、date以及其他常用类型，包括自定义的domain。...
名称解释
分区表（一级分区）HybridDB for MySQL中的表从建模的维度看，可以分为事实表（fact table）和维度表（dimension table），事实表是指分区表（通常是一级分区表），即需要被拆分到不同节点去存储的表，在建表的时候指定分区键就可以生成...
挂载数据盘
说明 分区表本身和对分区进行扇区对齐时需要占用1～2 MiB的空间，分区功能会自动缩减最后一个分区的大小来预留出所需要的空间。所以分区后的实际大小可能会略小于所制定的分区大小，总的可用容量也会稍小于云盘总容量。文件系统仅支持ext4...
Linux实例SWAP分区的配置和常见问题处理
mnt/swap swap swap defaults 0 0 注：/mnt/swap 路径可以修改，可以根据创建的SWAP分区文件具体路径来配置。执行以下命令，临时修改 swappiness 参数值，此处以空闲内存少于10%时才使用SWAP分区为例。提示：在Linux系统中，可以通过查看/...
快照创建的磁盘挂载到Windows系统无法显示分区
问题描述 快照创建的磁盘，挂载到 Windows 无法正常显示分区，无法读取磁盘中的文件，如图所示。问题原因 误将Linux系统的文件系统挂载到了Windows主机。解决方案 误将Linux系统的文件系统，如ext3、ext4和xfs等格式的磁盘创建快照挂载到了...
分区裁剪
在扫描分区表前，能通过检查分区约束条件与每个分区的定义，提前排除不需要扫描的分区，大大减少从磁盘中读取的数据量，从而缩短运行时间，改善查询性能，减少资源浪费。云原生数据仓库AnalyticDB PostgreSQL版 支持按列分区。分区表能够将...
通过外表导入至数仓版
说明 TABLE_PROPERTIES 中的 partition_column 属性必须声明分区列（本例中的p1、p2、p3）且 partition_column 属性里必须严格按照第1级、第2级、第3级的顺序声明（本例中p1为第1级分区，p2为第2级分区，p3为第3级分区）。列定义中必须定义...
基本概念
分区数的选择通常根据吞吐量和并发性能的需求来决定。副本数 云消息队列 Kafka 版 允许为每个分区创建多个副本，以提供数据冗余和高可用性。副本数是指每个分区存在的副本数量。副本数的选择通常是根据可用性和容错能力的需求来决定。较多...
Dataphin的管道同步任务中如何配置多分区值和多分区...
问题描述 Dataphin的管道同步任务中如何配置使用多分区值和多分区字段来进行数据同步？解决方案 配置使用多分区和多分区字段的方法示例参考（数据源是Maxcompute）：/*query*/sale_date>=20190311 and sale_date适用于 Dataphin 基于公共云...
分区管理
自定义分区创建策略 自定义分区创建策略是通过 SQL 表达式来生成分区的上界，分为以下 3 个步骤：通过 SQL 表达式获取基准时间：基准时间是指分区生成时所依赖的起始时间。以分区计划运行的时间为起始时间：直接使用 now()或者 sysdate。以...
常见问题
磁盘容量评估，可以按照压缩比3，磁盘利用率70%~75%作为上限来进行评估。如果导入到SR的数据是Parquet或Orc的Hive数据，则压缩比按照1：1来评估。例如，Hive数据是3T，则导入StarRocks的数据也是3T。CPU CPU必须支持AVX2指令集，可以通过 ...
容量中心
单击 查看使用趋势，在右侧弹窗中，可选择特定时间段来查看磁盘的使用量趋势。查看租户最近 7 天的容量使用明细，包括租户 CPU、内存、存储、日志盘和连接数。被识别有风险的容量检测指标显示为红色。查看租户容量信息。选择指定租户进行...
- 产品推荐
- 这些文档可能帮助您