配置MaxCompute输入组件
同时支持填写范围分区，如/*query*/ds>=202101 and ds，则采集202101至202108的分区数据。分区不存在时 可选择以下策略，处理当指定分区不存在时的场景：置任务失败：终止该任务并置失败。置任务成功，无写入数据：任务正常运行成功，无...
名词解释
下表列出了 AnalyticDB PostgreSQL 所涉及到的基本概念：名词 解释 MPP Massively ...数据分布 MPP架构下，表的数据按分区键存储在不同数据分区上，是全并行计算中的一个计算执行和存储单元。常见的分布方式有哈希分布，随机分布，复制分布。
配置MaxCompute输入组件
同时支持填写范围分区，如/*query*/ds>=202101 and ds，则采集202101至202108的分区数据。分区不存在时 可选择以下策略，处理当指定分区不存在时的场景：置任务失败：终止该任务并置失败。置任务成功，无写入数据：任务正常运行成功，无...
常用SQL
针对源端为OSS的元数据操作 MSCK REPAIR TABLE：同步OSS数据源上实际的数据分区信息到元数据分区中。MSCK REPAIR TABLE SYNC_DIR：同步OSS数据源一个目录的分区信息到元数据分区中。针对源端为数据库的元数据操作 MSCK REPAIR DATABASE：...
ODPS-0123031
解决方案 当某张表超出 60000 个分区时，你可以通过以下方式解决：1）通过设置表生命周期，系统自动删除过期的分区数据与分区，详情请参考 生命周期操作。2）您可以合并历史分区数据，例如把历史一个的数据合并成一个分区，详情可以参考 ...
访问列存数据
分区整理 在列存分区写入数据，经过一段时间后，您可以执行 rewrite_data_files 命令，整理分区数据，减少数据冗余，提升数据查询性能。示例一：USE lindorm_columnar;CALL lindorm_columnar.system.rewrite_data_files(table=>'mydb....
分区表达式介绍
日期表达式说明，当5月份的分区数据产出的时候，将进行如下计算：第一步：计算yyyyMMld，即是取给定日期所在月的最后一天，5月最后一天为31日，得到结果：20220531。第二步：计算DELTA，DELTA为减1天，20220531减1天为20220530。最终结果为...
分区表达式介绍
日期表达式说明，当5月份的分区数据产出的时候，将进行如下计算：第一步：计算yyyyMMld，即是取给定日期所在月的最后一天，5月最后一天为31日，得到结果：20220531。第二步：计算DELTA，DELTA为减1天，20220531减1天为20220530。最终结果为...
测试模型
属性列名 类型 长度 field0 string 100 field1 string 100 field2 string 100 field3 string 100 field4 string 100 分区数量 表格存储的自动负载均衡机制能够根据表下各个分区的数据量、访问压力对数据分区进行动态的分裂，该过程不需要...
INSERT OVERWRITE SELECT
如果表是分区表，INSERT OVERWRITE SELECT 只能覆盖数据涉及到的分区，数据未涉及的分区不会被清空并覆盖写入。如果表是非分区表，INSERT OVERWRITE SELECT 会清空整表的旧数据，并批量写入新数据。每个表的写入任务串行执行，即单表写入...
动态过滤器（Dynamic Filter）
当JOIN Key为分区列时，动态范围过滤器或布隆过滤器（Dynamic Range|Bloom Filter）仍然可用，但MaxCompute会读取完整个分区的数据后再过滤数据，读取分区数据的过程可以进一步优化。即在读取数据前，将无用的分区裁剪掉，即动态分区裁剪...
动态过滤器（Dynamic Filter）
当JOIN Key为分区列时，动态范围过滤器或布隆过滤器（Dynamic Range|Bloom Filter）仍然可用，但MaxCompute会读取完整个分区的数据后再过滤数据，读取分区数据的过程可以进一步优化。即在读取数据前，将无用的分区裁剪掉，即动态分区裁剪...
数据建模
时间分区 时间分区会按照时间维度进行数据分区存储，存储底层会将不同时间分区内的数据进行分段存储，一个时间分区内的数据包含时间线索引和时序数据。时序引擎支持在数据库设置时间分区，一般情况下，如果创建周期性时间线导致了时间线...
分区
部分对分区操作的SQL的运行效率较低，会给您带来较高的费用，例如 插入或覆写动态分区数据（DYNAMIC PARTITION）。对于部分操作MaxCompute的命令，处理分区表和非分区表时语法有差别，详情请参见 表操作 和 INSERT操作。使用限制 单表分区...
确认表血缘
任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
离线同步数据质量排查
以MaxCompute、Hologres为例，2个任务写同一个分区数据（同步前清理分区数据 truncate），第一个任务写出的数据可能会被第2个同步任务清理掉。关系数据库配置了前置处理preSql、后置处理postSql等，第一个任务写出的数据可能会被第2个同步...
生命周期
MaxCompute表的生命周期（Lifecycle），指表（分区）数据从最后一次更新的时间算起，在经过指定的时间后没有变动，则此表（分区）将被MaxCompute自动回收。这个指定的时间就是生命周期。通过设置生命周期可以实现自动数据清理或数据保留，...
技术原理
数据分区方式由分区函数决定，PolarDB-X支持哈希（Hash）、范围（Range）等常用的分区函数。以下图为例，shop库中的orders表根据每行数据的ID属性的哈希，被分区水平切分成orders_00～orders_11共计12个分区，均匀分布在4个数据节点上。...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
AUTO模式数据库与DRDS模式数据库
PolarDB-X数据库模式概述 从 PolarDB-X 5.4.13版本开始，新增支持AUTO模式的数据库（也称为自动分区数据库）。AUTO模式的数据库支持自动分区，即创建表时无需指定分区键，数据即可自动在集群内均匀分布；同时也支持使用标准的MySQL分区表语...
使用存储过程将数据导入Hologres内部表（Beta）
示例返回结果如下：示例2：MaxCompute分区数据导入查询 准备MaxCompute的分区表数据。在MaxCompute中创建一张分区表，其表DDL以及数据如下。DROP TABLE IF EXISTS odps_sale_detail;CREATE TABLE IF NOT EXISTS odps_sale_detail(shop_name...
分区设计
用户存有海量数据的表应该按照数据规模进行拆解，表的数据将拆解成多个数据分区独立存储，通常的设计原则是：主键（Primary Key）单实例数据库不要求表一定要有主键，但是对于分布式数据库，主键则是必须的，以保证一行数据是全局唯一的，...
表分区定义
查询条件在一级分区2008的二级子分区1的三级子分区usa上，查询只会扫描读取这一个三级子分区数据。如下查询计划所示，总计468个三级子分区中，只需要读取一个分区。Gather Motion 4:1(slice1;segments:4)(cost=0.00.431.00 rows=1 width=24...
数据存储
数据分区 云数据库SelectDB所有的数据模型都支持两层的数据分区：第一层是Partition分区，支持Range和List的划分方式，典型场景下按照时间进行Range分区，方便数据查询裁剪和过期清理等。SelectDB支持简单易用的动态分区方式，简化分区管理...
创建服务器迁移任务
如果迁移源的数据盘是单分区结构，则只会生成 分区0。说明 若您的迁移源没有数据盘，或数据盘未挂载，则不会出现 数据盘 配置项。更多信息，请参见 为什么新建迁移任务页面没有出现数据盘配置项？块复制 SMC会根据迁移源磁盘分区状态进行...
从MaxCompute批量导入导出
实时导入MaxCompute非分区表 insert into hybriddb_nopart_import_test select*from odps_nopart_import_test_external_table#实时导入MaxCompute分区表某个分区数据 insert into hybriddb_part_import_test select*from hybriddb_part_...
图编辑
Inverted INDEX：需配置索引字段和pkey（主键）字段 字段结构 该数据表包含的字段属性 导入字段：如果是MaxCompute数据源，提前进行可读权限授权，具体请参考 离线存储授权 数据TTL及Done分区 数据TTL:数据生命周期 如果是API更新（即增量...
单元化介绍
若是以用户分区数据，那交易、收单、微贷、支付、账务等全链路业务都应该基于用户维度拆分数据，并且采用一样的规则拆分出同样的分区数。比如，以用户 id 末 2 位作为标识，将每个业务的全量数据都划分为 100 个分区（00-99）。有了以上两...
归档为CSV或ORC格式
暂不支持对归档后的分区数据进行修改。暂不支持对分区表中的二级分区执行冷数据归档操作。暂不支持对LIST DEFAULT HASH分区表的DEFAULT分区执行冷数据归档操作。暂不支持对HASH或KEY类型的分区表执行冷数据归档操作。暂不支持对整张分区表...
ListPartitionsProfile-获取分区数据概况
获取分区数据概况的详细信息。接口说明 使用数据概况需要先将该表的 OSS Bucket 进行 Location 托管。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 ...
批量或异步插入数据
因为创建的数据分区会在后台合并成更大的分区（以优化读取查询的数据），每秒发送太多的插入查询可能会导致后台合并无法跟上新分区的数量。然而，当您使用异步插入数据时，可以使用更高速的插入查询速率。异步插入数据的详细信息，请参见 ...
分区裁剪
分区表能够将大的事实表分解成多个小表，根据查询条件自动跳过不满足条件的分区数据，从而提高查询效率。分区裁剪（Partition Pruning）是数据库分区表中常用的性能优化手段。使用限制 仅支持分区表。仅支持在Range或List分区列上使用范围...
生命周期管理介绍
例如：订单表（按pt分区，如pt=20220101），业务诉求为仅分析近3年数据，而历史分区数据期望转为冷归档，降低存储使用成本。此类场景，可以配置按分区值规则类型进行定期归档。业务A的数据库A，因为业务A不再发展，历史数据暂时封存，可以...
宽表模型介绍
表格存储 按照分区键对数据表的数据进行分区，具有相同分区键的行会被划分到同一个分区，实现数据访问负载均衡。属性列（Attribute Column）一行中除主键列外，其余都是属性列。属性列会对应多个值，不同值对应不同的版本，每行的属性列...
- 产品推荐
- 这些文档可能帮助您