动态分区存储管理实验-动态分区存储管理实验文档介绍内容-阿里云

对象存储OSS

存储类型 OSS提供标准存储、低频访问存储、归档存储、冷归档存储和深度冷归档存储多种存储类型，全面覆盖从热到冷的各种数据存储场景。存储类型说明标准存储提供高可靠、高可用、高性能的对象存储服务，能够支持频繁的数据访问。适用于...

使用限制

本文介绍对象存储OSS的一些使用限制及性能指标。带宽单个阿里云账号在各地域的最大带宽限制如下：地域内外网总下载带宽外网下载带宽内外网总上传带宽外网上传带宽华东2（上海）100 Gbps 10 Gbps 20 Gbps 10 Gbps 华南1（深圳）100 ...

DROP PARTITION

本文档介绍了删除分区和子分区以及存储在分区和子分区内数据的方法。语法 ALTER TABLE…DROP PARTITION 命令用于删除分区和子分区及存储在分区和子分区内的数据。ALTER TABLE table_name DROP PARTITION partition_names;说明该命令不可以...

配置规则：按表（单表）

多级分区表达式 1级分区名=分区值/2级分区名=分区值/N级分区名=分区值分区值可以是固定值，也可以是内置参数表达式。参数必须使用中括号表示，例如，$[yyyymmdd-N]。分区表必须配置到最后一级分区。DataWorks为您提供了部分内置的业务日期...

路由到对象存储OSS

本文介绍如何创建使用OSS Sink Connector，您可以通过OSS Sink Connector将数据从云消息队列 Kafka 版的数据源Topic导出至对象存储OSS的Object中。前提条件详细步骤，请参见创建前提。注意事项 Connector基于事件被处理的时间做时间...

动态修改schema

如果由于业务变更、性能优化等情况需要在多元索引中新增、更新或者删除索引列以及修改多元索引的路由键和预排序方式，您可以通过动态修改多元索引的schema实现。动态修改schema操作包括为源索引创建灰度索引并修改多元索引schema、等待表...

功能特性

非分区表分区分区表是指拥有分区空间的表，即在创建表时指定表内的一个或者某几个字段作为分区列。分区表实际就是对应分布式文件系统上的独立的文件夹，一个分区对应一个文件夹，文件夹下是对应分区所有的数据文件。分区表外部表 OSS...

创建OSS Sink Connector（新版）

本文介绍如何创建使用OSS Sink Connector，您可以通过OSS Sink Connector将数据从云消息队列 Kafka 版的数据源Topic导出至对象存储OSS的Object中。前提条件详细步骤，请参见创建前提。注意事项 Connector基于事件被处理的时间做时间...

PolarDB MySQL版DDL操作指南

此外，您也可以使用 ALTER TABLE 语句的ALGORITHM和LOCK子句对DDL的行为做精细化管理：ALGORITHM子句：为了使用指定算法执行DDL语句，您可以指定ALGORITHM字段，可选的值有DEFAULT、INSTANT、INPLACE和COPY。当DDL操作不支持该算法时，会...

通过SLS完成日志数据入湖OSS

数据湖支持在低存储成本的情况下，更好地满足数据长期存储、查询、分析、读取等需求。本文介绍通过日志服务SLS完成日志数据入湖的操作方式。前提条件已在日志服务Project所在的地域创建Bucket。具体操作，请参见控制台创建存储空间。背景...

分区和列操作

合并分区对分区表的分区进行合并，即同一个分区表下的多个分区合并成一个分区，同时删除被合并的分区维度的信息，把数据移动到指定分区。清空分区数据清空指定分区的数据。列操作添加列或注释为已存在的非分区表或分区表添加列或注释。...

数据脱敏

数据安全中心（Data Security Center，简称DSC）支持静态脱敏和动态脱敏，可以脱敏数据库中的敏感数据。本文介绍如何使用静态脱敏和动态脱敏。脱敏方式静态脱敏：通过新增脱敏任务，使用脱敏算法对敏感数据进行遮盖、加密或替换，并将脱敏...

创建ID安全匹配任务

隐私集合求交任务可用于求双方数据交集（适用于两方数据量级相差百万以下）。本文为您介绍如何创建TrustDA/PSI任务。场景描述 A有一张数据表demo_psi_a_in，存有设备信息，id_int作为主键；B有一张数据表demo_psi_b_in...详情请参见任务管理。

动态过滤器（Dynamic Filter）

打开动态分区裁剪功能后，优化器会根据表是否是分区表来决定是否采用动态分区裁剪功能。动态分区裁剪功能生效后，MaxCompute会采集小表侧数据生成Bloom Filter，然后过滤大表侧的分区列表，再把需要读取的分区列表聚合，裁剪掉不需要扫描的...

动态过滤器（Dynamic Filter）

打开动态分区裁剪功能后，优化器会根据表是否是分区表来决定是否采用动态分区裁剪功能。动态分区裁剪功能生效后，MaxCompute会采集小表侧数据生成Bloom Filter，然后过滤大表侧的分区列表，再把需要读取的分区列表聚合，裁剪掉不需要扫描的...

概述

组合分区提供了二维分区的优点。从性能的角度来看，您可以根据SQL语句在一个或两个...数据库将二级分区表中的每个子分区存储为一个单独的物理表。因此，子分区的属性是独立的，可以与表的属性或子分区所属的一级分区不同，使用中更加灵活。

Tablestore HBase Client 支持的功能

表格存储中数据存储和管理的基本单位为，表格存储会自动地根据数据分区的数据大小、访问情况进行分裂或者合并，所以不支持 HBase 中 Region 管理相关的方法。Snapshots 表格存储目前不支持 Snapshots，所以暂时不支持 Snapshots 相关的方法...

原理

将表定义存储到表的Option结构上，包括这些数据需要存储：interval_expr：这个结构存储间隔分区的间隔大小 sub_part_strategy/sub_part_params：存储二级分区的分区键和分区类型信息 partition_template_list：存储了模版分区列表，用于...

创建混合分区

混合分区原理如下图所示：混合分区的基本原理是将分区表中的分区存储在不同的存储介质上，以达到冷热数据分离管理的目的。比如将热数据存储在本地PFS上，冷数据存储在OSS上，这样可以极大地降低冷数据的存储成本，且不影响热数据的查询性能...

查看低频/归档存储文件

您可以通过NAS控制台查看已转储至低频存储或归档存储中的文件、低频存储或归档存储使用量以及该文件最近一次被访问的时间等信息。查看低频/归档存储文件使用量登录 NAS控制台。在左侧导航栏，选择生命周期管理>低频/归档存储文件管理。在...

配置MaxCompute输出

实时同步写入MCompute表支持时间自动分区与根据字段内容动态分区 两种分区方式时间自动分区：根据_execute_time_字段将数据写入到对应时间分区中，详情请参见实时同步字段格式,重要您最少需要设置二级分区（月和年），最多支持设置五...

数据表-数据概况

功能说明在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...

NAS存储卷概述

前提条件使用NAS数据卷之前，您需要在文件存储管理控制台上创建文件系统，并在文件系统中添加挂载点。创建的NAS文件系统挂载点需要和您的集群位于同一VPC。例如，您的挂载点为 055f84ad83-ixxxx.cn-hangzhou.nas.aliyuncs.com 格式。...

Hudi存储

分区级生命周期管理支持设置多种策略，如按分区数、按数据量和按过期时间策略管理分区数据生命周期，同时支持并发设置生命周期管理策略，进一步降低存储成本。异步Table Service 支持异步Table Service服务，与写入链路完全隔离，对写入...

分区表简介

本文详细介绍了 PolarDB PostgreSQL版分区表功能的优势和特性。概述在 PolarDB PostgreSQL版...语法关于各分区类型的分区表的相关命令及说明，例如创建分区表、添加分区至分区表、合并分区、拆分分区、删除分区等，请参见分区表命令列表。

分区表简介

本文详细介绍了 PolarDB PostgreSQL版（兼容Oracle）分区表功能的优势和特性。...语法关于各分区类型的分区表的相关命令及说明，例如创建分区表、添加分区至分区表、合并分区、拆分分区、删除分区等，请参见分区表命令列表。

分区表简介

本文详细介绍了 PolarDB PostgreSQL版（兼容Oracle）分区表功能的优势和特性。...语法关于各分区类型的分区表的相关命令及说明，例如创建分区表、添加分区至分区表、合并分区、拆分分区、删除分区等，请参见分区表命令列表。

分区投影

背景信息当您把数据存储在OSS或HDFS上，并建立大量的分区管理这些数据。DLA Presto在分析这些数据时，会花费大量的时间从元数据系统中获取分区，从而影响查询性能。通过使用分区投影功能，根据表的配置DLA Presto可以直接计算得出分区值和...

宽表模型介绍

支持多版本数据存储以及数据生命周期管理，可以有效的管理数据，减少数据存储空间，降低存储成本。使用宽表模型您可以通过以下方式进行表操作和数据操作。使用控制台使用命令行工具使用SDK 表操作写入数据、读取数据和删除数据

何时选择LIST分区

以下示例为北京、天津、内蒙、河北的所有客户存储在一个分区中，其他省市的客户存储在不同的分区中。按区域分析账户的管理人员可以利用分区剪枝。区域编号华北（p_cn_north）1:BJ,2:TJ,3:HB,4:NM 华南（p_cn_south）5:GD,6:GX,7:HN 华东...

表格存储建表注意事项

主键的第一列为分区键，可以理解为当表的数据量达到一个设定值时，表格存储会根据分区键列值的范围来进行分区的操作，通过分区来达到数据访问负载均衡的目的。建表时，表内的数据默认拥有一个分区，即该表的所有数据在一个数据分区上。当表...

创建和管理自定义存储表

物联网平台数据服务提供离线数据存储功能，支持自定义分区表、事务表和时序表。自定义存储表可以作为数据服务中数据解析、SQL分析任务和数据可视化的数据源，可以作为数据解析、SQL分析任务的结果输出表，可以集成时序表数据到实时计算...

自定义分区

本文为您介绍迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户时，CREATE TABLE DDL 自定义分区的支持转换范围。自定义 range 分区自定义 range 分区 range_partition_desc 的语法如下：PARTITION[partition]range_values_clause...