内置存储与用户OSS

数据库备份DBS提供数据库的备份恢复能力,备份数据保存在云存储上,云存储支持内置存储、用户OSS。对比项 DBS内置存储 用户OSS 安全性 客户无法直接访问备份集。已接入DBS安全权限体系。客户可直接访问备份集。需要自行管理备份集安全。...

【通知】DBS内置存储出账策略调整

数据库备份DBS 将于2023年08月10日起逐步将DBS内置存储账单出账策略调整为按备份计划维度出账。背景信息 为了提升用户的产品使用体验,自2023年08月10日起,数据库备份DBS 将逐步调整 内置存储 账单的出账策略。原来账单是按照用户地域维度...

计费常见问题

备份计划存储费用(可选):配置包年包月备份计划时,当备份目标存储类型选择为 DBS内置存储,系统将根据存入DBS内置存储中的实际数据量的大小与时长收取存储费用。费用详情,请参见 存储费用。备份计划备份费用(可选):若备份计划备份的...

使用存储

存储包是 数据库备份DBS 推出的一种预付费资源包,支持抵扣同一账号下备份实例的内置存储费用、CDM沙箱功能的存储费用 以及MongoDB等云数据库的备份存储费用,抵扣部分不再计费,仅超出部分将按使用量计费。本文介绍DBS存储包的计费规则...

存储费用

数据库备份DBS内置存储池和云数据库存储池默认为按量付费,如需降低存储费用,可购买存储包进行抵扣。存储费用(按量付费)当您在DBS控制台、RDS控制台、PolarDB控制台、MongoDB控制台执行某些备份操作时,产生的备份文件将存储于备份目标...

Hive以EMR集群的方式处理OSS-HDFS服务中的数据

location 必选 指定存储分区的OSS路径。使用示例 以下示例用于为表sale_detail添加一个分区,用于存储2021年12月华东1(杭州)地域的销售记录,并将分区存储于指定的OSS路径。ALTER TABLE sale_detail ADD IF NOT EXISTS PARTITION(sale_...

推荐的挂载方式

对于规模稳定集群,建议使用Kubernetes内置存储卷volume访问文件系统。更多信息,请参见 自建Kubernetes挂载NAS。存储插件使用须知如下:对于新建阿里云容器服务Kubernetes集群,推荐使用CNFS。对于已经创建的阿里云容器服务Kubernetes集群...

文件存储NAS

费用模型 NAS的容量可按照您的业务需求自动配置,您无需事先进行存储分区。相应的,NAS的费用模型也是按量付费。如果文件增加,您也只需支付实际使用的存储空间的费用。如果文件被删除,则会停止相应的计费。您也可以使用包年包月的计费...

Hive使用JindoSDK处理OSS-HDFS服务中的数据

location 必选 指定存储分区的OSS路径。使用示例 以下示例用于为表sale_detail添加一个分区,用于存储2021年12月华东1(杭州)地域的销售记录,并将分区存储于指定的OSS路径。ALTER TABLE sale_detail ADD IF NOT EXISTS PARTITION(sale_...

分区表达式介绍

Dataphin数据质量分区表达式,用于控制质量规则按照数据产出日期匹配触发,系统内置了常用的分区表达式,也允许通过自定义方式进行个性化控制。本文为您介绍分区表达式格式说明、分区表达式计算逻辑、内置分区表达式类型以及常用业务示例...

分区表达式介绍

Dataphin数据质量分区表达式,用于控制质量规则按照数据产出日期匹配触发,系统内置了常用的分区表达式,也允许通过自定义方式进行个性化控制。本文为您介绍分区表达式格式说明、分区表达式计算逻辑、内置分区表达式类型以及常用业务示例...

分层存储

MaxCompute分层存储支持标准存储、低频存储和长期存储,默认情况下为标准存储。您可以根据数据的访问频率,将某些表或分区存储类型设置为低频存储或长期存储,实现数据的冷热分层,以降低数据存储费用。申请开通使用 目前分层存储处于邀...

数据存储冷热分离

假设热分区数为N,数据存储冷热分离策略会按照分区的大小(指定分区列数据的数据值大小)降序排序,最大的N个分区为热分区存储在SSD盘,其余分区为冷分区存储在OSS中,形成冷热分区布局。例如热分区数为4,分区包含20201110、20201109...

概述

支持冷热数据分层存储功能,使用OSS等更低成本的存储介质,将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中,可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能优势 当 开启冷数据分层存储 后,...

按扫描量付费

数据分区:通过分区的方式,把原始数据存储在不同的分区中,DLA只扫描其中的一个或者几个分区,无需扫描所有分区,从而节省扫描费用。计费示例 您在OSS中存储了两个容量均为1 TB的CSV文件和JSON文件,在RDS中存储一个容量为1TB的数据表。...

概述

PolarDB PostgreSQL版(兼容Oracle)支持冷热数据分层存储功能,使用OSS等更低成本的存储介质,将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中,可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能...

概述

组合分区提供了二维分区的优点。从性能的角度来看,您可以根据SQL语句在一个或两个...数据库将二级分区表中的每个子分区存储为一个单独的物理表。因此,子分区的属性是独立的,可以与表的属性或子分区所属的一级分区不同,使用中更加灵活。

数据表-数据概况

功能说明 在数据表详情的数据概况标签页,基于对元数据及存储数据的统计,为您提供了数据表更加详细的指标信息,比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小,分区文件数,分区最后更新时间等...

创建混合分区

混合分区原理如下图所示:混合分区的基本原理是将分区表中的分区存储在不同的存储介质上,以达到冷热数据分离管理的目的。比如将热数据存储在本地PFS上,冷数据存储在OSS上,这样可以极大地降低冷数据的存储成本,且不影响热数据的查询性能...

DDL操作常见问题

本文为您介绍对表、分区、列执行DDL操作过程中的常见问题。问题类别 常见问题 表操作 MaxCompute支持虚拟表吗?例如MySQL中的DUAL表?MaxCompute的表有无索引?如何修改表的Hash Clustering属性?如何将非分区表修改为分区表?因误操作删除...

Spark SQL创建C-Store表

例如,指定这个表数据全部存储在SSD,或者全部存储在OSS,或者指定这个表的一部分二级分区存储在SSD,另一部分二级分区存储在OSS。是 hotPartitionCount=N 指定MIXED存储策略时热分区的个数。表示按分区键的值的大小倒序排列,最大N个分区...

DROP PARTITION

本文档介绍了删除分区和子分区以及存储分区和子分区内数据的方法。语法 ALTER TABLE…DROP PARTITION 命令用于删除分区和子分区存储分区和子分区内的数据。ALTER TABLE table_name DROP PARTITION partition_names;说明 该命令不可以...

数据建模

时间分区 时间分区会按照时间维度进行数据分区存储存储底层会将不同时间分区内的数据进行分段存储,一个时间分区内的数据包含时间线索引和时序数据。时序引擎支持在数据库设置时间分区,一般情况下,如果创建周期性时间线导致了时间线...

宽表模型介绍

表格存储按照分区键对数据表的数据进行分区,拥有相同分区键的行会被划分到同一个分区,实现数据访问负载均衡。属性列(Attribute Column)一行中除主键列外,其余都是属性列。属性列会对应多个值,不同值对应不同的版本,每行的属性列个数...

原理

将表定义存储到表的Option结构上,包括这些数据需要存储:interval_expr:这个结构存储间隔分区的间隔大小 sub_part_strategy/sub_part_params:存储二级分区分区键和分区类型信息 partition_template_list:存储了模版分区列表,用于...

宽表模型介绍

使用宽表模型可以实现元数据、大数据等多种场景的解决方案,例如 搭建海量智能元数据管理系统、亿量级订单管理方案、基于多元索引搭建亿量级店铺搜索系统、表格存储结合Spark流批处理实现一体化存储和计算、表格存储结合实时计算Flink进行...

在LIST或RANGE 分区表中处理偏离值

服务器将存储那些不匹配在分区规则中指定的值的记录,其中这个分区规则是指定给分区others中的europe、asia或americas分区的。CREATE TABLE sales(dept_no number,part_no varchar2,country varchar2(20),date date,amount number)...

ALTER TABLE…DROP SUBPARTITION

ALTER TABLE…DROP SUBPARTITION 命令用于删除子分区存储在子分区内的数据。语法介绍 使用ALTER TABLE…DROP SUBPARTITION 命令来删除子分区定义及子分区内的数据。语法如下:ALTER TABLE table_name DROP SUBPARTITION subpartition_...

数据输入输出

从非分区表 test_odps_table 中获取数据,通过MaxFrame进行转换并将其存储到另一张分区表 test_processed_odps_table 中,代码示例如下:import maxframe.dataframe as md df=md.read_odps_table("test_odps_table")processed_df=df[df.A>...

使用限制

限制项 限制值 说明 限制Topic总数(分区总数)支持 云消息队列 Kafka 版 的存储和协调机制是以分区为粒度的,Topic总数(分区总数)太多,会导致存储碎片化,集群性能和稳定性下降。Topic减少对应分区 不支持 这是Apache Kafka自身设计所...

名称解释

分区表(一级分区)HybridDB for MySQL中的表从建模的维度看,可以分为事实表(fact table)和维度表(dimension table),事实表是指分区表(通常是一级分区表),即需要被拆分到不同节点去存储的表,在建表的时候指定分区键就可以生成...

ALTER TABLE…DROP PARTITION

ALTER TABLE…DROP PARTITION命令用于删除分区存储在这个分区上的数据。语法介绍 语法如下:ALTER TABLE table_name DROP PARTITION partition_name;描述 ALTER TABLE…DROP PARTITION命令用于删除分区存储在这个分区上的数据。当您...

查看分区状态

分区用于存储消息,每个Topic由一个或多个分区组成,分区状态展示了各个分区的消息总量、最大及最小消费位点。当Kafka集群出现消息堆积、磁盘水位过高等异常情况时,可查看分区状态了解服务端的消息量及各个分区的消费进度,定位异常原因。...

概述

分区表是将一个大的逻辑表,按照分区规则分割成多个小的物理表,大的逻辑表为分区表,小的物理表为分区,每一个分区存储引擎上独立组织管理数据和索引。分区规则主要包括 RANGE、LIST、HASH 三种,您需要指定分区键,根据分区键字段的值...

创建TTL表

如果需要将t_order的物理表按照gmt_modified列进行时间分区,每个分区间隔一个月,每个分区12个月后过期,提前创建3个分区,创建语法如下:CREATE TABLE t_order(id bigint NOT NULL AUTO_INCREMENT,gmt_modified DATETIME NOT NULL,...

JindoTable使用说明

JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群,详情请参见 创建集群。使用JindoTable 常见命令如下:...

JindoTable使用说明

JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群,详情请参见 创建集群。使用JindoTable 常见命令如下:...

JindoTable使用说明

JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群,详情请参见 创建集群。使用JindoTable 常见命令如下:...

JindoTable使用说明

JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群,详情请参见 创建集群。使用JindoTable 常见命令如下:...

JindoTable使用说明

JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群,详情请参见 创建集群。使用JindoTable 常见命令如下:...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
对象存储 云存储网关 混合云存储 文件存储 CPFS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用