查询机制

SELECT 使用SELECT查询数据时,需要从磁盘中读取一个数据块到内存中,然后通过内存中数据块获取返回结果。INSERT 当您使用INSERT插入一条数据时,具体过程如下:从数据文件中读取一个数据块到内存中,并将这行数据写入这个数据块,系统生成...

快照原理

快照1容量=数据块A容量+数据块B容量+数据块C容量=6 MB 云盘继续写入数据块A1(2 MB)、B1(2 MB)和D(2 MB),在10:00时创建第二份快照2,快照2仅备份自快照1以来有变化的数据块A1、数据块B1和数据块D。快照2为增量快照。快照2容量=数据块...

HDFS概述

每一个上传到HDFS的文件都会被划分为一个或多个数据块,这些数据块根据HDFS集群的数据备份策略被分配到不同的DataNode上,位置信息交由NameNode统一管理。基本概念 名称 描述 NameNode 用于管理文件系统的命名空间、维护文件系统的目录结构...

概述

说明 PolarDB 集群 一级备份(快照)总大小 是所有一级备份独占的物理空间之和(即上图中①所示),而非逻辑数据大小之和(即上图中②所示),PolarDB 集群的数据与多个一级备份(快照)会复用相同的物理数据块,在计费时只会计算一次。...

重要组件

数据块的大小目前为10GB,每个数据块都有三个副本(位于三台不同的存储节点上),两个副本写成功,才给客户端返回成功。支持数据块维度的高可用,即如果一个数据块发生不可用,可以在上层无感知的情况下秒级恢复。此外,PolarStore使用了...

BRIN索引

BRIN 索引是块级索引,有别于B-TREE等索引,BRIN记录并不是以行号为单位记录索引明细,而是记录每个数据块或者每段连续的数据块的统计信息。因此BRIN索引空间占用特别的小,对数据写入、更新、删除的影响也很小。操作符< <= = >=>应用场景 ...

设置列索引的排序键

而有序数据块集合则可以通过每个列数据块内存中元数据的最大值和最小值等信息过滤掉第一个列数据块,只需要针对第二个列数据块进行处理即可。SELECT*FROM t WHERE c>=8;说明 增量排序功能目前处于灰度发布阶段,您可以加入HTAP专家群来申请...

概述

说明 PolarDB 集群 一级备份(快照)总大小 是所有一级备份独占的物理空间之和(即上图中①所示),而非逻辑数据大小之和(即上图中②所示),PolarDB 集群的数据与多个一级备份(快照)会复用相同的物理数据块,在计费时只会计算一次。...

纠删码

它能通过一定的算法将k个原始数据块计算出m个冗余数据块,只要在这 k+m 个数据块中选择任意k个数据块就能计算得到所有的原始数据。当 k=4,m=2 时,在存储效率上等价于1.5副本,并可以允许最多2个数据块损坏。因此纠删码相比于多副本,可以...

堆表结构

file 数据文件,由多个数据块组成。page 数据块,由多个数据行组成。page header 数据块头,详细信息请参见 数据块头信息。tuple 数据行。tuple header 数据行头,详细信息请参见 数据行头信息。表 1.数据块头信息 结构 说明 pd_lsn 最后...

概述

每次保存时,一级备份并没有真正复制数据,当数据块有修改时系统会将其中一个历史版本的数据块保留给快照,同时生成新的数据块被原数据引用(Redirect)。因此无论数据库容量多少,都可以做到秒级备份。PolarDB 集群备份和恢复功能均采用多...

快照概述

文件系统第一份快照是实际使用量的全量快照,不备份空数据块,后续创建的快照均是增量快照,只存储变化的数据块,详见 云盘快照的增量快照描述。快照主要功能如下 功能 说明 参考文档 创建快照 支持以下创建快照方式:手动快照:由您手动...

数据归档

当归档数据块中顺序读取的page数达到了阈值,OSS将直接缓存整个归档数据文件块到缓存池中。innodb_oss_prefetch_random_pct_threshold 30%该参数为归档数据随机预取阈值。当归档数据块中随机读取的page数达到了阈值,OSS将直接缓存整个归档...

管理缓存

缓存策略 客户端写新的数据块时,默认情况下会将其写入level0层存储。如果level0没有足够的可用空间,则会尝试下一层存储。如果在所有层上均未找到存储空间,Alluxio会释放空间来存储新写入的数据块。默认的释放策略是LRUAnnotator,按照...

数据管理策略

jindo jfs-getStoragePolicy压缩策略 JindoFS提供了Compression Policy功能,可以针对数据块进行压缩后存储,能够有效地减少存储空间和提高数据读写效率,适用于一些高压缩比的文件。支持以下两种压缩策略。策略名称 策略说明 NONE 不对...

数据管理策略

jindo jfs-getStoragePolicy压缩策略 JindoFS提供了Compression Policy功能,可以针对数据块进行压缩后存储,能够有效地减少存储空间和提高数据读写效率,适用于一些高压缩比的文件。支持以下两种压缩策略。策略名称 策略说明 NONE 不对...

数据管理策略

jindo jfs-getStoragePolicy压缩策略 JindoFS提供了Compression Policy功能,可以针对数据块进行压缩后存储,能够有效地减少存储空间和提高数据读写效率,适用于一些高压缩比的文件。支持以下两种压缩策略。策略名称 策略说明 NONE 不对...

数据管理策略

jindo jfs-getStoragePolicy压缩策略 JindoFS提供了Compression Policy功能,可以针对数据块进行压缩后存储,能够有效地减少存储空间和提高数据读写效率,适用于一些高压缩比的文件。支持以下两种压缩策略。策略名称 策略说明 NONE 不对...

数据管理策略

jindo jfs-getStoragePolicy压缩策略 JindoFS提供了Compression Policy功能,可以针对数据块进行压缩后存储,能够有效地减少存储空间和提高数据读写效率,适用于一些高压缩比的文件。支持以下两种压缩策略。策略名称 策略说明 NONE 不对...

数据管理策略

jindo jfs-getStoragePolicy压缩策略 JindoFS提供了Compression Policy功能,可以针对数据块进行压缩后存储,能够有效地减少存储空间和提高数据读写效率,适用于一些高压缩比的文件。支持以下两种压缩策略。策略名称 策略说明 NONE 不对...

数据管理策略

jindo jfs-getStoragePolicy压缩策略 JindoFS提供了Compression Policy功能,可以针对数据块进行压缩后存储,能够有效地减少存储空间和提高数据读写效率,适用于一些高压缩比的文件。支持以下两种压缩策略。策略名称 策略说明 NONE 不对...

WAL日志并行回放

原理介绍 概述 一条WAL日志可能修改多个数据块Block,因此可以使用如下定义来表示WAL日志的回放过程:假设第 i 条WAL日志LSN为 LSN i ​,其修改了 m 个数据块,则定义第 i 条WAL日志修改的数据块列表 Block i ​=[Block i,0 ​,Block i,1 ...

WAL日志并行回放

原理介绍 概述 一条WAL日志可能修改多个数据块Block,因此可以使用如下定义来表示WAL日志的回放过程:假设第 i 条WAL日志LSN为 LSN i ​,其修改了 m 个数据块,则定义第 i 条WAL日志修改的数据块列表 Block i ​=[Block i,0 ​,Block i,1 ...

垃圾回收机制

PolarDB PostgreSQL版(兼容Oracle)通过多版本来实现MVCC机制,当执行UPDATE和DELETE操作时会产生一个新的数据行版本,老的数据行版本会变成无效版本,这些无效版本数据会占用数据块的空间,需要及时进行清理,否则会导致数据的膨胀。...

MongoDB 6.0新特性概览

弹性 MongoDB 6.0在原有弹性的基础上,推出了如下新特性以及优化项:将数据块(Chunk)规格的默认值从64 MB调整为128 MB,有效降低了数据迁移频率以及网络和路由层的开销。支持 configureCollectionBalancing 命令,此命令支持的功能如下:...

功能特性

按时计费 数据传输费用 数据公网下载 MaxCompute仅对公网的下载数据进行收费,并按照下载的数据大小按量计费数据公网下载 数据传输独享资源 数据传输服务(包年包月)资源组是MaxCompute为满足部分客户数据传输的需求推出的独享资源组,...

常见问题

PolarDB 的一级备份采用快照链的机制,相同的数据块只会记录一份,因此总物理大小要小于逻辑大小,有时候甚至会小于单个备份逻辑大小。Q:PolarDB 备份有哪些费用?A:一级备份、二级备份以及日志备份的存储空间费用。其中一级备份和日志...

常见问题

PolarDB 的一级备份采用快照链的机制,相同的数据块只会记录一份,因此总物理大小要小于逻辑大小,有时候甚至会小于单个备份逻辑大小。Q:PolarDB 备份有哪些费用?A:一级备份、二级备份以及日志备份的存储空间费用。其中一级备份和日志...

JindoFS存储模式

此命令提供了一种用户显式淘汰本地数据块的方式。Hive分区表按天分区,假如业务上对一周前的分区数据认为不会再经常访问,那么就可以定期将一周前的分区目录执行archive,淘汰本地备份,文件备份将仅仅保留在后端OSS上。Archive命令的使用...

创建HDFS数据

DataNode用于存储数据,及处理数据块的读写。如果您使用的是HDFS,在引入HDFS的业务数据至Dataphin中或将Dataphin数据导出至HDFS的场景中,您需要先完成HDFS数据源的创建。更多HDFS信息,请参见 HDFS官方介绍。使用限制 Dataphin仅支持超级...

MapReduce

所谓分片,就是将输入数据切分为大小相等的数据块,每一块作为单个Map Worker的输入被处理,以便于多个Map Worker同时工作。Map阶段:每个Map Worker在读入各自的数据后,进行计算处理,最终输出给Reduce。Map Worker在输出数据时,需要为...

功能特性

另外,OceanBase 也提供基于数据块拷贝和事务日志拷贝的物理备份恢复特性作为系统高可用的基础组件。混合事务和分析处理(Hybrid Transaction and Analytical Process,HTAP)OceanBase 数据库独创的分布式计算引擎,能够让系统中多个计算...

数仓分层

基于阿里巴巴OneData方法论最佳实践,在阿里巴巴的数据体系中,建议将数据仓库分为三层:数据引入层(ODS,Operational Data Store)、数据公共层(CDM,Common Dimensions Model)和数据应用层(ADS,Application Data Store)。数据仓库...

IO加速

当一个数据块需要被从磁盘读取或被写入磁盘时,系统会先从缓存池中查找数据块:若存在,则直接从缓存池中读写数据。若不存在,则会从磁盘读写数据,并存储到缓存池。基于此读写逻辑,缓存池能够有效减少磁盘IO操作,提升实例的IO性能。但...

DataWorks On CDP/CDH使用说明

一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力,您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源,实现将其他数据源的数据同步至Hive或HBase数据源,或将Hive或HBase数据...

DataWorks On EMR使用说明

数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面,帮助用户落地数据安全治理事项。安全中心概述 ...

漏斗图

数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...

漏斗图

当选中数据项变化时 当漏斗图的梯形块数据发生变化时抛出事件,同时抛出该梯形对应的数据项。当点击图例时 当单击漏斗图的图例时抛出事件,同时抛出该图例对应的数据项。动作 动作 说明 导入漏斗图接口 按组件绘制格式处理数据后,导入...

离线同步数据质量排查

如果写出数据和目标存储已有数据发生数据约束(主键冲突、唯一键约束、外键约束等),数据库则使用来源数据update更新目标表已有数据行,在目标表存在多个数据约束的情况下,数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...

费用说明

说明 PolarDB 集群 一级备份(快照)总大小 是所有一级备份独占的物理空间之和(即上图中①所示),而非逻辑数据大小之和(即上图中②所示),PolarDB 集群的数据与多个一级备份(快照)会复用相同的物理数据块,在计费时只会计算一次。...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云数据库 Redis 版 数据库备份 DBS 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用