什么是块存储数据洞察
当您使用块存储数据洞察后，可以获取更全面的存储性能指标，也可以通过日志服务自行采集业务高频关注的存储资源数据，从而在云盘性能产生异常时及时发现并解决问题。您作为刚接触云计算的入门用户，因为不熟悉对云资源的管理操作，导致您将...
块网关的数据传输问题
本文介绍块网关的数据传输问题。针对块网关来说，后端以切片形式上传，切片大小可选，默认为32KB。本地块网关会根据数据热度做读缓存。当访问的是冷数据，如果本地没有，则直接访问OSS，此时就会有下载动作，对应的就是下行流量。
数据管理策略
ZSTD 对数据块使用ZSTD（Zstandard）压缩算法。示例，新增的文件将会以父目录所指定的Compression Policy进行压缩后存储。您可以通过以下命令，设置压缩类型。jindo jfs-setCompressionPolicy[-R](NONE/ZSTD)<path>.其中，涉及参数如下：[-...
数据管理策略
ZSTD 对数据块使用ZSTD（Zstandard）压缩算法。示例，新增的文件将会以父目录所指定的Compression Policy进行压缩后存储。您可以通过以下命令，设置压缩类型。jindo jfs-setCompressionPolicy[-R](NONE/ZSTD)<path>.其中，涉及参数如下：[-...
数据管理策略
ZSTD 对数据块使用ZSTD（Zstandard）压缩算法。示例，新增的文件将会以父目录所指定的Compression Policy进行压缩后存储。您可以通过以下命令，设置压缩类型。jindo jfs-setCompressionPolicy[-R](NONE/ZSTD)<path>.其中，涉及参数如下：[-...
数据管理策略
ZSTD 对数据块使用ZSTD（Zstandard）压缩算法。示例，新增的文件将会以父目录所指定的Compression Policy进行压缩后存储。您可以通过以下命令，设置压缩类型。jindo jfs-setCompressionPolicy[-R](NONE/ZSTD)<path>.其中，涉及参数如下：[-...
数据管理策略
ZSTD 对数据块使用ZSTD（Zstandard）压缩算法。示例，新增的文件将会以父目录所指定的Compression Policy进行压缩后存储。您可以通过以下命令，设置压缩类型。jindo jfs-setCompressionPolicy[-R](NONE/ZSTD)<path>.其中，涉及参数如下：[-...
数据管理策略
ZSTD 对数据块使用ZSTD（Zstandard）压缩算法。示例，新增的文件将会以父目录所指定的Compression Policy进行压缩后存储。您可以通过以下命令，设置压缩类型。jindo jfs-setCompressionPolicy[-R](NONE/ZSTD)<path>.其中，涉及参数如下：[-...
数据管理策略
ZSTD 对数据块使用ZSTD（Zstandard）压缩算法。示例，新增的文件将会以父目录所指定的Compression Policy进行压缩后存储。您可以通过以下命令，设置压缩类型。jindo jfs-setCompressionPolicy[-R](NONE/ZSTD)<path>.其中，涉及参数如下：[-...
Dataphin数据处理中如何使用ODPS模块开发脚本
概述 本文讲述了Dataphin数据处理中如何使用ODPS模块的方法。详细信息 1.PyODPS支持Python 2.6以上的Python版本，包括Python 3。系统安装了pip后，执行以下命令，PyODPS的相关依赖会自动安装。pip install pyodps 2.需要阿里云账号来初始化...
Quick BI仪表板中使用富文本时没有添加数据集的模块
概述 本文主要介绍Quick BI仪表板中使用富文本时没有添加数据集的模块解决办法。详细信息 因为用户在个人空间中使用富文本编辑，个人空间不支持富文本添加数据集，切换到群空间下即可解决。适用于 Quick BI
Dataphin数据萃取模块对原始业务库中的表有何使用要求
概述 本文为您介绍Dataphin数据萃取模块对原始业务库中的表有何使用要求。详细信息 需要原始表为分区表，再无其他要求。适用于 Dataphin
Dataphin数据服务模块删除应用时报“该应用下绑定API...
问题描述 Dataphin数据服务模块显示应用绑定的API个数为0，但是删除应用时报“该应用下绑定API个数非0，请先解绑所有API再删除”。问题原因 该问题有两个可能原因：1.该页面停留过久，有其他API在这个期间绑定上来。2.其他用户绑定在该应用...
Dataphin 通过SDK代码调用“...数据源”查询逻辑表数据...
问题描述 通过SDK代码调用“服务”模块发布的“Dataphin数据源”查询逻辑表数据，返回数据为空。但是直接拿SQL语句在Dataphin平台运行可以查询到数据。Dataphin平台查询结果如下：具体的代码如下：public class DataphinDataSourceTest { ...
DeleteDisk-释放一块按量付费数据盘
调用DeleteDisk释放一块按量付费数据盘。磁盘类型包括普通云盘、高效云盘、SSD云盘和ESSD云盘。接口说明 调用该接口时，您需要注意：您的磁盘手动快照会被保留。您可以通过 ModifyDiskAttribute 设置是否保留或者同时释放自动快照。建议您...
Dataphin数据服务模块发布的List类型的API，测试调用...
API服务参数定义情况：SDK代码不设置参数条件的代码截图：代码不设置参数条件数据返回结果：在Dataphin平台测试调用该API数据返回正常：问题原因 SDK代码中分页条件的pagestart参数值设置不对，pagestart是从0开始的，客户代码中传递的是1...
Dataphin 通过SDK代码调用“...数据源”查询逻辑表数据...
问题描述 Dataphin 通过SDK代码调用“服务”模块发布的“Dataphin数据源”查询逻辑表数据，运行报错“java.sql.SQLException:execute error:Table forbidden”问题原因 SQL语句中没有带业务板块导致。解决方案 修改SDK代码，SQL语句中加上...
lo-implementation
大对象的实现将大对象分解成很多“数据块”并且将这些数据块存储在数据库的行中。一个 B-tree 索引用来保证在进行随机访问读写时能够根据数据块号快速地搜索到正确的数据块。为一个大对象存储的数据块并不需要是连续的。例如，如果一个应用...
查询机制
SELECT 使用SELECT查询数据时，需要从磁盘中读取一个数据块到内存中，然后通过内存中数据块获取返回结果。INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成...
BRIN索引
BRIN 索引是块级索引，有别于B-TREE等索引，BRIN记录并不是以行号为单位记录索引明细，而是记录每个数据块或者每段连续的数据块的统计信息。因此BRIN索引空间占用特别的小，对数据写入、更新、删除的影响也很小。操作符< <= = >=>应用场景 ...
重要组件
数据块的大小目前为10GB，每个数据块都有三个副本（位于三台不同的存储节点上），两个副本写成功，才给客户端返回成功。支持数据块维度的高可用，即如果一个数据块发生不可用，可以在上层无感知的情况下秒级恢复。此外，PolarStore使用了...
设置列索引的排序键
而有序数据块集合则可以通过每个列数据块内存中元数据的最大值和最小值等信息过滤掉第一个列数据块，只需要针对第二个列数据块进行处理即可。SELECT*FROM t WHERE c>=8;说明 增量排序功能目前处于灰度发布阶段，您可以加入HTAP专家群来申请...
垃圾回收机制
PolarDB PostgreSQL版（兼容Oracle）通过多版本来实现MVCC机制，当执行UPDATE和DELETE操作时会产生一个新的数据行版本，老的数据行版本会变成无效版本，这些无效版本数据会占用数据块的空间，需要及时进行清理，否则会导致数据的膨胀。...
堆表结构
file 数据文件，由多个数据块组成。page 数据块，由多个数据行组成。page header 数据块头，详细信息请参见 数据块头信息。tuple 数据行。tuple header 数据行头，详细信息请参见 数据行头信息。表 1.数据块头信息 结构 说明 pd_lsn 最后...
管理缓存
默认的释放策略是LRUAnnotator，按照最近最少使用的顺序释放数据块。客户端读取数据块时，如果数据已经存在于Alluxio中，则客户端将直接读取对应Worker节点；如果Alluxio中不存在数据，则会先缓存数据至Alluxio中，以便下次从Worker节点...
WAL日志并行回放
原理介绍 概述 一条WAL日志可能修改多个数据块Block，因此可以使用如下定义来表示WAL日志的回放过程：假设第 i 条WAL日志LSN为 LSN i ，其修改了 m 个数据块，则定义第 i 条WAL日志修改的数据块列表 Block i =[Block i,0 ,Block i,1 ...
概述
每次保存时，一级备份并没有真正复制数据，当数据块有修改时系统会将其中一个历史版本的数据块保留给快照，同时生成新的数据块被原数据引用（Redirect）。因此无论数据库容量多少，都可以做到秒级备份。PolarDB 集群备份和恢复功能均采用多...
集群容灾能力
数据容灾 在Hadoop分布式文件系统（HDFS）中，每一个文件的数据均是分块存储的，每一个数据块保存有多个副本（默认为3），并且尽量保证这些数据块副本分布在不同的机架之上。一般情况下，HDFS的副本系数是3，存放策略是将一个副本存放在...
概述
每次保存时，一级备份并没有真正复制数据，当数据块有修改时系统会将其中一个历史版本的数据块保留给快照，同时生成新的数据块被原数据引用（Redirect）。因此无论数据库容量多少，都可以做到秒级备份。PolarDB 集群备份和恢复功能均采用多...
快照概述
文件系统第一份快照是实际使用量的全量快照，不备份空数据块，后续创建的快照均是增量快照，只存储变化的数据块，详见 云盘快照的增量快照描述。快照主要功能如下 功能 说明 参考文档 创建快照 支持以下创建快照方式：手动快照：由您手动...
概述
每次保存时，一级备份并没有真正复制数据，当数据块有修改时系统会将其中一个历史版本的数据块保留给快照，同时生成新的数据块被原数据引用（Redirect）。因此无论数据库容量多少，都可以做到秒级备份。PolarDB 集群备份和恢复功能均采用多...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
MongoDB 6.0新特性概览
弹性 MongoDB 6.0在原有弹性的基础上，推出了如下新特性以及优化项：将数据块（Chunk）规格的默认值从64 MB调整为128 MB，有效降低了数据迁移频率以及网络和路由层的开销。支持 configureCollectionBalancing 命令，此命令支持的功能如下：...
全景视角
阿里云DataWorks为您提供数据生产、数据使用、数据管理视角下的主要数据治理情况。您可以根据需求选择合适的视角，高效的进行数据治理工作。背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
创建HDFS数据源
DataNode用于存储数据，及处理数据块的读写。如果您使用的是HDFS，在引入HDFS的业务数据至Dataphin中或将Dataphin数据导出至HDFS的场景中，您需要先完成HDFS数据源的创建。更多HDFS信息，请参见 HDFS官方介绍。使用限制 Dataphin仅支持超级...
列存索引如何实现高效数据过滤
Bloom filter与minmax也可以结合使用，IMCI会根据两者的综合结果来判断是否要跳过某个数据块。Nullable列优化 由于Null值处理逻辑比较特殊，数据库索引一般针对Null值的列支持不太好。不同数据库对Nullable列的处理不尽相同。PolarDB IMCI...
发现
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助资产运营管理者进行高价值、可共享的数据资源的注册、编目分类和公开运营，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。...
JindoFS块存储模式
此命令提供了一种用户显式淘汰本地数据块的方式。Hive分区表按天分区，假如业务上对一周前的分区数据认为不会再经常访问，那么就可以定期将一周前的分区目录执行archive，淘汰本地备份，文件备份将仅仅保留在后端OSS上。Archive命令的使用...
- 产品推荐
- 这些文档可能帮助您