导出结构和数据
导出文件格式 ODC 导出工具会将导出数据到以.zip 结尾的压缩文件包中，压缩包中包含元数据文件 MANIFEST.bin 和 Schema 下导入导出对象的结构定义文件和数据文件。创建导出任务时，如果您指定 数据格式 为 SQL 格式，那文件包中的结构定义...
使用限制
一个普通的PolarDB表（非分区表）占用3个文件（数据文件、visibilitymap文件、fsm文件，使用索引的话，每个索引一个文件）。文件数量达到上限后，继续创建表会提示类似以下错误：could not create file 此时需要删除部分表或者升级集群规格...
使用限制
一个普通的PolarDB表（非分区表）占用3个文件（数据文件、visibilitymap文件、fsm文件，使用索引的话，每个索引一个文件）。文件数量达到上限后，继续创建表会提示类似以下错误：could not create file 此时需要删除部分表或者升级集群规格...
导出至OSS
重要 导入到OSS中的文件，数据文件内默认不带列名，只有数据。如果需要导出带列名的文件，请在导入语句前添加hint/*+sql_output_oss_file_head_enable=true*/。INSERT SELECT FROM 功能：如果您的数据在其他表中已经存在，可以通过 INSERT ...
由于数据文件过多导致集群存储空间被占满的解决办法
清理数据文件有时间延迟，请耐心等待集群已使用空间的下降 若根据以下步骤仍不能通过清理数据文件释放足够的存储空间，您可以清理其他类型的文件来降低存储空间的使用率，详情请参见 由于日志文件过多导致集群存储空间被占满的解决办法。...
准备工作
将数据文件（点文件和边文件）导入至图数据库GDB实例前，您需要先准备好需要导入的数据文件、获取导入过程中使用到的实例信息等，使导入操作更加流畅。前提条件 已创建图数据库GDB实例，创建方法请参见 创建实例。已创建Bucket，创建方法请...
建表并上传数据
如果您需要上传超过30MB的文件，则可以使用如下方式：将数据文件上传至OSS，使用MaxCompute外部表映射的方式获取OSS中相应的文件数据。上传数据至OSS，详情请参见 上传文件，MaxCompute外部表映射，详情请参见 外部表。将数据文件上传至OSS...
备份集查询功能概览
背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据文件被修改。通过 Hive 的方式直接对文件进行查询，但是这种方式对数据文件格式有严格的...
表数据格式
Transaction Table2.0数据文件类型 Transactional Table 2.0支持多种数据文件组织格式，来高效支持全量读写和近实时增量读写等多种场景，主要包含BaseFile和DeltaFile两种形态。其中：DeltaFile：每次事务Commit写入（Update/Delete）的...
RDS MySQL数据文件占满磁盘空间导致出现“锁定中”...
RDS MySQL实例可能会由于数据文件长时间未整理导致实例空间被占满，为避免数据丢失，RDS MySQL会对实例进行自动锁定，磁盘锁定之后，将无法进行写入操作。问题描述 云数据库RDS MySQL实例由于写入的数据太多，导致数据文件占满磁盘空间，...
RDS MySQL数据文件占满磁盘空间导致出现“锁定中”...
RDS MySQL实例可能会由于数据文件长时间未整理导致实例空间被占满，为避免数据丢失，RDS MySQL会对实例进行自动锁定，磁盘锁定之后，将无法进行写入操作。问题描述 云数据库RDS MySQL实例由于写入的数据太多，导致数据文件占满磁盘空间，...
ListDbfs-查询数据库文件系统列表
调用ListDbfs查询您已经创建的数据库文件系统列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限...
文件系统存储类型
大数据分析 低频存储可以为基因测序数据、GIS地理信息数据、票据影像数据和音频录音文件数据等海量非结构化的数据提供低成本、大容量的存储空间，同时还可以实时访问数据。备份存储 若您使用通用型NAS作为MySQL、Redis、MongoDB等数据库的...
透明数据加密概述
RDS PostgreSQL支持透明数据加密（Transparent Data Encryption，简称TDE），对数据文件进行实时加密和解密，保护用户数据隐私，本文介绍透明数据加密的基本概念和加密原理。什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和...
如何选用NAS、OSS和EBS？
当不多于16台ECS实例同时访问一块云盘时，需要使用集群文件系统（例如，OCFS2、GFS2、Veritas CFS、Oracle ACFS和DBFS等），保障多实例间数据同步。更多信息，请参见 开启多重挂载功能 最低时延 毫秒级（NFS或SMB方式访问）微秒级（容器ACK...
导入数据并查询
本文以数据文件存储在OSS中为例，介绍如何将OSS中的数据文件导入 AnalyticDB for MySQL 的 adb_demo 数据库中并进行查询。前提条件 通过以下步骤在OSS中创建存储 AnalyticDB for MySQL 数据的目录。开通OSS服务。详情请参见 开通OSS服务。...
Purge Large File Asynchronously
AliSQL通过异步Purge数据文件的方式来提高系统的稳定性。背景信息 当通过DROP TABLE来删除数据时，对应的InnoDB数据文件会直接从文件系统中删除。如果数据文件非常大，直接删除文件会导致POSIX文件系统出现严重的稳定性问题。AliSQL的大...
通过外表导入至数仓版
说明 对于CSV格式、Parquet和ORC格式数据文件，数据量越大，通过外表查询的性能损耗越大。如果您需要进一步提升查询效率，建议您按照后续步骤将OSS数据导入 AnalyticDB MySQL版 后再做查询。创建目标表。在目标数据库 adb_demo 中创建一张...
配置同步任务
加载策略包括覆盖数据、追加数据、文件名冲突报错，适用场景说明如下：覆盖数据：覆盖数据策略下，先删除目标目录下的文件，再新增数据文件。追加数据：追加数据策略下，直接向目标目录新增数据文件。文件名冲突报错：若目录下有重复的文件...
冷数据归档常见问题
本文汇总了 PolarDB 冷数据归档相关的常见问题。出现"[Data Lifecycle Management]DLM storage engine is not support.The value of polar_dlm_storage_mode is OFF."报错，如何处理？您需要在 PolarDB控制台 上开启冷数据归档功能。详情请...
数据导入概览
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
数据管理
阿里云EMR Delta Lake提供了强大的数据处理能力，可以帮助您管理和操作数据，确保数据的质量和一致性。本文为您介绍EMR Delta Lake如何进行删除、更新与合并数据等操作。DELETE 该命令用于删除数据。示例如下。SQL DELETE FROM delta_table...
归档为CSV或ORC格式
导回在OSS上归档的分区中的数据 如果您有将已归档的分区中的数据导回至PolarStore的需求，您可以使用 ALTER 语句将OSS上的数据导回至PolarStore，数据导回后，会同步删除OSS上的冷数据。语法 ALTER TABLE table_name REORGANIZE PARTITION ...
功能特性
管理Fileset 目录配额 管理文件系统中某个目录所能包含的文件数量或者文件大小或者某个用户所能使用的资源 目录配额 生命周期管理 阿里云文件存储通用型 NAS 推出的生命周期管理功能，可以帮助您将低频访问的冷文件数据从标准存储转换到...
添加数据源概述
数据源类型 数据源 说明 数据库类 说明 如果您在其它地域，或者没有使用阿里云数据库，想连接自建数据库，那就需要暴露数据库的公网IP进行连接。DataV当前不支持IP白名单，如果您担心安全性问题，可以使用阿里云提供的数据库连接代理工具来...
通过元数据发现导入至湖仓版
OSS文件数据变更，重新映射到 AnalyticDB MySQL 的表数据会根据 目标元数据配置 规则更新。目标元数据配置 Schema名称 设置Schema名称，映射到 AnalyticDB MySQL 的数据库名称（默认每个发现任务会创建一个新的Schema）。数据库名称填写，...
数据加密
当云数据库MongoDB实例开启TDE功能后，新创建的数据库或集合中的数据在写入到任何设备（例如磁盘、SSD、PCIe卡）、服务（例如对象存储OSS）前都会进行加密，因此实例中对应的数据文件和备份文件都是以密文形式存在的。TDE的设置方法请参见 ...
查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
数据归档
数据归档至OSS端时会将ESSD中的表切分为若干个数据文件块上传，每个数据文件块对应的表空间、数据范围等信息保存在归档数据控制块中。控制块保存在内存中，用于快速定位归档数据请求的数据位点，并通过LRU算法进行缓存控制。innodb_oss_...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
使用mysqldump导入导出数据
导出的SQL语句格式文件，有两种方法导入数据库中：SOURCE语句导入数据 登录数据库。mysql-h ip-P port-u user-pPassword-default-character-set=char-set 通过source语句执行文件中的sql语句导入数据。source dump.sql MySQL命令导入数据 ...
COMPACTION
功能介绍 Transactional Table 2.0支持近实时增量写入和time travel查询特性，在数据频繁写入的场景中，必然会引入大量的小文件，需要设计合理高效的合并策略来对小文件进行合并以及数据去重，解决大量小文件读写IO低效以及缓解存储系统的...
设置透明数据加密TDE
在安全合规或静态数据加密等场景下，推荐使用透明数据加密TDE（Transparent Data Encryption）功能，对数据文件执行实时I/O加密和解密，确保敏感数据在写入磁盘之前进行加密，从磁盘读入内存时进行解密，阻止可能的攻击者绕过数据库直接从...
导出至HDFS
方式三：INSERT OVERWRITE PARTITION 与 INSERT INTO PARTITION 使用方法相同，但使用 INSERT OVERWRITE PARTITION 时，会覆盖掉本次执行中涉及到的目标分区中之前已有的数据文件，对于没有新数据写入的分区，则不会清除其中的数据文件。...
添加体验空间数据库
本文介绍如何使用 体验空间 数据库。查看空间容量 在数据库列表中的体验空间右侧，或在体验空间数据库详情页的右上角，可以查看当前空间的已使用容量和总容量。说明 在用户上传数据时，系统首先会计算上传文件与当前剩余空间的容量。如果...
解决MySQL实例空间满自动锁定的问题
您可以参照本文清理数据文件、临时文件、Binlog文件、undo文件和general_log文件，解决存储空间问题。问题描述 阿里云RDS MySQL版实例由于慢SQL、插入数据多等原因导致实例磁盘空间满，为避免数据丢失，实例会自动锁定，且无法进行写入操作...
解决MySQL实例空间满自动锁定的问题
您可以参照本文清理数据文件、临时文件、Binlog文件、undo文件和general_log文件，解决存储空间问题。问题描述 阿里云RDS MySQL版实例由于慢SQL、插入数据多等原因导致实例磁盘空间满，为避免数据丢失，实例会自动锁定，且无法进行写入操作...
元数据抽取
使用限制 抽取的数据存储仅支持数据存储在阿里云OSS标准型中的数据。目前元数据发现仅支持json、csv、parquet、orc、hudi、delta、avro格式。元数据发现消耗算力，目前暂不收取费用。操作步骤 新建抽取任务 登入 数据湖构建控制台。在左侧...
重要组件
由于多个主机的数据库实例需要访问块存储上的同一份数据，常用的Ext4等文件系统不支持多点挂载，PolarDB数据库团队自行研发了专用的用户态文件系统，提供常见的文件读写查看接口，支持类似O_DIRECT的非缓存方式读写数据，还支持数据页原子...
- 产品推荐
- 这些文档可能帮助您