数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
存储格式与SerDe
DLA内置了处理各类数据文件的Serialize/Deserilize（简称SerDe，用于序列化和反序列化），您无需编写程序，直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe，DLA可以对OSS上的多种格式的文件进行查询分析，包括纯文本文件...
什么是备份数据量
数据文件空间 数据库所属数据文件在服务器上占用的磁盘空间。备份数据量 备份数据量指通过备份链路的实际数据大小。与数据文件空间不同，备份数据量取决于数据库类型、备份方式、备份粒度等因素。存储数据量 存储数据量指存放存储介质的...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
添加静态数据
本文档介绍在DataV中添加静态数据文件的方法。前提条件 已准备好待添加的静态数据文件。操作步骤 登录 DataV控制台。在 工作台 页面中，将鼠标移动至需要编辑的数据看板上，单击 编辑。重要 如果您的 工作台 页面内还没有创建任何数据看板...
数据组织优化
Level0~Level1阶段主要针对原始写入的DeltaFile（图中蓝色数据文件）进行合并，形成中等大小的DeltaFile（图中黄色数据文件）。当中等大小的DeltaFile达到一定规模后，会进一步触发Level1~Level2的合并，生成更大的DeltaFile（图中橙色数据...
概述
Federated表结构如下：当在本地 PolarDB MySQL版 集群的Federated表上执行SQL时，通常会从本地 PolarDB MySQL版 集群插入数据文件，更新或删除数据文件的操作被发送到远程 PolarDB MySQL版 集群或社区MySQL服务器执行，在远程集群或服务器...
导入导出表数据
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
上传数据
参数 配置说明 文件格式 您可以根据待上传的数据文件类型选择文件格式，当前支持 CSV 和 自定义文本文件 两种文件格式，其中自定义文本文件支持.txt、.csv 和.log 类型的文件。选择文件 单击 浏览，根据界面提示选择待上传的数据文件。选择...
堆表结构
结构 说明 table files 表文件，由一个或多个数据文件组成，文件数量与文件大小有关，超过1 GB就会生成一个新的数据文件。file 数据文件，由多个数据块组成。page 数据块，由多个数据行组成。page header 数据块头，详细信息请参见 数据...
使用OSS控制台上传数据文件
对象存储OSS控制台支持上传大小不超过5 GB的文件，如果您需要导入图数据库GDB实例的数据文件不超过5 GB，您可以将数据文件上传至对象存储OSS的Bucket中，然后从Bucket中将数据文件导入至图数据库GDB实例。本文介绍将数据文件上传至对象存储...
备份集查询功能概览
背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据文件被修改。通过 Hive 的方式直接对文件进行查询，但是这种方式对数据文件格式有严格的...
RDS SQL Server空间不足问题
由于tempdb库总是使用简单恢复模式，因此tempdb库的日志文件通常很小，但是数据文件容易增长地很快，例如创建大量临时表、连接大表或排序等都可能导致tempdb库数据文件空间增加。解决方案 尽量从数据库应用层面规避，例如减少不必要的临时...
表数据格式
Transaction Table2.0数据文件类型 Transactional Table 2.0支持多种数据文件组织格式，来高效支持全量读写和近实时增量读写等多种场景，主要包含BaseFile和DeltaFile两种形态。其中：DeltaFile：每次事务Commit写入（Update/Delete）的...
解决SQL Server实例空间满自动锁的问题
数据文件占用量高。临时文件占用量高。解决办法 查看空间使用状况 方法一：通过RDS管理控制台的监控页面查看空间使用情况，详情请参见 查看资源和引擎监控。参数说明如下。参数 说明 磁盘空间总体使用量 所有用户数据库的数据文件和日志...
解决SQL Server实例空间满自动锁的问题
数据文件占用量高。临时文件占用量高。解决办法 查看空间使用状况 方法一：通过RDS管理控制台的监控页面查看空间使用情况，详情请参见 查看资源和引擎监控。参数说明如下。参数 说明 磁盘空间总体使用量 所有用户数据库的数据文件和日志...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
导出结构和数据
创建导出任务时，如果您指定 数据格式 为 SQL 格式，那文件包中的结构定义文件是以 对象名-schema.sql 命名的 SQL 文本，数据文件是以 对象名.sql 命名的 SQL 文本，其中对象名与数据库实际对象名保持一致。如果您指定 数据格式 为 CSV ...
透明数据加密概述
RDS PostgreSQL支持透明数据加密（Transparent Data Encryption，简称TDE），对数据文件进行实时加密和解密，保护用户数据隐私，本文介绍透明数据加密的基本概念和加密原理。什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和...
使用curl命令导入数据文件
本文介绍使用curl命令将数据文件从对象存储OSS的Bucket中导入至图数据库GDB实例、查看导入任务和取消导入任务的方法。前提条件 已创建目标图数据库GDB实例，创建方法请参见 创建主实例。说明 如果Bucket是在对象存储控制台创建，请确保图...
数据管理
EMR的Delta Lake定义数据文件不需要包含以下两部分：当前最新版本关联到的数据文件。执行过Savepoint的特定版本关联到的数据文件。VACUUM命令可以通过两种方式指定删除多久前的数据文件：通过参数 delta.deletedFileRetentionDuration 配置...
开启透明数据加密TDE
云原生内存数据库Tair 支持透明数据加密TDE（Transparent Data Encryption），可对RDB数据文件执行加密和解密。您可以通过控制台启用TDE功能，对RDB数据进行自动加密和解密，以满足提升数据安全性及合规需要。前提条件 实例存储介质为 内存...
开启透明数据加密TDE
云数据库Redis支持透明数据加密TDE（Transparent Data Encryption），可对RDB数据文件执行加密和解密。您可以通过控制台启用TDE功能，对RDB数据进行自动加密和解密，以满足提升数据安全性及合规需要。前提条件 实例存储介质为 Redis企业版 ...
敏感数据溯源
说明 例如，您查询表A之前未开启 数据水印 功能，此时，即使您开启了 数据水印 功能并启动对该数据文件的溯源任务，仍然无法通过 数据溯源 功能溯源到此次查询操作。创建并执行数据溯源任务 进入数据保护伞。在左侧导航栏，单击 数据溯源，...
CSV数据文件格式
本文介绍需要导入至图数据库GDB实例的CSV数据文件格式。背景信息 CSV数据文件遵循RFC 4180 CSV规范。更多信息，请参见 CSV文件的一般格式和MIME类型。重要 所有文件必须采用UTF-8格式编码。注意事项 必须将点和边分别放到单独的文件。说明 ...
RDS for SQL Server如何回收表空间
如果需要收缩一个SQL Server的数据文件，必须使用 DBCC SHRINKDATABASE 命令收缩指定数据库的指定数据或日志文件大小，或者使用 DBCC SHRINKFILE 命令收缩当前数据库的指定数据或日志文件大小。MySQL表的空间是独立的一个文件，所以收缩...
归档为CSV或ORC格式
说明 如果OSS对象存储中存在与归档的数据文件名称冲突的数据文件，系统会报文件已经存在的错误。例如：Target file for archived table exists on oss.您可以在以上三个语法中通过添加 FORCE 关键字来覆盖OSS对象存储中已经存在的数据文件...
导入接口介绍
您可以发送请求至<gdb-endpoint>:<port>/loader 终端，实现将数据文件从OSS的Bucket中导入至图数据库GDB实例，还可以查看任务状态和删除导入任务。本文介绍添加导入任务（POST）、查看导入任务状态（GET）和删除导入任务（DELETE）的应用...
RDS for SQL Server如何回收表空间
如果需要收缩一个SQL Server的数据文件，必须使用 DBCC SHRINKDATABASE 命令收缩指定数据库的指定数据或日志文件大小，或者使用 DBCC SHRINKFILE 命令收缩当前数据库的指定数据或日志文件大小。MySQL表的空间是独立的一个文件，所以收缩...
COMPACTION
Compaction可以把所有的数据文件按照一定策略进行Merge操作，可提升查询效率。功能介绍 Transactional Table 2.0支持近实时增量写入和time travel查询特性，在数据频繁写入的场景中，必然会引入大量的小文件，需要设计合理高效的合并策略来...
使用GdbLoader脚本导入数据文件
本文介绍使用GdbLoader脚本将数据文件从对象存储OSS的Bucket中导入至图数据库GDB实例、查看导入任务和取消导入任务的方法。前提条件 已创建目标图数据库GDB实例，创建方法请参见 创建主实例。说明 如果Bucket是在对象存储控制台创建，请...
通过元数据发现导入至湖仓版
企业的业务服务所产生的一些标准化表单、日志等数据文件，会被周期性地上传到OSS。但是这些存储在OSS的数据文件缺少元数据管理，导致数据难以分析和计算。AnalyticDB MySQL 元数据发现任务具备自动映射OSS路径、自动对OSS文件分组、自动...
解决MySQL实例空间满自动锁定的问题
您可以参照本文清理数据文件、临时文件、Binlog文件、undo文件和general_log文件，解决存储空间问题。问题描述 阿里云RDS MySQL版实例由于慢SQL、插入数据多等原因导致实例磁盘空间满，为避免数据丢失，实例会自动锁定，且无法进行写入操作...
使用限制
一个普通的PolarDB表（非分区表）占用3个文件（数据文件、visibilitymap文件、fsm文件，使用索引的话，每个索引一个文件）。文件数量达到上限后，继续创建表会提示类似以下错误：could not create file 此时需要删除部分表或者升级集群规格...
使用限制
一个普通的PolarDB表（非分区表）占用3个文件（数据文件、visibilitymap文件、fsm文件，使用索引的话，每个索引一个文件）。文件数量达到上限后，继续创建表会提示类似以下错误：could not create file 此时需要删除部分表或者升级集群规格...
查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
解决MySQL实例空间满自动锁定的问题
您可以参照本文清理数据文件、临时文件、Binlog文件、undo文件和general_log文件，解决存储空间问题。问题描述 阿里云RDS MySQL版实例由于慢SQL、插入数据多等原因导致实例磁盘空间满，为避免数据丢失，实例会自动锁定，且无法进行写入操作...
元数据抽取
解析格式 支持json、csv、parquet、orc、hudi、delta、avro中某一类格式进行抽取，或采用自动识别模式会对数据文件自动解析。目标数据库 抽取获取的元数据存储的元数据库位置。目标数据表前缀 通过元数据抽取生成跟文件一致的表名，输入...
调试实时任务
上传数据方式包括手动 上传样例数据文件、手动输入数据、自动抽样数据。手动上传样例数据文件 您可以通过上传数据的方式，手动上传本地数据。上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式...
- 产品推荐
- 这些文档可能帮助您