CDH6数据迁移
通过刚创建的快照将HDFS中的数据拷贝到 文件存储 HDFS 版。sudo-u hdfs hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \-snapshot mock_table_0_snapshot \-copy-to dfs:/f-xxxxxxxxxxxxxxx....
HBase数据同步与迁移
文件层数据拷贝比API层数据迁移效率更高，通常能节省超过50%的流量。单个节点迁移速度可达到150 MB/s，节点数支持水平扩展，可满足TB、PB级别的数据迁移。有完善的错误重试机制、实时监控任务速度和进度，支持任务失败报警。自动同步Schema...
如何迁移到DBFS？
本文档主要为您说明在使用阿里云数据库存储DBFS时，如何方便的将数据库迁移到DBFS上。一般存在以下几种常用的方式：主备同步：搭建主备库，通过binary log同步...停机拷贝：停掉数据库服务，将数据库所有文件拷贝到DBFS，再拉起数据库服务。
快照
如果您需要将某一时刻快照中的数据恢复至同可用区或跨可用区的现有文件系统中，建议您使用该时刻的快照创建新的文件系统，然后再将新文件系统中的数据拷贝至现有文件系统中。前提条件 文件系统必须处于 运行中 状态，否则无法创建快照。...
Phoenix全增量迁移
文件层的数据拷贝比通常API层的数据迁移通常能节省50%以上的流量高效性。单个节点迁移速度可达到150MB/s，节点数支持水平扩展，能够满足支持TB、PB级别的数据迁移稳定性。有完善的错误重试机制，实时监控任务速度和进度，支持任务失败报警...
全增量数据同步
文件层的数据拷贝比通常API层的数据迁移通常能节省50%以上的流量高效性。单个节点迁移速度可达到150MB/s，节点数支持水平扩展，能够满足支持TB、PB级别的数据迁移稳定性。有完善的错误重试机制，实时监控任务速度和进度，支持任务失败报警...
LTS（原BDS）服务介绍
文件层的数据拷贝比通常API层的数据迁移通常能节省50%以上的流量。高效性，单个节点迁移速度可达到100MB/s，节点数支持水平扩展，能够满足支持TB、PB级别的数据迁移。稳定性，有完善的错误重试机制，实时监控任务速度和进度，支持任务失败...
LTS（原BDS）服务介绍
文件层的数据拷贝比通常API层的数据迁移通常能节省50%以上的流量。高效性，单个节点迁移速度可达到100 MB/s，节点数支持水平扩展，能够满足支持TB、PB级别的数据迁移。稳定性，有完善的错误重试机制，实时监控任务速度和进度，支持任务失败...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
存储格式与SerDe
DLA内置了处理各类数据文件的Serialize/Deserilize（简称SerDe，用于序列化和反序列化），您无需编写程序，直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe，DLA可以对OSS上的多种格式的文件进行查询分析，包括纯文本文件...
整体流程介绍
本文介绍将数据文件导入至图数据库GDB实例中的前提条件及操作流程。前提条件 已创建图数据库GDB实例，创建方法请参见 创建实例。已创建Bucket，创建方法请参见 创建存储空间。说明 如果是在对象存储OSS控制台创建，必须与已创建的图数据库...
什么是备份数据量
数据文件空间 数据库所属数据文件在服务器上占用的磁盘空间。备份数据量 备份数据量指通过备份链路的实际数据大小。与数据文件空间不同，备份数据量取决于数据库类型、备份方式、备份粒度等因素。存储数据量 存储数据量指存放存储介质的...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
上传数据
本地上传 单击 方法一：本地上传 下方的空白区域，即可在本地PC中选择一个CSV数据文件，单击对话框右下方 上传 即可上传一个CSV数据文件。OSS上传 在 方法二：OSS上传 下方的输入框中，输入CSV数据文件的OSS链接地址，并单击对话框右下方 ...
上传数据
本地上传 单击 方法一：本地上传 下方的空白区域，即可在本地PC中选择一个CSV数据文件，单击对话框右下方 上传 即可上传一个CSV数据文件。OSS上传 在 方法二：OSS上传 下方的输入框中，输入CSV数据文件的OSS链接地址，并单击对话框右下方 ...
添加静态数据
本文档介绍在DataV中添加静态数据文件的方法。前提条件 已准备好待添加的静态数据文件。操作步骤 登录 DataV控制台。在 工作台 页面中，将鼠标移动至需要编辑的数据看板上，单击 编辑。重要 如果您的 工作台 页面内还没有创建任何数据看板...
概述
Federated表结构如下：当在本地 PolarDB MySQL版 集群的Federated表上执行SQL时，通常会从本地 PolarDB MySQL版 集群插入数据文件，更新或删除数据文件的操作被发送到远程 PolarDB MySQL版 集群或社区MySQL服务器执行，在远程集群或服务器...
数据组织优化
Level0~Level1阶段主要针对原始写入的DeltaFile（图中蓝色数据文件）进行合并，形成中等大小的DeltaFile（图中黄色数据文件）。当中等大小的DeltaFile达到一定规模后，会进一步触发Level1~Level2的合并，生成更大的DeltaFile（图中橙色数据...
基于OSS外表的单表多文件查询
一般情况下，OSS外表存储的数据是冷数据，数据量比较大，当单个CSV格式的数据文件过大时，对其进行查询会非常耗时。因此 PolarDB 支持单表多文件查询功能，您可以将单个OSS外表的数据文件拆分为多个小的数据文件，以加快查询速度。本文介绍...
导入导出表数据
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...
禁止覆盖同名文件
拷贝文件 拷贝小文件 以下代码用于拷贝小文件时禁止覆盖同名文件：const OSS=require("ali-oss");const client=new OSS({/yourregion填写Bucket所在地域。以华东1（杭州）为例，Region填写为oss-cn-hangzhou。region:'yourregion',/从环境...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
迁移RDS SQL Server数据到本地SQL Server
GO 说明/var/opt/mssql/data/testdb.mdf 为数据文件地址，testdb.mdf 为数据文件逻辑名。var/opt/mssql/data/testdb_log.ldf 为日志文件地址，testdb_log.ldf 为日志文件逻辑名。您可在目标数据库的 属性>文件 中可以查看到数据文件和日志...
堆表结构
结构 说明 table files 表文件，由一个或多个数据文件组成，文件数量与文件大小有关，超过1 GB就会生成一个新的数据文件。file 数据文件，由多个数据块组成。page 数据块，由多个数据行组成。page header 数据块头，详细信息请参见 数据...
上传数据
参数 配置说明 文件格式 您可以根据待上传的数据文件类型选择文件格式，当前支持 CSV 和 自定义文本文件 两种文件格式，其中自定义文本文件支持.txt、.csv 和.log 类型的文件。选择文件 单击 浏览，根据界面提示选择待上传的数据文件。选择...
由于数据文件过多导致集群存储空间被占满的解决办法
本文介绍了由于数据文件过多导致存储空间被占满的问题描述、解决方案以及后续维护等内容。问题描述 PolarDB MySQL版 集群可能会由于数据文件长时间未整理导致占用过多存储空间，且在集群的 空间分析 页面的 空间变化趋势 区域中确认数据...
使用OSS控制台上传数据文件
对象存储OSS控制台支持上传大小不超过5 GB的文件，如果您需要导入图数据库GDB实例的数据文件不超过5 GB，您可以将数据文件上传至对象存储OSS的Bucket中，然后从Bucket中将数据文件导入至图数据库GDB实例。本文介绍将数据文件上传至对象存储...
导出至OSS
INSERT OVERWRITE PARTITION SELECT 功能：和 INSERT INTO PARTITION SELECT 使用方法相同，功能上的不同在于会清除掉本次执行中涉及到的目标分区中之前已有的数据文件，对于没有新数据写入的分区，则不会清除其中的数据文件。语法：INSERT...
拷贝文件
同一Bucket内拷贝文件 以下代码用于在examplebucket内将srcobject.txt文件拷贝至destobject.txt文件。DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8" /> <title>Document</title> </head> <body> <button id='upload'>上传</button>...
准备工作
将数据文件（点文件和边文件）导入至图数据库GDB实例前，您需要先准备好需要导入的数据文件、获取导入过程中使用到的实例信息等，使导入操作更加流畅。前提条件 已创建图数据库GDB实例，创建方法请参见 创建实例。已创建Bucket，创建方法请...
备份集查询功能概览
背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据文件被修改。通过 Hive 的方式直接对文件进行查询，但是这种方式对数据文件格式有严格的...
表数据格式
Transaction Table2.0数据文件类型 Transactional Table 2.0支持多种数据文件组织格式，来高效支持全量读写和近实时增量读写等多种场景，主要包含BaseFile和DeltaFile两种形态。其中：DeltaFile：每次事务Commit写入（Update/Delete）的...
RDS SQL Server空间不足问题
由于tempdb库总是使用简单恢复模式，因此tempdb库的日志文件通常很小，但是数据文件容易增长地很快，例如创建大量临时表、连接大表或排序等都可能导致tempdb库数据文件空间增加。解决方案 尽量从数据库应用层面规避，例如减少不必要的临时...
解决SQL Server实例空间满自动锁的问题
数据文件占用量高。临时文件占用量高。解决办法 查看空间使用状况 方法一：通过RDS管理控制台的监控页面查看空间使用情况，详情请参见 查看资源和引擎监控。参数说明如下。参数 说明 磁盘空间总体使用量 所有用户数据库的数据文件和日志...
解决SQL Server实例空间满自动锁的问题
数据文件占用量高。临时文件占用量高。解决办法 查看空间使用状况 方法一：通过RDS管理控制台的监控页面查看空间使用情况，详情请参见 查看资源和引擎监控。参数说明如下。参数 说明 磁盘空间总体使用量 所有用户数据库的数据文件和日志...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
管理文件概述
当您不希望在上传或拷贝文件过程中覆盖已有的同名文件时，请使用禁止覆盖同名文件。具体操作，请参见 禁止覆盖同名文件。当您需要读取归档或冷归档文件时，需要先解冻这两种类型的文件。具体操作，请参见 解冻文件。当您需要快速访问Bucket...
RDS MySQL数据文件占满磁盘空间导致出现“锁定中”...
RDS MySQL实例可能会由于数据文件长时间未整理导致实例空间被占满，为避免数据丢失，RDS MySQL会对实例进行自动锁定，磁盘锁定之后，将无法进行写入操作。问题描述 云数据库RDS MySQL实例由于写入的数据太多，导致数据文件占满磁盘空间，...
数据管理
EMR的Delta Lake定义数据文件不需要包含以下两部分：当前最新版本关联到的数据文件。执行过Savepoint的特定版本关联到的数据文件。VACUUM命令可以通过两种方式指定删除多久前的数据文件：通过参数 delta.deletedFileRetentionDuration 配置...
配置HDFS输出组件
文件级：使用号*作为数据文件名占位符，如/ftpuser/test/.flg，将会为每一个数据文件生成一个同名的flg空文件。合并策略 选择输出数据的线程：合并：则所有数据会合并成一个文件，采用单线程输出，大文件输出速度会受影响。重要 合并不支持...
- 产品推荐
- 这些文档可能帮助您