MySQL存储计算分离实践
本文主要说明如何基于阿里云数据库文件存储DBFS搭建MySQL数据库。背景信息 云上自建数据库通常会选用云盘和ext4文件系统作为MySQL数据库的文件存储。而基于DBFS构建，不但简化了用户基于块存储架构的复杂度，而且面向数据库场景，提供了...
准备工作
将数据文件（点文件和边文件）导入至图数据库GDB实例前，您需要先准备好需要导入的数据文件、获取导入过程中使用到的实例信息等，使导入操作更加流畅。前提条件 已创建图数据库GDB实例，创建方法请参见 创建实例。已创建Bucket，创建方法请...
备份集查询功能概览
背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据文件被修改。通过 Hive 的方式直接对文件进行查询，但是这种方式对数据文件格式有严格的...
使用限制
一个普通的PolarDB表（非分区表）占用3个文件（数据文件、visibilitymap文件、fsm文件，使用索引的话，每个索引一个文件）。文件数量达到上限后，继续创建表会提示类似以下错误：could not create file 此时需要删除部分表或者升级集群规格...
使用限制
一个普通的PolarDB表（非分区表）占用3个文件（数据文件、visibilitymap文件、fsm文件，使用索引的话，每个索引一个文件）。文件数量达到上限后，继续创建表会提示类似以下错误：could not create file 此时需要删除部分表或者升级集群规格...
透明数据加密概述
RDS PostgreSQL支持透明数据加密（Transparent Data Encryption，简称TDE），对数据文件进行实时加密和解密，保护用户数据隐私，本文介绍透明数据加密的基本概念和加密原理。什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和...
概述
本文简要说明非阿里云数据迁移至阿里云文件存储NAS的费用说明、操作流程及迁移工具选择。费用说明 非阿里云数据迁移至阿里云NAS时，会涉及如下费用：文件存储NAS存储费用，推荐购买资源包抵扣。关于NAS的计费详情，请参见 计费概述。如果您...
云盘备份数据导入至AnalyticDB MySQL版
如果您需要对RDS MySQL云盘数据进行查询分析，您可先使用高级下载功能将数据下载到阿里云OSS中，再将OSS中的数据导入到云原生数据仓库 AnalyticDB MySQL版 进行查询分析。前提条件 RDS MySQL为 云盘 实例，且支持高级备份下载功能。是否...
使用curl命令导入数据文件
本文介绍使用curl命令将数据文件从对象存储OSS的Bucket中导入至图数据库GDB实例、查看导入任务和取消导入任务的方法。前提条件 已创建目标图数据库GDB实例，创建方法请参见 创建主实例。说明 如果Bucket是在对象存储控制台创建，请确保图...
运行SQL命令并导出结果数据
数据文件的导出路径有两种选择：您可以直接将数据以文件形式导出至MaxCompute客户端的 bin 目录中，导出路径为 文件名.后缀名；也可以导出至其他路径下，例如D盘的test文件夹，导出路径为 D:\test\文件名.后缀名。假设，表result_table1的...
数据处理
本文为您详细介绍GDB Automl数据导入的方法。...解析后的数据帧，可以选择切分工具，按照自定义比例进行数据切分。帮助您自动划分训练集、验证集和测试集，划分时按照种子随机切分。单击 切分。单击 创建，得到拆分后的数据帧文件。
配置FTP输出组件
文件数据行数：$rowcount。也支持管道级别配置的参数。可自由选择需要的参数与分隔符。任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 ...
配置FTP输出组件
文件数据行数：$rowcount。也支持管道级别配置的参数。可自由选择需要的参数与分隔符。任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 ...
归档为CSV或ORC格式
说明 如果OSS对象存储中存在与归档的数据文件名称冲突的数据文件，系统会报文件已经存在的错误。例如：Target file for archived table exists on oss.您可以在以上三个语法中通过添加 FORCE 关键字来覆盖OSS对象存储中已经存在的数据文件...
元数据抽取
在业务运行中，经常会沉淀到大量数据到数据湖中这部分数据可能是没有像数据仓库一样经过...全量抽取：抽取元数据时扫描全量数据文件，在数据规模比较大时，作业消耗时间长，抽取结果更准确。5.确认任务执行的相关参数，点击 保存并立即执行。
使用GdbLoader脚本导入数据文件
本文介绍使用GdbLoader脚本将数据文件从对象存储OSS的Bucket中导入至图数据库GDB实例、查看导入任务和取消导入任务的方法。前提条件 已创建目标图数据库GDB实例，创建方法请参见 创建主实例。说明 如果Bucket是在对象存储控制台创建，请...
数据组织优化
Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量的小文件还会引发Meta更新以及分析执行慢，数据读写I/O效率低下等问题，...
通过元数据发现导入至湖仓版
OSS文件数据变更，重新映射到 AnalyticDB MySQL 的表数据会根据 目标元数据配置 规则更新。目标元数据配置 Schema名称 设置Schema名称，映射到 AnalyticDB MySQL 的数据库名称（默认每个发现任务会创建一个新的Schema）。数据库名称填写，...
事务管理
数据文件版本管理 每次事务操作会生成一批新的数据文件，这些数据文件会绑定对应的事务版本，主要包含两个属性：时间版本：Timestamp类型，等效于事务Commit时间，只有由用户触发并且存在逻辑数据变更的操作才会产生新的时间版本，...
查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
导出至HDFS
方式三：INSERT OVERWRITE PARTITION 与 INSERT INTO PARTITION 使用方法相同，但使用 INSERT OVERWRITE PARTITION 时，会覆盖掉本次执行中涉及到的目标分区中之前已有的数据文件，对于没有新数据写入的分区，则不会清除其中的数据文件。...
CDH6数据迁移
为了保证在更换文件存储系统的过程中文件数据不丢失，需要暂停数据处理服务（例如：YARN服务、Hive服务、Spark服务、HBase服务等），HDFS服务仍需保持运行。此处以停止Hive服务为例进行说明。在CDH Web主页，找到Hive服务，在右侧的操作...
导入数据并查询
对于数据量较大的CSV或TEXT数据文件，强烈建议您按照后续步骤导入 AnalyticDB for MySQL 后再做查询，否则查询性能可能会较差。对于Parquet格式数据文件，直接查询的性能一般也比较高，您可以根据需要决定是否进一步导入到 AnalyticDB for ...
Hudi数据源
本文介绍 云数据库 SelectDB 版 与Hudi数据源进行对接使用的流程，帮助您对Hudi数据源进行联邦分析。注意事项 Hudi表支持的查询类型如下。表类型 支持的查询类型 Copy On Write Snapshot Query+Time Travel Merge On Read Snapshot Queries...
数据加密
当云数据库MongoDB实例开启TDE功能后，新创建的数据库或集合中的数据在写入到任何设备（例如磁盘、SSD、PCIe卡）、服务（例如对象存储OSS）前都会进行加密，因此实例中对应的数据文件和备份文件都是以密文形式存在的。TDE的设置方法请参见 ...
离线同步日志分析
切分（拆分）任务 此阶段将源端待同步数据切分为多个task，以便并发、分批进行读取数据，切分规则如下：关系型数据库：按照您在界面配置时指定的切分键 splitPk，作为切分依据，将待同步数据切分为多个task，通过并发分批读取切分的task。...
DDL差异
MySQL 云原生数据仓库AnalyticDB MySQL 定义 ALTER DATABASE 不支持 修改数据库属性。ALTER EVENT 不支持 修改现有事件的一个或多个特征。ALTER FUNCTION 不支持 修改函数的定义。ALTER LOGFILE GROUP 不支持 修改日志文件组。ALTER ...
备份下载的常见问题
因此存储空间数据量不等于下载的备份文件数据量。说明 如需扩容或释放实例存储空间，请参见 存储空间的常见问题。MySQL自建数据库的备份文件如何恢复或导入到云上RDS实例上？具体操作请参见 自建数据库备份恢复上云 或 MySQL 5.7、8.0自建...
备份下载的常见问题
因此存储空间数据量不等于下载的备份文件数据量。说明 如需扩容或释放实例存储空间，请参见 存储空间的常见问题。MySQL自建数据库的备份文件如何恢复或导入到云上RDS实例上？具体操作请参见 自建数据库备份恢复上云 或 MySQL 5.7、8.0自建...
备份下载的常见问题
因此存储空间数据量不等于下载的备份文件数据量。说明 如需扩容或释放实例存储空间，请参见 存储空间的常见问题。MySQL自建数据库的备份文件如何恢复或导入到云上RDS实例上？具体操作请参见 备份恢复上云 或 MySQL 5.7、8.0自建数据库全量...
API概览
UpgradeDBInstanceEngineVersion 升级RDS MySQL数据库大版本 该接口用于升级RDS MySQL的数据库大版本。UpgradeDBInstanceKernelVersion 升级RDS实例内核小版本 该接口用于升级RDS实例的内核小版本。网络与连接地址 API 标题 API概述 ...
表数据格式
数据存储分桶 为了进一步优化读写效率，Transactional Table 2.0支持按照BucketIndex对数据进行切分存储，BucketIndex数据列默认复用PK列，bucket数量可通过配置表属性 write.bucket.num 指定，因此对同一张表或分区的数据，写入数据会按PK...
Catalog概述
数据文件以不同的格式存储在分布式文件系统或对象存储系统中。当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请...
Catalog概述
数据文件以不同的格式存储在分布式文件系统或对象存储系统中。当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请...
新建离线物理表
导入文件数据列：支持设置为数据列、空值NULL或固定值。单击 开始导入，即可导入数据到表中。后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布离线物理表。更多信息，请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后...
新建离线物理表
导入文件数据列：支持设置为数据列、空值NULL或固定值。单击 开始导入，即可导入数据到表中。后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布离线物理表。更多信息，请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后...
添加对象存储OSS数据源
使用阿里云对象存储服务（Object Storage Service，简称OSS），您可以通过网络随时存储和调用文本、图片、音频和视频等各种非结构化数据文件。前提条件 已准备好待添加的对象存储OSS数据源。添加对象存储OSS数据源操作步骤 登录 DataV控制...
数据归档
RDS MySQL实例数据量较大时，存储成本会随之增高。业务数据通常分为冷数据和热数据，将对象存储（OSS）作为归档冷数据的存储介质，能够大幅降低用户的存储成本。功能简介 在开启RDS MySQL通用云盘的数据归档OSS功能后，用户可通过执行下面...
添加对象存储OSS数据源
使用阿里云对象存储服务（Object Storage Service，简称OSS），您可以通过网络随时存储和调用文本、图片、音频和视频等各种非结构化数据文件。前提条件 已准备好待添加的对象存储OSS数据源。添加对象存储OSS数据源操作步骤 登录 DataV控制...
数据归档至专属存储
本文为您介绍如何将数据归档至专属存储中（存储在 DMS）、将专属存储的数据转存至OSS，以及删除归档至专属存储的数据等操作。前提条件 源数据库类型为：MySQL：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。说明 MySQL数据库账号...
- 产品推荐
- 这些文档可能帮助您