数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
上传数据
上传CSV数据 重要 CSV文件数据格式为不带BOM的UTF-8编码格式，CSV文件数据内容需要使用英文逗号作为分隔符，如当字段内出现分隔符（,）时，需要使用转义符（"）包裹该字段，避免读取数据时造成字段的错误分割。CSV文件格式注意事项，请参见...
上传数据
上传CSV数据 注意 CSV文件数据格式为不带BOM的UTF-8编码格式，CSV文件数据内容需要使用英文逗号作为分隔符，如当字段内出现分隔符（,）时，需要使用转义符（"）包裹该字段，避免读取数据时造成字段的错误分割。CSV文件格式注意事项，请参见...
RDS for SQL Server如何回收表空间
MySQL表的空间是独立的一个文件，所以收缩MySQL的大表，可以收缩整体数据库的大小，但是SQL Server所有的表都是在数据库的文件里，只有收缩文件才可以缩小空间。因为MySQL表的空间是独立的一个文件，如果收缩MySQL的大表，会相应收缩整体...
RDS for SQL Server如何回收表空间
MySQL表的空间是独立的一个文件，所以收缩MySQL的大表，可以收缩整体数据库的大小，但是SQL Server所有的表都是在数据库的文件里，只有收缩文件才可以缩小空间。因为MySQL表的空间是独立的一个文件，如果收缩MySQL的大表，会相应收缩整体...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
使用SSMS迁移上云
查询数据库的数据行数（返回所有业务表数据的总和）重要 请确保数据迁移过程中，源表和快照数据无变更，否则可能会导致数据行数不一致。use;SELECT SUM(b.rows)AS 'RowCount' FROM sysobjects AS a INNER JOIN sysindexes AS b ON a.id=b....
压缩测试
各场景下的测试对比结果汇总如下：数据 文件大小 Lindorm（默认压缩）Lindorm（字典压缩）HBase（SNAPPY）MySQL MongoDB（SNAPPY）MongoDB（ZSTD）订单数据（TPC-H）1.76 GB 784 MB 639 MB 1.23 GB 2.10 GB 1.63 GB 1.32 GB 车联网数据...
数据导入常见问题
本文汇总了StarRocks数据导入的常见问题。通用问题 如何选择导入方式？影响导入性能的因素都有哪些？报错“close index channel failed“或“too many tablet versions”，该如何处理？报错“Label Already Exists”，该如何处理？报错...
OGG插件介绍
随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。OGG采集工具 一、背景介绍 说明 随着数据规模的不断扩大，传统的RDBMS难以...
数据组织优化
Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量的小文件还会引发Meta更新以及分析执行慢，数据读写I/O效率低下等问题，...
空间管理
自治服务的空间管理功能提供分层的监控与分析，从实例深入到数据库，再从数据库深入到表，帮助用户发现和定位数据库空间相关问题。空间管理提供您查看实例基本信息、空间总览、空间数据图表信息、空间变化趋势等等，帮助您从各个维度了解...
空间管理
数据库自治服务DAS 为 RDS SQL Server 提供空间管理功能，可以分层监控与分析，从实例深入到数据库，再从数据库深入到表，帮助用户发现和定位数据库空间相关问题。空间管理提供您查看实例基本信息、空间总览、空间数据图表信息、空间变化...
RDS SQL Server空间不足问题
数据空间的回收通常有如下几种方式：归档数据 删除数据库中不常用的数据（例如早期的历史数据），或者根据需要迁移到其他数据库实例中，或者以其他形式归档保存，通过直接减少数据量来降低已使用数据空间大小。这种方式是控制数据空间增长...
基于OSS外表的单表多文件查询
一般情况下，OSS外表存储的数据是冷数据，数据量比较大，当单个CSV格式的数据文件过大时，对其进行查询会非常耗时。因此 PolarDB 支持单表多文件查询功能，您可以将单个OSS外表的数据文件拆分为多个小的数据文件，以加快查询速度。本文介绍...
ActionTrail日志清洗
DLA提供ActionTrail日志自动清洗解决方案，可以将ActionTrail投递到OSS的日志文件转换为DLA中可以直接查询的数据表，同时自动对数据进行分区和压缩，方便您分析和审计对云产品的操作日志。日志分析痛点 ActionTrail是阿里云提供的云账号...
添加数据源概述
数据源类型 数据源 说明 数据库类 说明 如果您在其它地域，或者没有使用阿里云数据库，想连接自建数据库，那就需要暴露数据库的公网IP进行连接。DataV当前不支持IP白名单，如果您担心安全性问题，可以使用阿里云提供的数据库连接代理工具来...
Purge Large File Asynchronously
如果数据文件非常大，直接删除文件会导致POSIX文件系统出现严重的稳定性问题。AliSQL的大文件清理功能会启动一个后台线程来异步清理数据文件。当执行DROP TABLE时，对应的数据文件会被重命名为临时文件，然后通过文件清理线程异步、平缓地...
功能特性
具体请参见：按备份点将备份数据恢复至新建实例 按时间点将备份数据恢复至新建实例 备份文件下载 您可以在备份保留天数期限内下载备份文件至本地，具体请参见 下载备份文件。全面监控 云数据库MongoDB提供多达20种系统性能监控项，包括磁盘...
设置透明数据加密TDE
在安全合规或静态数据加密等场景下，推荐使用透明数据加密TDE（Transparent Data Encryption）功能，对数据文件执行实时I/O加密和解密，确保敏感数据在写入磁盘之前进行加密，从磁盘读入内存时进行解密，阻止可能的攻击者绕过数据库直接从...
基本概念
W 文件引擎 负责目录文件数据的管理和服务，并提供宽表、时序、搜索引擎底层共享存储的服务化访问能力，从而加速多模引擎底层数据文件的导入导出及计算分析效率，兼容开源HDFS标准接口。更多信息，请参见 文件引擎介绍。物理I/O 由文件系统...
设置透明数据加密TDE
在安全合规或静态数据加密等场景下，推荐使用透明数据加密TDE（Transparent Data Encryption）功能，对数据文件执行实时I/O加密和解密，通过在数据库层执行静态数据加密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息，有效提高...
Jindo DistCp场景化使用指导
如果要Copy的所有文件中小文件的占比较高，大文件较少，但是单个文件数据较大，在正常流程中是按照随机方式来进行Copy文件分配，此时如果不做优化很可能造成一个Copy进程分配到大文件的同时也分配到很多小文件，不能发挥最好的性能。...
Jindo DistCp场景化使用指导
如果要Copy的所有文件中小文件的占比较高，大文件较少，但是单个文件数据较大，在正常流程中是按照随机方式来进行Copy文件分配，此时如果不做优化很可能造成一个Copy进程分配到大文件的同时也分配到很多小文件，不能发挥最好的性能。...
如何优化数据导入导出
LOCAL代表从本地文件导入，local_infile参数必须开启 csv文件数据适合程序导入，具体方式可查看 使用程序进行数据导入。mysqldump工具使用示例 mysqldump工具可以连接到本地或远程服务器，详细使用方法请参见 使用mysqldump导入导出数据。...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
使用SSMS和BCP迁移SQL Server数据库
BCP 可以在SQL Server实例和用户指定格式的数据文件间大容量复制数据，您可以通过BCP实用工具将大量新行导入SQL Server表，或将表数据导出到数据文件。所以，本文直接使用SSMS的功能来生成源端数据库对象结构的创建脚本，然后在目标数据库...
Amazon Redshift数据迁移至MaxCompute
本文为您介绍如何通过公网环境将Amazon Redshift数据迁移至MaxCompute。前提条件 准备Amazon Redshift集群环境及数据环境。您可以登录AWS官网，获取创建Redshift集群的详细操作内容，详情请参见 Amazon Redshift集群管理指南。创建Redshift...
Stream Load
LoadBytes 导入任务的源文件数据量大小。LoadTimeMs 导入任务所用的时间，单位为ms。ErrorURL 被过滤数据的具体内容，仅保留前1000条数据。如果导入任务失败，可以直接用以下方式获取被过滤的数据并进行分析，以调整导入任务。wget ...
Stream Load
LoadBytes 导入任务的源文件数据量大小。LoadTimeMs 导入任务所用的时间，单位为ms。ErrorURL 被过滤数据的具体内容，仅保留前1000条数据。如果导入任务失败，可以直接用以下方式获取被过滤的数据并进行分析，以调整导入任务。wget ...
GetDbfs-查询单个数据库文件系统
调用GetDbfs查询数据库文件系统详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句...
ListDbfs-查询数据库文件系统列表
调用ListDbfs查询您已经创建的数据库文件系统列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限...
什么是备份数据量
概念 说明 数据库磁盘空间 数据库磁盘空间由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。对于RDS来说，是购买时选择的存储空间；对于ECS来说，是购买时选择的系统盘和数据盘存储空间。数据文件空间 数据...
解决SQL Server实例空间满自动锁的问题
方法二：通过SQL语句查看所有数据库的数据文件（mdf和ndf文件）和日志文件（ldf文件）的大小，详情请参见 RDS for SQL Server如何查看实例、数据库及表占用的空间大小。解决空间满自动锁问题 升级实例的存储空间 升级实例存储空间后即可...
解决SQL Server实例空间满自动锁的问题
方法二：通过SQL语句查看所有数据库的数据文件（mdf和ndf文件）和日志文件（ldf文件）的大小，详情请参见 RDS for SQL Server如何查看实例、数据库及表占用的空间大小。解决空间满自动锁问题 升级实例的存储空间 升级实例存储空间后即可...
由于数据文件过多导致集群存储空间被占满的解决办法
本文介绍了由于数据文件过多导致存储空间被占满的问题描述、解决方案以及后续维护等内容。问题描述 PolarDB MySQL版 集群可能会由于数据文件长时间未整理导致占用过多存储空间，且在集群的 空间分析 页面的 空间变化趋势 区域中确认数据...
存储类型
云原生多模数据库 Lindorm依赖于LindormDFS云原生存储系统，实现了数据存储与计算分离。存储容量独立计费，支持不停机在线扩容。Lindorm实例的存储容量在同实例内的多个引擎之间共享。存储类型说明 云原生多模数据库Lindorm支持的存储类型...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
RDS MySQL数据文件占满磁盘空间导致出现“锁定中”...
RDS MySQL实例可能会由于数据文件长时间未整理导致实例空间被占满，为避免数据丢失，RDS MySQL会对实例进行自动锁定，磁盘锁定之后，将无法进行写入操作。问题描述 云数据库RDS MySQL实例由于写入的数据太多，导致数据文件占满磁盘空间，...
- 产品推荐
- 这些文档可能帮助您