数据扫描和识别
在MaxCompute、数据库的表结构发生变化后（仅指数据表的列有新增或删减），会触发自动扫描并扫描有变化的列；数据表的行发生变化不会触发自动扫描。对该数据源中的所有数据收取全量扫描费用。在OSS文件新增和修改后会触发自动扫描。说明 ...
方案概述
全量数据同步需要一定时间，耗时与数据量大小有关，在此期间，目标端状态为 创建中，请耐心等待。如果待升级的PolarDB集群是已有数据传输服务（DTS）的源集群或目标集群，则升级后需要将该DTS任务的源或目标集群修改为升级后的PolarDB集群...
从自建MySQL迁移至PolarDB-X
DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，甚至导致数据...
数据安全
数据备份与恢复 云原生多模数据库 Lindorm 宽表引擎支持数据备份恢复功能，该功能基于数据生态服务中的数据迁移，将数据存储至阿里云对象存储服务OSS（Object Storage Service，简称OSS）中，定期全量备份数据，实时增量同步数据，来满足对...
数据传输费用（公网下载）
计费公式 价格 说明 一次下载费用=下载数据量×下载价格 计费单价如下：公共云：0.8元/GB 金融云：1.2元/GB 下载数据量：指一次下载请求的HTTP Body的大小。承载数据的HTTP Body使用ProtoBuffer编码，因此一般比数据原始容量要小，但是比...
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
GetDoctorHiveDatabase-获取Hive库信息
TextInputFormat FormatSize long 格式数据量。1000 FormatSizeUnit string 格式数据量单位。MB FormatRatio float 格式占比。0.5 FormatDayGrowthSize long 格式数据量日增量。1000 FormatSizeDayGrowthRatio float 格式数据量日环比。0.5...
ListDoctorHiveDatabases-批量获取 Hive 库信息
TextInputFormat FormatSize long 格式数据量。1000 FormatSizeUnit string 格式数据量单位。MB FormatRatio float 格式占比。0.5 FormatDayGrowthSize long 格式数据量日增量。1000 FormatSizeDayGrowthRatio float 格式数据量日环比。0.5...
从自建Oracle迁移至PolarDB-X
DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，甚至导致数据...
GetDoctorHDFSDirectory-获取HDFS特定目录分析结果
Day growth ratio of cold data size FreezeDataSizeDayGrowthRatio object 极冷数据的数据量大小日环比。极冷数据指的是 90 日以内都没有访问的数据。Name string 指标名称。freezeDataSizeDayGrowthRatio Value float 指标值。0.09 Unit ...
T+1多库合并建仓
上述方案可解决因数据量大而导致的用户体验问题，但在对分库分表数据进行大数据分析时，逻辑上的一个表被拆成了多张表，由于没有类似TDDL中间件来屏蔽物理表的拆分，进行数据分析时变得十分复杂。解决方案 T+1多库合并建仓是指通过DLA控制...
GetDoctorHiveCluster-获取 Hive 集群信息
Day growth ratio of cold data size FreezeDataSizeDayGrowthRatio object 极冷数据的数据量大小日环比。极冷数据指的是 90 日以内都没有访问的数据。Name string 指标名称。freezeDataSizeDayGrowthRatio Value float 指标值。0.5 Unit ...
名词解释
INDEX 〇 ✖️ Index（索引）是一种数据结构，用于加快数据库中数据的检索速度，提高查询性能。索引可以看作是表中一个或多个列的快速访问入口，可以根据某个特定的列值快速定位到想要访问的数据。宽表引擎支持多种索引，例如二级索引、...
简介
当历史数据量较大时，可通过冷数据自动转储功能，将数据存放到OSS中，减少70%以上的成本。百亿量级的轨迹查询（比如查询某段时间、某空间范围内经过的轨迹）只需亚秒级。与spark平台无缝衔接，可以提供类似轨迹相似度、OD分析等强大功能。...
DescribeTableStatistics-查询表统计信息
计算公式 1：总数据量=热数据量+冷数据量，计算公式 2：总数据量=表记录数据量+普通索引数据量+主键索引数据量+其他。1577 HotDataSize long 热数据量，单位：Byte。1048576 OtherSize long 其他，单位：Byte。1048576 示例 正常返回示例 ...
01新建模型目录
具有数据量大，查询计算较慢的特点。DWS：全称Data Warehouse Summary，汇总数据层，存储以事实表为基础，以维度为单位的统计度量。DIM：全称Dimension，公共维度层，是在存储层的基础上清洗脏数据、筛选有价值数据，并且对明细数据层的...
概述
数据备份物理空间大小如下图所示：说明 PolarDB 集群 数据备份物理空间大小（上图中①所示）：指数据备份的收费对象，物理空间大小是指所有数据备份（快照）独占的物理空间大小之和，PolarDB集群的数据与多个数据备份（快照）会复用相同的...
如何处理Tair集群数据倾斜
但在使用数据库的过程中，可能会由于前期规划不足、不规范的数据写入及突发的访问量，造成数据量倾斜或数据访问倾斜，最终引起数据倾斜。说明 数据倾斜通常是指大多数据分片节点的性能指标较低，而个别节点的性能指标较高的情况，高或低...
如何处理Redis集群数据倾斜
但在使用数据库的过程中，可能会由于前期规划不足、不规范的数据写入及突发的访问量，造成数据量倾斜或数据访问倾斜，最终引起数据倾斜。说明 数据倾斜通常是指大多数据分片节点的性能指标较低，而个别节点的性能指标较高的情况，高或低...
开通备份恢复
云原生多模数据库 Lindorm 宽表引擎支持数据备份恢复功能，该功能基于数据生态服务中的数据迁移，将数据存储至阿里云对象存储服务OSS（Object Storage Service，简称OSS）中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据...
Delta Lake概述
说明 ACID指数据库事务正确执行的四个基本要素的缩写。包含：原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）和持久性（Durability）。图 1.数据仓库与数据湖 Data Warehouse、Data Lake和Delta Lake对比如下所示。对比...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
如果开启，请设置 RPS（全量迁移阶段每秒最多可以迁移至目标端的数据行数的最大值限制）和 BPS（全量迁移阶段每秒最多可以迁移至目标端的数据量的最大值限制）。说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，全量迁移实际可以达到的...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库中...
数据库高级特性管理
更新数据库统计信息 由于数据库中的数据量和分布会随着时间的推移而发生变化，您可以定期更新统计信息，以保证查询优化器的准确性和性能。使用场景 当数据库进行大版本升级时，新版本可能会引入新的数据类型、存储引擎或查询优化器等，这...
快照备份
RDS SQL Server支持快照备份功能，相对于常规的物理备份方式，快照备份可大幅缩短数据库的恢复时间，同时支持更大的备份数据量。功能介绍 RDS SQL Server提供了快照备份和物理备份两种备份方式。物理备份恢复速率受限于20 MB/s，最大仅支持...
Query级别诊断结果
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
冷热分层
冷数据特点 数据量大：相对于热数据，冷数据通常需要保存较长时间，甚至永久保存。成本管控：数据量大且访问频率较低，不宜投入过多成本。性能要求低：相较于普通的TP请求查询，无需在毫秒级别返回。冷数据的查询可以接受数十秒甚至更长...
PolarDB PostgreSQL版间的迁移
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库中...
术语
当您的数据量较大时，推荐使用 PolarDB 存储包以降低存储成本。更多详情，请参见 购买存储包。硬件压缩盘（Smart-SSD）硬件压缩盘使用阿里巴巴自研的Aliflash Smart-SSD技术，在物理SSD磁盘层面压缩、解压缩存储的数据，保持性能影响可控的...
基本概念
因此，复制表中的数据量不宜过大，最好不超过2万行。由于维度表的变更会广播到集群的所有节点，确保所有节点的数据一致性，影响写入性能，因此不建议频繁增删改维度表的数据。EIU EIU，全称为Elastic IO Unit，中文名称为弹性IO资源，是 ...
功能介绍
重要 当前 AnalyticDB PostgreSQL 6.0版 的涵盖 主动放弃增量日志（xlog）归档 的功能，即：在节点磁盘水位达到某一阈值（默认值为85%）后，考虑到实例业务I/O写入量过大可能降低增量日志归档速度，为避免潜在的增量日志堆积导致磁盘满锁的...
产品架构
增量数据迁移：当全量数据迁移完成后，DTS会检索本地存储的增量数据，重新格式化，并将数据更新应用到目标数据库中。此过程将持续下去，直到所有正在进行的数据变更都复制到目标数据库，并且源数据库和目标数据库完全同步。数据同步的工作...
基本概念
数据同步 数据源：是指数据库应用程序所使用的数据库或者数据库服务器，在数据资源平台的数据同步中可以将配置好的数据源端数据同步到目标端。多源异构数据：指的是多种不同结构的数据源。数据模板：用于对非结构化数据的解释，当创建数据...
概述
数据备份物理空间大小如下图所示：说明 PolarDB 集群 数据备份物理空间大小（上图中①所示）：指数据备份的收费对象，物理空间大小是指所有数据备份（快照）独占的物理空间大小之和，PolarDB集群的数据与多个数据备份（快照）会复用相同的...
通过整库迁移配置集成任务
适用于数据量较大的情况，可以提高同步速度。配置数据同步。同步来源为 Hive、MySQL、Oracle、Microsoft SQL Server、OceanBase、IBM DB2、MaxCompute、PostgreSQL。勾选来源表后，将生成对应的目标表，名称默认与来源表名一致。若有 名称...
导入概述
Broker Load适用于源数据在Broker进程可访问的存储系统（例如HDFS）中，数据量为几十GB到上百GB，详细信息请参见 Broker Load。异步导入 Spark Load 通过外部的Spark资源实现对导入数据的预处理，提高StarRocks大数据量的导入性能并且节省...
RDS术语
本文介绍云数据库RDS中的相关名词和术语。A 安全组 安全组是一种虚拟防火墙，用于控制安全组中的ECS实例的出入流量。在RDS白名单中添加安全组后，该安全组中的ECS实例就可以访问RDS实例。更多信息，请参见 设置安全组。按量付费 后付费，即...
长周期指标的计算优化方案
影响性能的问题根源是多天汇总数据量过大，建议您使用构建临时表的方式对每天的数据进行轻度汇总，这样可以去掉很多重复数据，减少数据量。实验方案 构建中间表，每天汇总一次。对于上述示例，构建 item_id+visitior_id 粒度的日汇总表，记...
RDS术语
本文介绍云数据库RDS中的相关名词和术语。A 安全组 安全组是一种虚拟防火墙，用于控制安全组中的ECS实例的出入流量。在RDS白名单中添加安全组后，该安全组中的ECS实例就可以访问RDS实例。更多信息，请参见 设置安全组。按量付费 后付费，即...
数据膨胀诊断
如果两个表的膨胀率相同时，数据量大的表更靠前。诊断信息表内部原理是基于PostgreSQL的Statistic Collector进程的统计信息来进行诊断的，Statistic Collector在PostgreSQL Server发生Crash时统计信息会重置（极小概率发生）。如果您发现...
- 产品推荐
- 这些文档可能帮助您