存储空间分析
普通索引 表所有分区的普通索引数据量。主键索引 表所有分区的主键索引的数据量。其他 表所有分区的元数据和临时数据。表行数 表的行数。分区数 表的分区数。相关API API接口 说明 DescribeDBClusterSpaceSummary-查看集群的空间概览 查看 ...
如何解决全量迁移慢或迁移卡住
可能原因 源库待同步或迁移的数据量大或无主键。源库创建了多个DTS任务。源或目标库连接异常。例如，数据库设置了白名单、账号权限不足、账号密码错误等。源或目标库的性能、网络延时、网络带宽等原因。目标库不支持写入数据。例如，目标库...
应用场景
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高可用和弹性扩容能力，适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式，实现更好的可用性和容灾能力。云...
Query级别诊断结果
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
topRegion分析
上图是查询每秒内读请求数据量最大的五个分片，再将属于同一张表的分片聚合在一起，并按照分片读请求数据量的值升序排列后的结果。TopRegion历史快照 TopRegion历史快照支持查询某一历史时间点的热点分片。选择 idc、分组 和 历史快照。...
流量诊断
上图是查询每秒内读请求数据量最大的五个分片，再将属于同一张表的分片聚合在一起，并按照分片读请求数据量的值升序排列后的结果。实时查询热点Key 在左侧导航栏中，选择 流量诊断>topregion/key实时查询。设置筛选条件，包括排序维度、...
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
ListDoctorHiveTables-批量获取Hive表分析结果
Day growth count of empty files HotDataDayGrowthSize object 热数据的数据量日增量大小。热数据指的是 7 日内有访问的数据。Name string 指标名称。hotDataDayGrowthSize Value long 指标值。203431 Unit string 指标单位。MB ...
什么是云数据库HBase
云数据库HBase全面提供海量半结构/非结构化数据下的实时存储、高并发吞吐、轻SQL分析（参见 云原生多模数据库Lindorm）、全文检索（参见Lindorm产品）等能力，结合完备的工具服务，丰富的生态融合，一站式高效满足企业在大数据量场景下的...
东软案例
多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本高等问题，东软急需新型运维大数据存储引擎支撑，来对运维系统存储引擎升级...
冷数据归档
如下所示：对于数据量最大的冷数据，时序引擎会自动根据用户设置的基于业务时间戳的冷热分界线自动将冷数据归档到冷存储中。当需要查询冷数据时，用户可以无感知地按正常查询的方式进行冷数据查询。开通冷存储 时序引擎实例创建后本身就...
数据膨胀诊断
如果两个表的膨胀率相同时，数据量大的表更靠前。诊断信息表内部原理是基于PostgreSQL的Statistic Collector进程的统计信息来进行诊断的，Statistic Collector在PostgreSQL Server发生Crash时统计信息会重置（极小概率发生）。如果您发现...
数据扫描和识别
支持扫描的数据源类型如下：结构化数据：RDS、PolarDB、PolarDB-X、MongoDB、OceanBase、自建数据库 非结构化数据：OSS 大数据：TableStore、MaxCompute、ADB-MYSQL、ADB-PG 数据源授权完成后需要多长时间完成扫描？DSC 完成数据源授权后，...
DataCheckConfigure参数说明
fullCheckMaxReadBps Integer 每秒读取的最大数据量（Byte），取值为0~9007199254740991的整数。说明 取值为0时表示不做限制。dataCheckNoticePhone String 全量或增量数据校验任务告警联系人的手机号。当校验任务触发告警时，将以短信的...
PutRow
如果指定条件检查为EXPECT_NOT_EXIST，则除了消耗本行的主键数据大小与要插入属性列数据大小之和除以4 KB向上取整的写CU，还需消耗该行主键数据大小除以4 KB向上取整的读CU。如果指定条件检查为EXPECT_EXIST，则本次插入失败并且消耗1单位...
UpdateRow
调用UpdateRow接口更新指定行的数据。说明 如果指定行不存在，则新增一行；如果指定行存在，则根据请求的内容在该行中新增、修改或者删除指定列的值。请求消息结构 message UpdateRowRequest { required string table_name=1;required ...
DeleteRow
如果指定条件检查为EXPECT_EXIST，除了消耗该行主键数据大小除以4 KB向上取整的写CU，还需消耗该行主键数据大小除以4 KB向上取整的读CU。关于数据大小的计算请参见 产品定价。如果请求超时，结果未定义，则服务能力单元有可能被消耗，也...
RDS SQL Server I/O高问题
实例I/O过高时，容易影响查询性能。本文介绍查看I/O吞吐情况的方式以及如何排查I/O高...如果调整备份时间无法避免全量备份操作和业务的冲突，建议升级实例的磁盘性能等级，或者拆分数据，减少单个实例上的数据量，缩短全量备份所需的时间。
Tablestore外部表
注意事项 MaxCompute与Tablestore是两个独立的大数据计算和存储服务，所以两者之间的网络必须保证连通性。MaxCompute公共云服务访问Tablestore存储时，推荐您使用Tablestore私网地址，即Host名以 ots-internal.aliyuncs.com 作为结尾的地址...
表操作篇
如果您的表中单个分区键值的所有行的总数据量大小可能超过 10 GB，在设计表时可以将原来的多个主键列拼接成分区键。使用示例 例如，上一小节中提到的学生卡消费记录表，假设主键为 DeviceID,SellerID,CardID,OrderNumber。DeviceID 是该表...
DescribeDBClusterSpaceSummary-查看集群的空间概览
说明 计算公式为：热数据总量=表记录数据量+普通索引数据量+主键索引数据量+其他 4194304 DataSize long 表记录数据量，单位：Byte。1048576 IndexSize long 普通索引数据量，单位：Byte。1048576 PrimaryKeyIndexSize long 主键索引数据量...
DescribeDBClusterSpaceSummary-查看集群的空间概览
说明 计算公式为：热数据总量=表记录数据量+普通索引数据量+主键索引数据量+其他。4194304 DataSize long 表记录数据量，单位：Byte。1048576 IndexSize long 普通索引数据量，单位：Byte。1048576 PrimaryKeyIndexSize long 主键索引数据...
如何设计宽表主键
查询的数据存在只有时间一个维度或某一个维度数据量巨大的情况，主键设计为 long bucket=timestamp%numBuckets;[bucket][timestamp][hostname][log-event]。交易类数据。列举出四个场景设计主键。查询某个卖家某段时间内的交易记录，主键...
计费概述
适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。说明 若您的业务量波动较大且频繁，每个月甚至每周都可能要变更集群配置，推荐您购买按量付费集群并搭配资源包使用。按计算资源付费（CU版计费...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
数据质量风险监控
监控分类：数据量、主键、离散值、汇总值、业务规则和逻辑规则。监控粒度：字段级别、表级别。监控层次：ODS、CDM、ADS三层数据，其中ODS和DWD层主要偏重数据的完整性和一致性。DWS和ADS层数据量较小、逻辑复杂，偏重数据的准确性。说明 如...
如何选择二级索引和多元索引
在实际业务中，主键查询也常常不能满足需求，而使用Filter在大数据量时效率很低。Tablestore推出了二级索引和多元索引两个功能来弥补原生Tablestore查询方式单一的缺点。索引介绍 表格存储提供了二级索引和多元索引用于加速数据查询。二级...
使用流程
操作流程概览如下：开通云原生数据湖分析服务 可选：创建虚拟集群：CU版适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。推荐您使用CU版本来进行数据分析与计算。说明 如果您使用系统默认的...
MongoDB逻辑备份
当您的存储数据量较大时，推荐您购买 DBS存储包（包年包月）抵扣DBS内置存储费用。相比按量付费，DBS存储包更加优惠。存储方式 请选择存储方式，当前支持：内置加密存储（推荐）：使用行业标准的AES256算法（即256位高级加密标准）进行加密...
配置备份计划
备份目标信息 备份目标存储类型 备份目标存储类型，支持：DBS内置存储（推荐）：无需创建存储空间，数据将自动存入DBS内置存储中，会根据存入DBS的数据量产生费用，计费方式请参见 存储费用。推荐您预购存储包，进一步减低存储费用，详情请...
多元索引最佳实践
数据量较大的情况下，推荐先将数据导入到数据表再创建多元索引，有利于提升存量数据的索引构建速度。多元索引相关设计实践 索引字段类型规划 在多元索引中，不同类型字段的索引物理结构设计不同。请在数据表中写入数据时提前规划合适的字段...
索引介绍
全表数据越多，扫描的数据量也就越大，效率也就越低。在实际业务中，主键查询常常不能满足使用需求，而使用Filter在数据规模大的情况下查询效率很低，那么要如何解决表引擎存在的数据查询问题？由于数据查询的效率与底层扫描的数据量正相关...
创建数据表
如果要系统设计中存在使用主键列自增功能的场景，例如电商网站的商品ID、大型网站的用户ID、论坛帖子的ID、聊天工具的消息ID等，您可以通过在创建数据表时配置主键列自增实现。具体操作，请参见 主键列自增。前提条件 已通过控制台创建 ...
表设计规范
表设计主要目标 降低存储成本 合理的表设计可以降低数据分层设计上的冗余存储，减少中间表的数据量大小。对表数据的生命周期进行正确的管理，也能够直接降低存储的数据量及存储成本。降低计算成本 规范化的表设计可以帮助您优化数据的读取...
方案分析
复杂，需要分库分表，带来了逻辑层和数据层的极大耦合性 主键自增功能 不需要加锁 需要加锁，且表锁会严重限制并发度，影响性能 阿里云的表格存储也属于有序性的分布式NoSQL数据库，具有以下优势：单表支持10万亿行+、10 PB+的数据量，再快...
数据存储量
存储空间的计算公式：单行数据量=主键列 的数据量+所有 属性列 的数据量 主键列的数据量=主键列的名字长度之和+主键列的值的数据量之和 属性列的数据量计算方式，请参考本文档中关于行及表的数据量计算示例的具体说明。值的数据量的计算...
查看与减少数据备份
说明 如果当月全量备份数据量与增量备份数据量之和未超过每月备份数据量免费额度，则不额外收取备份费用，否则超出部分按量付费。更多信息，请参见 备份费用。如果使用了DBS内置存储，还将收取存储费用，更多信息，请参见 存储费用。备份...
数据引入层（ODS）
当遇到大数据量情况下，这项工作就会更加复杂，且没有必要。使用代理键会增加ETL的复杂性，从而增加ETL任务的开发和维护成本。在不使用代理键的情况下，缓慢变化维度可以通过快照方式处理。快照方式下数据的计算周期通常为每天一次。基于该...
数据引入层（ODS）
当遇到大数据量情况下，这项工作就会更加复杂，且没有必要。使用代理键会增加ETL的复杂性，从而增加ETL任务的开发和维护成本。在不使用代理键的情况下，缓慢变化维度可以通过快照方式处理。快照方式下数据的计算周期通常为每天一次。基于该...
产品架构
模型 描述 宽表模型 类Bigtable/HBase模型，可应用于元数据、大数据等多种场景，支持数据版本、生命周期、主键列自增、条件更新、局部事务、原子计数器、过滤器等功能。更多信息，请参见 宽表模型。时序模型 针对时间序列数据的特点进行...
- 产品推荐
- 这些文档可能帮助您