RDS MySQL空间不足问题
RDS MySQL实例的空间使用率是日常需要重点关注的监控项之一，如果实例的存储空间不足，会导致严重后果，例如数据库无法写入、数据库无法备份、存储空间扩容任务耗时过长等。本文介绍查看空间使用情况的方式，以及各种空间问题的原因和解决...
存储引擎对比
发送延迟 低 高 分区数消耗比 1∶1 如果您创建一个分区数为12的Topic，则会消耗12个总分区数。1∶3 如果您创建一个分区数为12的Topic，则会消耗36个总分区数。碎片化存储 否 是 Compact 不支持 支持 幂等 不支持 支持 事务 不支持 支持 ...
OSS性能与扩展性最佳实践
那么在存储系统中，这些数据理论上会被持续划分至最多65536个分区，以每个分区操作2000次/秒的性能瓶颈标准，再结合您业务的请求速率，可以评估hash桶的个数是否合适。如果您想要列出文件名中带有特定日期的文件，例如列出sample-bucket-01...
迁移时源库为PolarDB MySQL版的注意事项及限制
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致迁移结果不符合预期。在数据迁移完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
避免下盘
计算量过大导致的算子下盘 在某些时候，我们发现我们已经设置了较大的查询内存（statement_mem）,但我们通过执行计划发现，算子执行过程中需要的内存远远大于我们设置的内存，这个时候往往是计算量过大导致的。这个时候我们需要考虑能够...
基本概念
Hologres是一款高性能的、计算存储分离的分布式一站式实时数仓引擎，数据存储在位于底层存储系统的数据分片（又称Shard）上。本文为您介绍Hologres中Table Group和Shard Count的概念。Table Group和Shard 在Hologres中数据存储在Pangu系统...
冷热分离介绍
Lindorm宽表引擎的冷热分离功能可以将冷热数据分别存储在不同的介质上，有效降低了数据的存储成本。同时，通过定期将数据迁移至冷存储介质，降低了查询基数，提升了热数据查询效率。本文介绍冷热分离功能的原理及相关注意事项。背景信息 在...
扫描并发控制
背景信息 AnalyticDB for MySQL 在执行查询时，需要从数据源扫描数据，扫描任务会被调度到存储节点或计算节点上执行，节点的扫描任务并发数过大，可能会造成以下问题：内表的扫描任务并发数过大会导致存储节点IO争抢严重，CPU和内存使用率...
数据操作篇
拆分属性列访问热度差异大的表 如果行的属性列较多，但是每次操作只访问一部分属性列，可以考虑将表拆分成多个表，将不同访问频率的属性列放到不同的表中。例如，在商品管理系统中，每行存放商品数量、商品价格和商品简介。商品数量和商品...
实时存储引擎
背景 云原生数据仓库AnalyticDB MySQL版 作为一款实时数仓产品，为了支持低延迟的写入、更新场景，在传统数仓能力基础上，设计了实时存储引擎。数据写入和更新会以Append_only的方式写入实时存储引擎，经过Compact之后构建索引以支持复杂的...
高压缩引擎（X-Engine）介绍
数据量太大导致数据备份时间过长甚至备份失败；同时如何存放备份数据也是一个问题。针对如上问题，一种做法是对历史数据做归档，将长期不使用的数据迁移至以文件形式存储的廉价存储设备上，如阿里云OSS或者阿里云数据库DBS服务。然而，在...
选型介绍
2）【common.i2.large 通用型】节点承载QPS为5000，业务要求QPS为8000，副本数计算值=8000/（5000*（1-0.25）），选择取整副本数为【2】3）存储数据需要200GB，同时TPS达到10000，数据更新量较大，按照1个【common.i2.large 通用型】节点...
查看监控信息
存储节点组健康状态 存储节点组即 AnalyticDB for MySQL 的存储引擎，基于Raft协议实现的分布式实时强一致高可用存储引擎，通过数据分片和Multi-Raft实现并行存储，利用分层存储实现冷热分离降低成本，通过行列存储和智能索引达到极高性能...
数字类型
太大或者太小的值都会导致错误。如果输入数字的精度太高，那么可能发生四舍五入。太接近零的数字，如果不能体现出与零的区别就会导致下溢错误。默认情况下，浮点值以其最短精确的十进制表示的文本形式输出；所产生的十进制值与相同二进制...
数据库优化
常见问题如下：慢SQL堆积问题，如果有很多扫描行数太多的SQL，容易导致活跃连接数升高，可以使用SQL限流功能或结束会话，降低慢SQL的影响；表缓存(Table Cache)不足时，会导致大量SQL处于Opening table状态，在QPS过高或者表很多的场景中...
表操作篇
设计良好的主键 表格存储会根据表的分区键将表的数据自动切分成多个分区，每个分区调度到一台服务节点上。分区键的值是最小的分区单位，相同的分区键值下的数据无法再做切分。为了防止某一个分区键值的数据成为访问热点造成单机服务能力...
归档存储服务等级协议
通过计算上述两种情况下的失败请求数之和占总请求数（正常请求数+失败请求数+估算的失败请求数）的比例，从而得出上个月该用户归档存储的可用性，可用性应不低于99.9%。2.9.服务资源调配能力 阿里云归档存储为用户提供文件的归档存储服务，...
方案背景
介绍表格存储结合Spark流批处理实现一体化存储和计算的背景、适用场景、样例场景和架构设计。背景 电子商务模式是指在网络环境和大数据环境下基于一定技术基础的商务运作方式和盈利模式。在电商运营中数据的分析和可视化是最重要的部分之一...
多元索引计量计费
由于索引中字段类型、索引类型的不同会导致最终占用的系统资源差异极大，索引的存储量未按照数据表的原始数据大小计费，而是根据创建完索引后的压缩数据大小进行计费。读吞吐量 预留读吞吐量 按量付费 资源包 单位为 CU。表格存储会根据...
监控指标说明
上游数据倾斜或某个分区为空 数据倾斜或空分区会导致某一个或者几个Source并行度处于闲置状态，您会观察到这些Source的sourceIdleTime指标较大。如果您发现作业的延迟较高，则可以使用以下指标帮您分析Flink当前的处理能力，以及数据在外部...
0004-00000302
实际能达到的值如下：顺序读写：2,000 如果您在上传大量文件时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间中某个特定分区的情况，此时如果您的请求速率过大，会导致请求速率下降。...
PolarDB HTAP实时数据分析技术解密
对比专用的OLAP系统，其性能瓶颈体如下：MySQL的SQL执行引擎基于流式迭代器模型（Volcano Iterator），而这个模型在工程实现上依赖大量深层次的函数嵌套及虚函数调用，当处理海量数据时，会影响CPU流水线的Pipeline效率，导致CPU Cache效率...
RDS MySQL活跃线程数高问题
活跃线程数或活跃连接数是衡量MySQL负载状态的关键指标，通常来说一个比较健康的实例活跃连接数应该低于10，高规格和高QPS的实例活跃连接数可能20、30，如果出现几百、上千的活跃连接数，说明出现了SQL堆积和响应变慢，严重时会导致实例...
对接MaxCompute常见问题与诊断
（实例由多个节点组成，一个节点标准的内存上限是64GB，节点内存会分为三部分，三分之一用于计算，三分之一用于缓存，三分之一用于元数据。这里的报错是计算内存超出了限制。解决方法：查看执行计划 可以执行 explain analyze sql;命令查看...
流式数据通道概述
热数据存储量会出现增长情况：在开启异步处理的场景下（Merge或Zorder），MaxCompute流式数据通道服务会对最近一小时写入的数据保存两份，一份为原始数据，一份为异步聚合后的数据，数据的存储量会有一定程度的冗余。冗余数据的保存周期...
常见问题
高可靠 表格存储 将数据的多个备份存储在不同机架的不同机器上，并会在备份失效时进行快速恢复，提供99.999999999%（11个9）的可靠性。数据一致性强 表格存储 保证数据写入强一致，并保证数据3副本均写入磁盘，且所有数据保持一致。写操作...
常见问题
对于单个shard在条数不能超过int的最大值，大概21亿的情况下，它的存储也尽量不能太大，例如一个shard保存了20亿，按照1KB一个doc，总数据量达到2TB左右，这对一个server来说可能会有点大了，对应如果大量扫描操作会出现异常，推荐扩容节点...
规格容量评估
主分片越多ES性能开销也会越大，shard数量太多极易引起文件句柄耗尽，导致集群故障。关于评估Shard的更多信息，请参见 How to size your shards。相关文档 了解不同地域和版本支持的节点规格或购买ES实例，请参见 购买页。了解不同节点规格...
列存索引技术架构介绍
PolarDB 基于共享存储一写多读的架构特征，其包含如下几个关键的技术创新点：存储引擎（InnoDB）支持存储列式索引（Columnar Index），用户可以通过DDL语句为一张表中的全部列或者部分列创建列索引，列索引采用列压缩存储，其存储空间消耗...
数据容灾
跨区域复制可满足您的以下业务需求：合规性要求：虽然OSS默认对每个存储的对象在物理盘上有多份副本，但合规性要求所规定的数据需要跨一定距离保存一份副本。通过跨区域复制，可以在远距离的OSS数据中心之间复制数据以满足这些合规性要求。...
产品规格
大部分实际生产场景中，Fields是不可或缺的，Fields数据同样会占用存储空间，从而导致实际存储的Doc数低于上述表格。检索性能参考 实例类型 实例规格 topk=10 topk=100 topk=250 topk=1000 QPS RT_p99 QPS RT_p99 QPS RT_p99 QPS RT_p99 ...
表设计
如果写入压力超过或接近单分区的上限，确实是一个热点，但是表格存储具备自动负载均衡的能力，会自动将这个分区进行切分（Split），使得压力平均到两个分区上，如果仍不够会继续进行切分。解决方法二：拼接MD5 上面的例子中，也可以通过...
方案背景
因此车联网场景下车辆元数据存储与分析的需求如下：数据存储：车辆元数据定时上报到数据网关并且转发到下游存储，需要支持大规模数据存储。数据更新：海量车辆元数据会频繁更新，需要支持数据高并发实时更新。数据检索：根据车辆的参数检索...
文件存储 HDFS 版和对象存储OSS双向数据迁移
Hadoop兼容文件系统提供单写者多读者并发语义，针对同一个文件，同一时刻可以有一个写者写入和多个读者读出。以 文件存储 HDFS 版 到对象存储OSS的数据迁移为例，数据迁移任务打开 文件存储 HDFS 版 的文件F，根据当前系统状态决定文件F的...
schema设计原则
列簇基数 如果一个表存在多个列簇，要注意列簇之间基数（如行数）相差不要太大。例如：列簇A有100万行，列簇B有10亿行，按照行键切分后，列簇A可能被分散到很多地域（及RegionServer），这导致扫描列簇A十分低效。版本数量 行的版本的数量...
离线同步并发和限流之间的关系
上面任务期望最大并发数：即是任务配置的并发数，由于数据集成资源组或者任务本身特性等原因，任务实际执行的并发数可能小于等于任务配置并发数，如涉及任务并发数计费场景（数据集成调试资源组）会按照任务实际并发数计费。数据集成会尝试...
概览
MySQL每秒事务数 高于上边界 对象存储OSS或CDN业务异常发现 作为业务的存储依赖和加速内容分发优化组件，对象存储OSS和CDN的异常会直接影响业务功能的可用性，但一般情况下应用可用性监控无法覆盖对象存储OSS和CDN组件的可用性，导致当对象...
503错误
实际能达到的值如下：顺序读写：2,000 如果您在上传大量文件时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间中某个特定分区的情况，此时如果您的请求速率过大，会导致请求速率下降。...
多元索引介绍
多元索引基于倒排索引和列式存储，可以解决大数据的复杂查询难题，包括非主键列查询、全文检索、前缀查询、模糊查询、多字段自由组合查询、嵌套查询、地理位置查询、统计聚合（max、min、count、sum）等功能。多元索引在车联网场景中主要...
MongoDB 分片集群介绍
MongoDB分片集群技术用于解决海量数据的存储问题，本文介绍MongoDB分片集群相关的常用知识。什么情况下使用分片集群？当您遇到如下问题时，可以使用分片集群解决：存储容量受单机限制，即磁盘资源遭遇瓶颈。读写能力受单机限制，可能是CPU...
- 产品推荐
- 这些文档可能帮助您