如何处理Tair集群数据倾斜
为什么会产生数据倾斜 Tair 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
如何处理Redis集群数据倾斜
为什么会产生数据倾斜 Redis 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
基本概念
分片（Shard）根据分布键，将表数据水平分割后得到的子表，称为分片，英文名称为Shard。这些分片分散在若干个存储节点组（Worker Group）上，每个存储节点组维护一部分数据，有利于提高系统的可伸缩性和性能。每个分片都由一个独立的Raft组...
如何支持超大事务
以本测试场景为例，如果事务的每条语句都是INSERT语句，那么每个分片的数据写入量不应超过2 GB，事务总的数据写入量不能超过：分片数量×2 GB，例如8分片的情况下，写入总量在16 GB时也会触发这个报错。但是，上述讨论并不意味着只要您的...
Redis Proxy特性说明
Q：如果后端的某个数据分片出现异常，对数据读写有什么影响？A：如果您的实例为 集群版-单副本，由于仅具有主节点，无法保障数据可用性和服务连续性。推荐选择 集群版-双副本，数据分片均采用主备高可用架构，当主节点发生故障后，系统会...
Tair Proxy特性说明
Q：如果后端的某个数据分片出现异常，对数据读写有什么影响？A：推荐选择 集群架构，数据分片均采用主备高可用架构，当主节点发生故障后，系统会自动进行主备切换保证服务高可用。在某些极端场景下某个数据分片出现异常后，对数据的影响及...
分区分桶
为了帮助您深入理解 云数据库 SelectDB 版 的分区分桶的概念和如何实施分区分桶，本文档详细阐释了分区分桶的原理和...表总大小 500MB 5GB 50GB 500GB 5TB 分区数 可不分区 可不分区 可不分区 分区大小在50GB 分区大小在50GB 分片数 4-8个 ...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
快速扩缩分片
操作步骤 在运维中心>运维管理页中点击 快速扩缩分片：配置数据分片：选择数据源，选择需要扩分片的全量索引版本，并设置目标数据分片数后点击 确定：注意：节点使用达到上限时，无法进行扩列操作，需要进行扩容，扩容完成后保证 当前实例...
MongoDB 分片集群介绍
MongoDB分片集群技术用于解决海量数据的存储问题，本文介绍MongoDB分片集群相关的常用知识。什么情况下使用分片集群？当您遇到如下问题时，可以使用分片集群解决：存储容量受单机限制，即磁盘资源遭遇瓶颈。读写能力受单机限制，可能是CPU...
使用Connection String URI连接分片集群实例
MongoDB分片集群实例提供各个mongos节点的连接地址，通过连接mongos节点，您可以连接至分片集群实例的数据库。需要注意的是，您需要使用正确的方法连接分片集群实例来实现负载均衡及高可用。背景信息 MongoDB分片集群（Sharded Cluster）...
集群版-单副本
如果实例为 集群 或 读写分离 架构，每个数据分片或每个只读节点均会保留其中1个CPU用于处理后台任务。带宽计算规则 表中的带宽值是整个实例的带宽，即实例中所有分片或节点带宽的总和，每个分片的带宽限制如下：社区版：单个分片的内存...
配置DTS迁移、同步或校验任务
Reserve String 否 {"srcInstanceId":"cen-9kqshqum*"} DTS预留参数，格式为JSON字符串，您可以传入本参数完善源目库信息（如目标Kafka数据库的数据存储格式、云企业网CEN的实例ID）。更多信息，请参见 Reserve参数说明。Checkpoint String...
使用限制
在使用云数据库MongoDB分片集群实例前，您需要了解分片集群实例本身存在的约束信息，使您初步了解分片集群实例的使用限制，帮助您进一步确认分片集群实例是否能够满足您的业务场景。功能 DynamoDB协议实例约束 MongoDB协议实例约束 实例...
内存型（集群架构）
如果实例为 集群 或 读写分离 架构，每个数据分片或每个只读节点均会保留其中1个CPU用于处理后台任务。带宽计算规则 表中的带宽值是整个实例的带宽，即实例中所有分片或节点带宽的总和，每个分片的最大带宽为96 MB/s。集群架构的实例使用...
topRegion分析
上图是查询每秒内读请求数据量最大的五个分片，再将属于同一张表的分片聚合在一起，并按照分片读请求数据量的值升序排列后的结果。TopRegion历史快照 TopRegion历史快照支持查询某一历史时间点的热点分片。选择 idc、分组 和 历史快照。...
规格查询导航
集群架构-双副本：每个数据分片都是主从（master-replica）架构。内存容量上限可达4,096 GB（16 GB*256分片数），支持约25,600,000 QPS（参考值）。集群架构-单副本：每个数据分片都是单节点架构。内存容量上限可达2,048 GB（16 GB*128分片...
流量诊断
上图是查询每秒内读请求数据量最大的五个分片，再将属于同一张表的分片聚合在一起，并按照分片读请求数据量的值升序排列后的结果。实时查询热点Key 在左侧导航栏中，选择 流量诊断>topregion/key实时查询。设置筛选条件，包括排序维度、...
如何优化Batch Insert
所以数据分片下，PolarDB-X 的Batch Insert语句可以更大一些，或者尽量将同一个物理表的数据放到一个batch Insert语句中，保证拆分函数分离values后下推到单个数据分片上的batch size较合适，以提升存储节点的性能。子场景一（BATCH_INSERT...
确定需求
业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功。在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确各个团队的分析员和运营人员的需求，沉淀出相关文档。您可以通过调查表和...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
根据业务需要，在目标 云数据库MongoDB版 中创建需要分片的数据库和集合、配置数据分片、开启Balancer并进行预分片。更多信息，请参见 设置数据分片以充分利用Shard性能 和 如何处理分片集群架构的MongoDB数据分布不均衡。说明 配置数据分...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
根据业务需要，在目标 云数据库MongoDB版 中创建需要分片的数据库和集合、配置数据分片、开启Balancer并进行预分片。更多信息，请参见 设置数据分片以充分利用Shard性能 和 如何处理分片集群架构的MongoDB数据分布不均衡。说明 配置数据分...
确定需求
业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功。在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确各个团队的分析员和运营人员的需求，沉淀出相关文档。您可以通过调查表和...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
根据业务需要，在目标 云数据库MongoDB版 中创建需要分片的数据库和集合、配置数据分片、开启Balancer并进行预分片。更多信息，请参见 设置数据分片以充分利用Shard性能 和 如何处理分片集群架构的MongoDB数据分布不均衡。说明 配置数据分...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
根据业务需要，在目标 云数据库MongoDB版 中创建需要分片的数据库和集合、配置数据分片、开启Balancer并进行预分片。更多信息，请参见 设置数据分片以充分利用Shard性能 和 如何处理分片集群架构的MongoDB数据分布不均衡。说明 配置数据分...
通过_shrink API快速减少主分片数
在Elasticsearch集群中创建索引时，如果您无法评估实际数据量，可能导致设置的主分数很大，但实际业务的数据量并不多，此时您需要减少主分片数，防止因主分片数太多导致集群资源消耗过大或影响查询写入速率等。本文为您介绍如何通过_shrink...
性能测试
本文介绍Ganos时空服务与开源GeoMesa（HBase）、云数据库MongoDB分片集群在处理时空轨迹数据时的性能测试对比。测试环境 本次性能测试中需要准备以下测试数据库，具体配置如下表：数据库 配置说明 云原生多模数据库 Lindorm Ganos引擎（即...
产品概述
具有丰富的数据可视化编辑能力、专业的地理信息可视化展示能力和灵活开发的部署方式等特点，详情请参见 什么是DataV数据可视化。DataV-TwinFabric 孪生仿真 DataV-TwinFabric孪生仿真平台是阿里云为数字孪生领域提供的一站式开发平台，旨在...
云数据库MongoDB版-分片集群
本文介绍云数据库MongoDB分片集群实例的监控项及其对应的监控指标。当您调用云监控的API接口时，需要获取当前云产品的 Namespace 和 Period，具体取值如下：Namespace 为 acs_mongodb。Period 默认为60秒，也可以为60的整数倍。当前云产品...
数据治理中心概述
量化评估：健康分 健康分是依据数据资产在数据生产、数据流通及数据管理中的用户行为、数据特性、任务性质等元数据，使用数据处理及机器学习等技术，对各类型数据进行综合处理和评估，通过个人、工作空间维度客观呈现数据资产状态的综合...
库表
分片数跟什么因素有关系，是否可以自己调整？如何删除索引？如何解决删除数据库时提示“schema is not empty.”？如何合理建表？在 AnalyticDB MySQL 中建表时，需要注意以下几点：分布字段的选择。AnalyticDB MySQL 是分布式数据库，数据...
创建分片集群实例
说明 每个Shard节点默认为三节点副本集架构，请选择2个及以上的Shard节点，确保能够根据业务需求合理设置数据分片，以充分利用Shard节点的存储空间和计算性能，具体请参见 设置数据分片以充分利用Shard性能。单个分片集群实例默认最多支持...
创建分片集群实例
说明 每个Shard节点默认为三节点副本集架构，请选择2个及以上的Shard节点，确保能够根据业务需求合理设置数据分片，以充分利用Shard节点的存储空间和计算性能，具体请参见 设置数据分片以充分利用Shard性能。单个分片集群实例默认最多支持...
通过_split API快速拆分主分片
当您使用Elasticsearch集群出现索引分片设置不合理（例如索引主分片设置不合理、每个分片存在大量数据等）引发集群性能问题时，可通过_split API在线扩大主分片数，将现有索引拆分为具有更多主分片的索引。本文介绍如何通过_split API快速...
手动增加实例带宽
低成本地应对访问倾斜 实例为集群架构或读写分离架构，某些数据分片或只读节点的访问比较频繁，带宽频频到达上限，而其他数据分片或只读节点的带宽使用率较低，需要仅升级指定数据分片或只读节点的带宽，无需升级整体实例的带宽或规格。...
透明数据加密概述
什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和解密。通过在数据库层执行静态数据加密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息。经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用...
手动增加实例带宽
低成本地应对访问倾斜 实例为集群架构或读写分离架构，某些数据分片或只读节点的访问比较频繁，带宽频频到达上限，而其他数据分片或只读节点的带宽使用率较低，需要仅升级指定数据分片或只读节点的带宽，无需升级整体实例的带宽或规格。...
DataWorks数据服务对接DataV最佳实践
前提条件 要想实现DataWorks数据服务与DataV的对接，您需要提前准备好数据源，并开通 什么是DataV数据可视化。新建数据源 数据服务支持丰富的数据源类型，如下所示：关系型数据库：RDS、DRDS、MySQL、PostgreSQL、Oracle和SQL Server 分析...
离线同步并发和限流之间的关系
在源端数据分布极不均衡的场景，会导致部分数据分片执行耗时较久（其他分片已经完成传输），在任务执行后期阶段任务实际并发数会少于配置并发数。任务并发数配置最佳实践：任务并发数越大，任务运行需要抢占的资源越多，DataWorks数据集成...
- 产品推荐
- 这些文档可能帮助您