MongoDB 分片集群介绍
即在moveChunk时，源shard会将迁移的chunk数据进行归档设置，当出现问题时，用于恢复。也就是说，chunk发生迁移时，源节点上的空间并没有释放出来，而目标节点又占用了新的空间。说明 在MongoDB 3.2版本，该配置项默认值为 false，默认不会...
全量备份数据上云（SQL Server 2008 R2本地盘）
每个分片不需要按顺序上传，甚至可以在不同客户端上传，OSS会按照分片号排序组成完整的文件。UploadPartResult uploadPartResult=ossClient.uploadPart(uploadPartRequest);每次上传分片之后，OSS的返回结果包含PartETag。PartETag将被保存...
单链接限速
每个分片不需要按顺序上传，甚至可以在不同客户端上传，OSS会按照分片号排序组成完整的文件。UploadPartResult uploadPartResult=ossClient.uploadPart(uploadPartRequest);每次上传分片之后，OSS的返回结果包含PartETag。PartETag将被保存...
禁止覆盖同名文件
返回uploadId，它是分片上传事件的唯一标识，您可以根据这个ID来发起相关的操作，如取消分片上传、查询分片上传等。String uploadId=upresult.getUploadId();partETags是PartETag的集合。PartETag由分片的ETag和分片号组成。List<PartETag>...
数据校验
每个分片不需要按顺序上传，甚至可以在不同客户端上传，OSS会按照分片号排序组成完整的文件。UploadPartResult uploadPartResult=ossClient.uploadPart(uploadPartRequest);System.out.println("server md5"+uploadPartResult.getETag());...
分片上传
指定下次列举分片的起始位置，只有分片号大于此参数值的分片会被列举。query["part-number-marker"]=result.nextPartNumberMarker;result.parts.forEach((part)=>{ console.log(part.PartNumber);console.log(part.LastModified);console....
重启实例或节点
当云数据库MongoDB单节点实例、副本集实例、分片集群实例、分片集群实例中指定节点（任意一个Mongos节点或Shard节点）出现连接数满或性能问题时，您可以手动重启实例或指定节点。注意事项 重启实例期间会启停进程，系统会断开当前所有连接...
流量诊断
同时，流量分布不均匀的问题导致部分节点负载过高并出现热点，进一步造成系统卡顿，影响正常使用。集群管理系统提供流量诊断功能，帮助用户定位热点分片和Key，方便用户掌握热点信息。前提条件 已登录目标集群的集群管理系统，具体操作，请...
topRegion分析
本文介绍如何通过集群管理系统查看热点分片分析结果。前提条件 已登录目标实例的集群管理系统，具体操作请参见 登录集群管理系统。背景信息 在实际使用数据库的过程中，会存在文件数过多导致请求时延变长的情况。同时，流量分布不均匀的...
如何确认增加或删除Shard节点的进度
背景信息 当您对分片集群实例执行增加Shard节点或删除Shard节点操作后，可能会出现任务提交后很长时间都没完成的情况，以下内容将指导您如何检查上述问题。在进行操作前，您需要了解以下基本知识：了解MongoDB副本集实例和分片集群实例的...
集群版-单副本
纯缓存应用 单副本集群版的分片服务器由单节点组成，分片服务器某节点出现故障时，系统会重新拉起一个Redis进程（没有数据），当节点故障业务自动切换完成后，数据将会丢失，有可能流量被冲击到后端数据库，需要做好应用程序的预热保护机制...
设置对象标签
每个分片不需要按顺序上传，甚至可以在不同客户端上传，OSS会按照分片号排序组成完整的文件。UploadPartResult uploadPartResult=ossClient.uploadPart(uploadPartRequest);每次上传分片之后，OSS的返回结果会包含一个PartETag。PartETag将...
通过手动迁移shard均匀分布热点数据的解决方案
Elasticsearch通过哈希映射将文档均匀地路由到分片中，同时shard均匀地分散在各个数据节点中，这样可能会出现某些节点存储的热点数据较多，导致这些节点的负载较高的情况。针对这种情况，可采用重启集群或手动迁移shard的方式，重新分配...
如何清理孤立文档
如果 MongoDB 分片集群版实例中存在孤立文档，您在进行数据迁移或释放Shard节点任务时，可能会出现影响实例性能或产生报错等问题。因此，您在进行上述操作前需要先检查实例内是否存在孤立文档并对孤立文档进行清理。前提条件 服务器已安装...
在TairSearch中使用Msearch实现索引分片搜索
图 1.TairSearch数据在TairProxy架构的写入流程 当客户端发送读请求（TFT.MSEARCH）给TairProxy后，TairProxy会将请求分发给各个对应的数据分片节点，数据分片节点会完成各个Key的查询与首次汇总，并将结果集返回给TairProxy，此时，...
管理MongoDB均衡器Balancer
为解决上述问题，自 云数据库 MongoDB 版 6.0版本起，Balancer变为监控分片集群实例中各个Shard节点上同一集合的数据大小情况，当集合在各Shard节点上的数据大小差异超过384 MB时（三倍的Chunk Size），Balancer会根据Shard Tag分割数据再...
通过_split API快速拆分主分片
当您使用Elasticsearch集群出现索引分片设置不合理（例如索引主分片设置不合理、每个分片存在大量数据等）引发集群性能问题时，可通过_split API在线扩大主分片数，将现有索引拆分为具有更多主分片的索引。本文介绍如何通过_split API快速...
均衡分片（Rebalance）
分片分布不均衡示例：如下图有Worker节点没有分片时，监控信息中会出现如下类似情况，有Worker节点的负载远低于其他Worker。使用如下SQL查询Worker加载分片元数据情况：SELECT DISTINCT worker_id FROM hologres.hg_worker_info;返回结果：...
基本原理
如果在事务提交过程中出错，会出现一些分库提交成功、另一些分库失败回滚，产生数据不一致。因而无法保证事务的原子性。而 PolarDB-X 1.0 柔性事务在涉及多个分库时，将根据SQL语句的含义自动生成相应的补偿操作；一旦发生“一些分库提交...
跨机并行查询
结合 PolarDB PostgreSQL版（兼容Oracle）存储计算分离的架构，可以做到弹性扩展：当算力不够时，可以弹性地增加只读节点，新增的只读节点加入分布式的并行计算中，而不需数据重新分片（Reshard）。不会出现数据倾斜问题。关于更多跨机并行...
性能调优
另一个方面Tablestore产生的分片列表大多是顺序的，而相邻的一批分片会落到相同的机器上，DLA访问Tablestore时可能造成局部热点问题。在DLA中可以通过一系列的优化手段，自动打散分片、合并相邻分片、随机分发分片等优化逻辑，规避热点问题...
Tair实例生命周期流程
调整实例的分片数量 分片数量越多，实例的整体性能越强，您可以根据业务对性能的需求，调整 云原生 版实例的分片数量。更多关于 云原生 版实例的规格信息，请参见 云原生实例规格。重启实例 当实例出现连接数满或性能问题时，您可以重启 ...
使用ossfs上传大文件时提示“There is no enough disk...
问题描述 使用ossfs上传文件到阿里云对象存储OSS时，是通过分片进行上传，分片大小默认为10 MB，分片最大数量为1000个，上传小文件正常，当上传大文件时，提示以下错误：There is no enough disk space for used as cache(or temporary)...
使用ossfs进行数据拷贝时提示“Input/output error”...
解决方案 请参见以下操作进行处理：使用 ossfs-h 命令，查看分片参数，增加分片参数，控制文件读写。说明 parallel_count：以分片模式上传大文件时，分片的并发数，默认值为5。multipart_size：以分片模式上传数据时分片的大小，单位是MB，...
断点续传上传
如果上传过程中，某一分片上传失败，再次上传时会从Checkpoint文件记录的断点继续上传，无需重新上传所有分片。上传完成后，所有分片将合并成完整的文件。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他...
0042-00000213
问题描述 分片上传请求中，分片大小过小。问题原因 您发起了CompleteMultipartUpload请求来完成分片上传任务，CompleteMultipartUpload时会确认除最后一个Part以外所有Part的大小是否都大于或等于100 KB，您的请求中提交的XML中包含的Part...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
手动增加实例带宽
实例为集群架构或读写分离架构，可选择：统一调整分片带宽：增加或减少实例中所有分片的带宽，例如应对业务中可能会出现的流量高峰（限时秒杀场景）。分开调整实例带宽：调整指定实例中1个或多个分片的带宽，例如消除实例存在的访问倾斜...
手动增加实例带宽
实例为集群架构或读写分离架构，可选择：统一调整分片带宽：增加或减少实例中所有分片的带宽，例如应对业务中可能会出现的流量高峰（限时秒杀场景）。分开调整实例带宽：调整指定实例中1个或多个分片的带宽，例如消除实例存在的访问倾斜...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
分片上传
upload_id='yourUploadId'#取消指定upload_id的分片上传事件，已上传的分片会被删除。bucket.abort_multipart_upload(key,upload_id)列举已上传的分片信息 以下代码用于列举已上传的分片信息：#-*-coding:utf-8-*-import os import oss2 ...
变更实例配置
云原生 集群架构实例 变更分片规格可能发生主备切换，执行切换时，涉及的分片将会出现连接闪断。变配限制 不同连接类型的变配限制 云原生标准架构和云原生读写分离架构实例变配为集群架构时，仅支持变配为代理模式的集群架构。云原生直连...
变更实例配置
云原生 集群架构实例 变更分片规格可能发生主备切换，执行切换时，涉及的分片将会出现连接闪断。变配限制 不同连接类型的变配限制 云原生标准架构和云原生读写分离架构实例变配为集群架构时，仅支持变配为代理模式的集群架构。云原生直连...
Redis Proxy特性说明
在某些极端场景下某个数据分片出现异常后，对数据的影响及优化方案如下。场景 影响与优化方案 图 2.多Key命令场景 影响：客户端通过4个连接发送4个请求，当数据分片2处于异常状态时，仅有请求1（GET Key1 可正常读取到数据），其他请求会...
Tair Proxy特性说明
在某些极端场景下某个数据分片出现异常后，对数据的影响及优化方案如下。场景 影响与优化方案 图 2.多Key命令场景 影响：客户端通过4个连接发送4个请求，当数据分片2处于异常状态时，仅有请求1（GET Key1 可正常读取到数据），其他请求会...
V5.1.x系列实例版本说明
解决DISTINCT在部分跨库JOIN场景下会出现报错的问题。修复分库分表情况下聚合函数查询带LIMIT时返回结果不正确的问题。解决BigDecimal类型在类型转换过程会消耗大量CPU的问题。修复SHOW FULL STATS连接数不准确的问题。修复SHOW FULL STATS...
运行失败
149)解决方法 聚类分片在构建索引时，首先会基于 Graph引擎 做数据聚类，具体是执行对应的GraphJob来完成，GraphJob会默认申请一个Worker数量，当集群资源不足时会出现上述问题。可以在执行命令里限定执行GraphJob的Worker数量来限制资源...
PolarDB-X 1.0迁移至Elasticsearch
分片配置 根据目标 Elasticsearch 中索引的分片配置，设置索引的主分片和副本分片的数量。字符串Index 迁移至目标 Elasticsearch 实例中的字符串编入索引的方式。analyzed：先分析字符串，再编入索引。您还需要选择具体的分析器，分析器的...
- 产品推荐
- 这些文档可能帮助您