概念原理
多个数据分片可以在多台机器上调度执行，也可以在一台机器的多个线程上调度执行，具体调度方式由调度中心根据负载进度进行调整。使用任务分片可以缩短任务执行时间，同时也可以解决单机计算能力上限的问题，并降低部分任务失败对整体系统的...
基础术语
多个数据分片可以在多台机器上调度执行，也可以在一台机器的多个线程上调度执行，具体调度方式由调度中心根据负载进度进行调整。使用任务分片可以缩短任务执行时间，同时也可以解决单机计算能力上限的问题，并降低部分任务失败对整体系统的...
文件上传
设置多个分片可以提高上传成功率，还可以进行断点续传。示例里的文件大小约 13MB，客户端可以将分片大小设置为 5MB，因此计算得出需要上传三个分片。请求 body 示例：{"drive_id":"xxxx","name":"test.jpg","parent_file_id":"root","part_...
向量检索版介绍
数据节点上的索引是可以分片的，分片的含义是对分片字段哈希到[0,65535]之间，将这个区间分成指定的片数（构建索引时指定）。这样对于数据量较大或者对查询性能有要求的集群，就可以通过分片提高单次请求的处理性能。如果想提高整个集群的...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
开启Balancer并进行预分片可以避免数据倾斜问题。注意事项 类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据迁移速率。待迁移的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
开启Balancer并进行预分片可以避免数据倾斜问题。注意事项 类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据迁移速率。待迁移的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
开启Balancer并进行预分片可以避免数据倾斜问题。注意事项 类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待同步的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
开启Balancer并进行预分片可以避免数据倾斜问题。注意事项 类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待同步的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中...
云数据库MongoDB版（分片集群架构）同步至云数据库...
说明 配置数据分片可以避免数据被同步至同一Shard（存储数据库数据的组件），导致无法发挥集群性能；开启Balancer并进行预分片可以避免数据倾斜问题。本文以先配置后购买DTS任务为例，无需填写源 云数据库MongoDB版（分片集群架构）下的...
云数据库MongoDB版（分片集群架构）同步至云数据库...
说明 配置数据分片可以避免数据被同步至同一Shard（存储数据库数据的组件），导致无法发挥集群性能；开启Balancer并进行预分片可以避免数据倾斜问题。本文以先配置后购买DTS任务为例，无需填写源 云数据库MongoDB版（分片集群架构）下的...
自建数据库MongoDB版（分片集群架构）迁移至云数据库...
开启Balancer并进行预分片可以避免数据倾斜问题。注意事项 类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据迁移速率。待迁移的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中...
自建数据库MongoDB版（分片集群架构）迁移至云数据库...
开启Balancer并进行预分片可以避免数据倾斜问题。注意事项 类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据迁移速率。待迁移的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中...
云数据库MongoDB版（副本集架构）...或分片集群架构）
开启Balancer并进行预分片可以避免数据倾斜问题。注意事项 类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待同步的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中...
云数据库MongoDB版（副本集架构）...或分片集群架构）
开启Balancer并进行预分片可以避免数据倾斜问题。注意事项 类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待同步的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中...
云数据库MongoDB版（副本集架构）...或分片集群架构）
开启Balancer并进行预分片可以避免数据倾斜问题。注意事项 类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据迁移速率。待迁移的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中...
云数据库MongoDB版（副本集架构）...或分片集群架构）
开启Balancer并进行预分片可以避免数据倾斜问题。注意事项 类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据迁移速率。待迁移的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中...
云数据库MongoDB版（分片集群架构）间的双向同步
开启Balancer并进行预分片可以避免数据倾斜问题。本配置场景以先配置后购买DTS任务为例，无需填写源 云数据库MongoDB版（分片集群架构）下的Shard数量。如您先购买后配置DTS任务，则需要在购买DTS任务时填写其正确的Shard数量。注意事项 ...
云数据库MongoDB版（分片集群架构）间的双向同步
开启Balancer并进行预分片可以避免数据倾斜问题。本配置场景以先配置后购买DTS任务为例，无需填写源 云数据库MongoDB版（分片集群架构）下的Shard数量。如您先购买后配置DTS任务，则需要在购买DTS任务时填写其正确的Shard数量。注意事项 ...
常见问题
这种场景下，如果数据量很大且存在查询性能问题，可以考虑合理设置分片数量，或在业务上进行分表操作。如果您想要更深入的了解分区索引对查询性能的影响，请参见 分区索引是如何提升查询RT和QPS的？如果在创建分区索引时对参数的设置有疑问...
云数据库MongoDB版（单节点架构）全量迁移至云数据库...
开启Balancer并进行预分片可以避免数据倾斜问题。注意事项 类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据迁移速率。待迁移的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中...
云数据库MongoDB版（单节点架构）全量迁移至云数据库...
开启Balancer并进行预分片可以避免数据倾斜问题。注意事项 类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据迁移速率。待迁移的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中...
召回引擎版介绍
Searcher上的索引是可以分片的，分片的含义是对分片字段哈希到[0,65535]之间，将这个区间分成指定的片数（构建索引时指定）。这样对于数据量较大或者对查询性能有要求的集群，就可以通过分片提高单次请求的处理性能。如果想提高整个集群的...
常见问题
数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。计费问题 DTS如何计费？...
分片网关
在拓扑任务中，您可以添加分片网关并设定相应的分片维度。如此，拓扑任务在执行过程中，即可根据执行上下文获取的分片配置，动态生成需要执行的分片。本文将快速引导您如何在拓扑任务中使用分片网关。操作步骤 创建拓扑子任务。创建两个或...
设置数据分片以充分利用Shard性能
您可以对分片集群实例中的集合设置数据分片，以充分利用Shard节点的存储空间和计算性能。背景信息 如果没有对集合设置数据分片，数据将被集中存放在一个Shard节点中，这将导致其他Shard节点的存储空间和计算性能无法被充分利用。前提条件 ...
MongoDB 分片集群介绍
MongoDB分片集群技术用于解决海量数据的存储问题，本文介绍MongoDB分片集群相关的常用知识。什么情况下使用分片集群？当您遇到如下问题时，可以使用分片集群解决：存储容量受单机限制，即磁盘资源遭遇瓶颈。读写能力受单机限制，可能是CPU...
开源Elasticsearch FAQ
当出现分片丢失、分片错误等分片问题时，您可以执行以下命令进行reroute操作。curl-XPOST 'localhost:9200/_cluster/reroute'-d '{"commands":[{"move":{"index":"test","shard":0,"from_node":"node1","to_node":"node2"} },{"allocate":{...
如何上传大文件到OSS？
此时您可以通过分片上传、断点续传、ossbrowser工具、ossutil工具等多种方式上传大文件。上传方式 单个文件的大小限制为0～48.8 TB。当您需要上传大文件或一次性上传较多文件时，若遇到以下两种情况，可以采用多种方式上传大文件到OSS。...
查看集群健康状态
表示该集群中存在不可用的主分片。可以理解为某个或者某几个索引存在主分片丢失的情况。yellow 所有主要分片可用，但不是所有副本分片都可用。表示该集群中某个或者某几个索引存在副本分片存在丢失的情况。green 所有主要分片和副本分片都...
上传文件概述
在OSS中，操作的基本数据单元是文件（Object）。...分片上传：当文件较大时，可以使用分片上传，最大不能超过48.8 TB。上传过程中，您可以设置 文件元数据，也可以通过 进度条 功能查看上传进度。上传完成后，您还可以进行 上传回调。
上传文件概述
在OSS中，操作的基本数据单元是文件（Object）。...分片上传：当文件较大时，可以使用分片上传，最大不能超过48.8 TB。上传过程中，您可以 设置文件元数据，也可以通过 进度条 功能查看上传进度。上传完成后，您还可以进行 上传回调。
上传文件概述
在OSS中，操作的基本数据单元是文件...分片上传：当文件较大时，可以使用分片上传，最大不能超过48.8TB。说明 各种上传方式的适用场景请参见开发指南中的上传文件。上传过程中，您可以 设置文件元数据，也可以通过 进度条 功能查看上传进度。
上传文件概述
当您需要上传大于100 MB且小于48.8 TB的文件时，您可以使用分片上传的方式。分片上传是指将要上传的大文件分成多个分片（Part）来分别上传，上传完成后再调用 CompleteMultipartUpload 接口将这些Part组合成一个文件从而实现断点续传的效果...
上传文件概述
在OSS中，操作的基本数据单元是文件（Object）。...分片上传：当文件较大时，可以使用分片上传，最大不能超过48.8TB。上传过程中，您可以 设置文件元数据，也可以通过 进度条 功能查看上传进度。上传完成后，您还可以进行 上传回调。
上传文件概述
分片上传：当文件较大时，可以使用分片上传，最大不能超过48.8TB。追加上传：最大不能超过 5GB。断点续传上传：支持并发上传、自定义分片大小。大文件上传推荐使用断点续传。最大不能超过 48.8TB。说明 各种上传方式的适用场景请参见开发...
上传文件概述
分片上传：当文件较大时，可以使用分片上传，最大不能超过48.8TB。说明 各种上传方式的适用场景请参见开发指南中的上传文件。上传过程中，您可以 设置文件元数据，也可以通过 进度条 功能查看上传进度。上传完成后，您还可以进行 上传回调...
功能相关问题
任务互斥的作用是什么，是否会造成任务堆叠？互斥的任务，即处在“执行中”或“暂停”状态的任务，即使已经达到下一个任务触发时间点，仍无法...通过使用分片，可以让多台客户端服务器来处理业务数据。详细的操作步骤，参见 创建调度任务。
扩容ClickHouse集群
ClickHouse集群支持分片扩容和副本扩容两种方式，当集群容量不能满足业务需求时，您可以进行分片扩容；当集群并发访问量不能满足业务需求时，您可以进行副本扩容。本文为您介绍如何扩容ClickHouse集群。前提条件 已创建ClickHouse集群，...
上传文件概述
分片上传：当文件较大时，可以使用分片上传，最大不能超过48.8 TB。追加上传：使用AppendObject方法在已上传的Appendable Object类型文件后面直接追加内容。最大不能超过5 GB。断点续传上传：支持并发上传、断点续传、自定义分片大小。大...
上传文件概述
分片上传：当文件较大时，可以使用分片上传，最大不能超过48.8TB。说明 各种上传方式的适用场景请参见开发指南中的上传文件。上传过程中，您可以设置 文件元数据，也可以通过 进度条 功能查看上传进度。上传完成后，您还可以进行 上传回调...
- 产品推荐
- 这些文档可能帮助您