分片集群架构
分片集群架构提供Mongos、Shard和ConfigServer三种组件。您可以自由选择Mongos和Shard的个数和配置，创建具备不同服务性能的MongoDB分片集群实例。分片集群架构 分片集群架构的各组件说明如下：组件名称 架构 说明 Mongos 单节点架构 负责...
何时开始对简单上传和分片上传进行数据计量？
对于简单上传方式，仅当文件成功上传...对于分片上传方式，大文件被切分为多个分片进行上传，只要分片被创建并成功上传，无论最终文件是否上传完成，都将对已上传的分片进行数据计量。如需查询OSS按小时计量的数据信息，请参见 OSS小时数据。
分片上传
OSS提供的分片上传（Multipart Upload）功能，将要上传的较大文件（Object）分成多个分片（Part）来分别上传，上传完成后再调用CompleteMultipartUpload接口将这些Part组合成一个Object来达到断点续传的效果。注意事项 本文以华东1（杭州）...
JavaSDK实现数据流分片上传的代码样例
概述 OSS的Java SDK提供了分片上传的样例，具体代码中使用的是实现本地文件的分片上传。但是在实际使用过程中，服务端可能获取的是网络流数据并用来进行分片上传，该方法需要将网络流数据保存为本地文件后，再上传该文件，这便会涉及中转...
Range分片
例如，客户端向 全站加速 DCDN 节点发起的请求中含有 range:0-100，则 全站加速 DCDN 节点会按照512 KB分片大小向源站发起请求，源站响应了这个512 KB分片大小的内容后，全站加速 DCDN 节点会缓存该分片，并响应 range:0-100 的内容给客户...
断点续传上传时报错Too many parts,Please increase ...
问题原因 分片数量超出限制，分片数量要求不能超过10000。解决方法 您需要适当增加每个分片的大小，确保文件总大小除以每个分片大小的值小于10000。其中，每个分片大小的取值范围为100 KB~5 GB。更多信息，请参见 UploadPart。
创建实例
智能召回引擎当前只在北京区域部署 分片规格，用户可根据自己的数据规模和服务查询量选择合适的分片规格，购买后不支持修改。2核8G CPU2 core，MEM 8G 4核16G CPU4 core，MEM 16G 8核32G CPU8 core，MEM 32G 16核64G CPU16 core，MEM 64G ...
0042-00000108
问题描述 请求参数中partNumber对应的分片已经存在且不能被覆盖。问题原因 您发起了UploadPart请求来上传分片，并在请求参数中通过partNumber指定了分片的序号，但是您提供的partNumber对应的Part已经存在了，不能重复上传。问题示例 比如...
持久内存型实例规格
实例规格 下表为单个分片的规格，集群架构、读写分离架构实例的整体性能为：分片规格性能*分片数。说明 规格中的 ESSD云盘 仅用于系统运行（例如存储日志、备份临时文件、AOF文件等），不作为数据存储的介质。关于集群架构直连模式与集群...
选型介绍
集群评估 智能召回引擎BE采用分布式集群架构，主要由三部分组成：节点类型（即每个分片的规格）、副本数（即replica，每个备份都可独立承担线上流量，通过增加副本数可扩展集群的水平负载能力）、分片数（即partition，通过内部Hash处理，...
持久内存型实例规格
实例规格 下表为单个分片的规格，集群架构、读写分离架构实例的整体性能为：分片规格性能*分片数。说明 规格中的 ESSD云盘 仅用于系统运行（例如存储日志、备份临时文件、AOF文件等），不作为数据存储的介质。关于集群架构直连模式与集群...
概述
分片网关 分片网关根据设定的分片维度对任务数据进行拆分，动态生成需要执行的分片数，成对出现。在拓扑图中使用分片网关时，需要在分片网关的开始节点配置分片维度。拓扑任务执行过程中，会根据拓扑任务执行上下文获取对应的分片配置，...
分片上传
OSS提供的分片上传（Multipart Upload）功能，将要上传的较大文件（Object）分成多个分片（Part）来分别上传，上传完成后再调用CompleteMultipartUpload接口将这些Part组合成一个Object来达到断点续传的效果。注意事项 本文以本地文件分片...
分片上传
OSS提供的分片上传（Multipart Upload）功能，将要上传的较大文件（Object）分成多个分片（Part）来分别上传，上传完成后再调用CompleteMultipartUpload接口将这些Part组合成一个Object来达到断点续传的效果。注意事项 本文以华东1（杭州）...
JobContext参数说明
本文介绍JobContext的参数及说明。参数 解释 long jobId 任务ID long ...Long shardingId 分片ID，分片模型和广播模型适用。String shardingParameter 分片参数，分片模型适用。int shardingNum 分片数量，分片模型和广播模型适用。
混合存储-集群版（已停售）
开启直连访问后，整体带宽限制为单个分片的最大带宽*分片数，例如128分片的集群实例（单个分片的内存大于1GB），开启直连后整体带宽为12,288 MB/s。带宽分别应用于上行带宽和下行带宽，如果某规格的带宽为10MB，则该规格实例的上下行带宽都...
JobContext参数说明
本文介绍JobContext的参数及说明。参数 解释 long jobId 任务ID long ...Long shardingId 分片ID，分片模型和广播模型适用。String shardingParameter 分片参数，分片模型适用。int shardingNum 分片数量，分片模型和广播模型适用。
0042-00000213
问题描述 分片上传请求中，分片大小过小。问题原因 您发起了CompleteMultipartUpload请求来完成分片上传任务，CompleteMultipartUpload时会确认除最后一个Part以外所有Part的大小是否都大于或等于100 KB，您的请求中提交的XML中包含的Part...
JobContext参数说明
本文介绍JobContext的参数及说明。参数 解释 long jobId 任务ID long ...Long shardingId 分片ID，分片模型和广播模型适用。String shardingParameter 分片参数，分片模型适用。int shardingNum 分片数量，分片模型和广播模型适用。
0042-00000311
问题描述 UploadPartCopy请求中UploadId参数指定的分片上传任务不存在。问题原因 您发起了UploadPartCopy请求来从一个已存在的Object中拷贝数据来上传一个Part，其中UploadId参数指定了进行中的分片上传任务，如果该参数有误，或者对应的分...
基本概念
Elasticsearch 7.0以下版本默认为一个索引创建5个主分片，并分别为每个主分片创建1个副本分片，7.0及以上版本默认为一个索引创建1个主分片和1个副本分片。两者区别如下：分片类型 支持处理的请求 数量是否可修改 其他说明 主分片 支持处理...
使用MongoDB工具将自建数据库迁移至分片集群实例
您可以在本地设备或ECS实例中安装MongoDB数据库，然后借助该工具将自建MongoDB数据库迁移至阿里云MongoDB分片集群实例。背景信息 建议通过DTS迁移分片集群架构的自建MongoDB数据库上云，可实现不停机迁移上云。详情请参见 使用DTS迁移分片...
0042-00000313
问题描述 请求参数中partNumber对应的分片已经存在且不能被覆盖。问题原因 您发起了UploadPartCopy请求来从一个已存在的Object中拷贝数据来上传一个Part，其中UploadId参数指定了进行中的分片上传任务，请求参数partNumber指定了分片的序号...
使用ossfs进行数据拷贝时提示“Input/output error”...
解决方案 请参见以下操作进行处理：使用 ossfs-h 命令，查看分片参数，增加分片参数，控制文件读写。说明 parallel_count：以分片模式上传大文件时，分片的并发数，默认值为5。multipart_size：以分片模式上传数据时分片的大小，单位是MB，...
0042-00000002
问题描述 请求参数中UploadId对应的分片上传任务不存在。问题原因 您发起了AbortMultipartUpload等分片上传相关的请求，并在请求参数中通过UploadId指定了您要操作的MultipartUpload分片上传任务，但是您提供的UploadId对应的...
内存型实例规格
实例规格 下表为单个分片的规格，集群架构、读写分离架构实例的整体性能为：分片规格性能*分片数。说明 规格中的 ESSD云盘 仅用于系统运行（例如存储日志、备份临时文件、AOF文件等），不作为数据存储的介质。关于集群架构直连模式与集群...
查询实例基本信息
基本信息 基本信息展示了实例购买的基本信息，用户唯一能够更改的为实例的展示名称 服务访问信息 展示了每个实例的访问...分片规格、分片数不可更改，副本数可通过升配降配修改 监控报警 展示的是监控和报警的链接，注意报警项需用户自己设置
内存型实例规格
实例规格 下表为单个分片的规格，集群架构、读写分离架构实例的整体性能为：分片规格性能*分片数。说明 规格中的 ESSD云盘 仅用于系统运行（例如存储日志、备份临时文件、AOF文件等），不作为数据存储的介质。关于集群架构直连模式与集群...
全局二级索引
本文将介绍全局二级索引（Global Secondary Index，GSI）的主要...PolarDB-X 1.0 中特指物理表上的MySQL二级索引 两者的关系：两者需要搭配使用，PolarDB-X 1.0 通过GSI将查询下发到单个分片后，该分片上的局部索引能够提升分片内的查询性能。
步骤六：调拨应用流量
通过调整并下发接入层和应用层的分片规则，验证流量路由和 RPC 路由的准确性。说明 该教程一般适用于灰度测试场景。前提条件 已配置应用层的分片规则如下：RZ01A：00-49 RZ02A：50-99 账号准备：账号 A：UID 分片位为 08（属于 RZ01A 分片...
价格说明
图计算引擎价格说明 图计算引擎的售卖价格=分片规格的单价*分片数*备份数。目前图计算引擎支持预付费和后付费计费方式。分片规格的单价 规格代码 磁盘类型 类型 分片规格 磁盘大小 价格（元/月）computer.i2.large 本地盘 计算型 cpu:4核,...
分片上传
分片上传流程 流程说明如下：说明 如果您需要完成分片上传的完整流程，包括初始化分片上传，上传分片以及将分片合为完成的Object，您需要 oss:PutObject 权限。具体操作，请参见 为RAM用户授权自定义的权限策略。将待上传文件按照一定大小...
系统架构
分片服务器 每个分片服务器均是双副本高可用架构，主节点故障之后，系统会自动进行主备切换保证服务高可用。配置服务器 用于存储集群配置信息及分区策略，目前采用双副本高可用架构，保证高可用。注意事项 三个组件的个数和配置，在购买...
云数据库MongoDB版是否支持添加节点？
云数据库MongoDB版的副本集实例和分片集群实例均支持添加节点。说明 单节点实例由于其架构的特殊性，不支持该功能。副本集实例 副本集实例默认情况下节点的数量为三个，具体操作请参见 变更副本集实例节点数。分片集群实例 分片集群实例...
磁盘型实例规格
例如实例具备4个分片，分片规格为 tair.localssd.c1m4.with.proxy.2xlarge，每个分片的性能为：CPU核数：8核 内存：32 GB SSD容量：320 GB 连接数：10,000 带宽：375 MB/s 那么，该实例的整体性能即为：CPU核数：32核 内存：128 GB SSD容量...
磁盘型实例规格
例如实例具备4个分片，分片规格为 tair.localssd.c1m4.with.proxy.2xlarge，每个分片的性能为：CPU核数：8核 内存：32 GB SSD容量：320 GB 连接数：10,000 带宽：375 MB/s 那么，该实例的整体性能即为：CPU核数：32核 内存：128 GB SSD容量...
分片上传
OSS提供的分片上传（MultipartUpload）功能，将要上传的较大文件（Object）分成多个分片（Part）来分别上传，上传完成后再调用CompleteMultipartUpload接口将这些Part组合成一个Object来达到断点续传的效果。注意事项 在分片上传之前，请...
入门概述
通过程序代码连接MongoDB副本集实例 分片集群（推荐）通过DMS连接MongoDB分片集群实例 通过Mongo Shell连接MongoDB分片集群实例 通过程序代码连接MongoDB分片集群实例 可选：创建数据库账号并添加权限。不建议在生产环境中直接使用root账号...
MongoDB 分片集群介绍
MongoDB分片集群技术用于解决海量数据的存储问题，本文介绍MongoDB分片集群相关的常用知识。什么情况下使用分片集群？当您遇到如下问题时，可以使用分片集群解决：存储容量受单机限制，即磁盘资源遭遇瓶颈。读写能力受单机限制，可能是CPU...
聚类分片
Proxima CE支持使用聚类分片方式检索任务，本文为您介绍聚类分片检索功能的使用方法及示例。前提条件 已安装Proxima CE包并准备输入表，详情请参见 安装Proxima CE包。基本原理 Proxima CE在检索时有两种划分数据分片的方式：哈希分片与聚...
- 产品推荐
- 这些文档可能帮助您