AnalyticDB for PostgreSQL数据源
是 无 splitPk AnalyticDB for PostgreSQL Reader进行数据抽取时，如果指定 splitPk，表示您希望使用splitPk代表的字段进行数据分片。数据同步会启动并发任务进行数据同步，以提高数据同步的效能。通常表主键较为均匀，切分出的分片不易...
准备数据
切分键 读取数据时，根据配置的字段进行数据分片，实现并发读取，可以提升数据同步效率。此处可以不填。选择数据去向。参数 描述 数据源 选择 ODPS，然后选择MaxCompute数据源名称。表 选择ODPS数据源中的表 trend_data。分区信息 输入要...
使用DTS将腾讯云MongoDB增量迁移至阿里云
如需迁移至阿里云MongoDB分片集群实例，建议对数据进行分片以更好地发挥性能，详情请参见 设置数据分片。注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会导致数据库服务器负载上升。如果数据库业务量较大或服务器...
使用DTS将腾讯云MongoDB增量迁移至阿里云
如需迁移至阿里云MongoDB分片集群实例，建议对数据进行分片以更好地发挥性能，详情请参见 设置数据分片。注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会导致数据库服务器负载上升。如果数据库业务量较大或服务器...
使用限制
在使用云数据库MongoDB分片集群实例前，您需要了解分片集群实例本身存在的约束信息，使您初步了解分片集群实例的使用限制，帮助您进一步确认分片集群实例是否能够满足您的业务场景。功能 DynamoDB协议实例约束 MongoDB协议实例约束 实例...
调整实例的分片数量
常见问题 删除分片，数据会丢失吗？删除分片，数据不会丢失。数据会重新分布。删除分片，会退款吗？删除分片，会自动退款。具体的费用说明和退款说明，请参见 变更配置费用说明 增加或减少实例的分片数量，数据会重分布吗？当实例分片数量...
调整实例的分片数量
常见问题 删除分片，数据会丢失吗？删除分片，数据不会丢失。数据会重新分布。删除分片，会退款吗？删除分片，会自动退款。具体的费用说明和退款说明，请参见 变更配置费用说明 增加或减少实例的分片数量，数据会重分布吗？当实例分片数量...
基本概念
中文 英文 释义 实例 instance 实例是数据访问代理的集群，相当于一个逻辑的物理数据库实例。...分片 shard 同数据库分片。数据节点 data node 代理层后端的用户物理数据节点实例，类型可以是 MySQL（RDS）或者 OceanBase。
选型介绍
主要由三部分组成：节点类型（即每个分片的规格）、副本数（即replica，每个备份都可独立承担线上流量，通过增加副本数可扩展集群的水平负载能力）、分片数（即partition，通过内部Hash处理，可将数据进行分片存储到不同的节点上，...
流量诊断
响应rt 毫秒（ms）不同分片数据的平均响应时间。说明 在 Top 文本框中输入需要查询的记录总数量可调整查询结果的显示数量。打开 升序 开关，结果将按照升序显示所选维度的数据。单击 查询。检测表流量异常 在集群管理系统的左侧导航栏中，...
topRegion分析
上图是查询每秒内读请求数据量最大的五个分片，再将属于同一张表的分片聚合在一起，并按照分片读请求数据量的值升序排列后的结果。TopRegion历史快照 TopRegion历史快照支持查询某一历史时间点的热点分片。选择 idc、分组 和 历史快照。...
入门概述
通过程序代码连接MongoDB副本集实例 分片集群（推荐）通过DMS连接MongoDB分片集群实例 通过Mongo Shell连接MongoDB分片集群实例 通过程序代码连接MongoDB分片集群实例 可选：创建数据库账号并添加权限。不建议在生产环境中直接使用root账号...
选型介绍
类型 目前阿里云图计算引擎支持三种独享分片规格购买：...分片数 目前图计算引擎iGraph默认支持多分片，将海量数据索引进行hash分列，可以方便存储到固定存储的分片上。具体的分片计算公式，如下：分片数=存储量GB/每个分片规格的磁盘量/2；
使用限制
将ECS上分片集群架构的自建MongoDB迁移上云 使用DTS迁移分片集群架构的自建MongoDB数据库上云 使用MongoDB工具将自建数据库迁移至分片集群实例 第三方云数据库迁移至云数据库MongoDB。使用NimoShake将Amazon DynamoDB迁移至阿里云 使用...
API概览
AllocateNodePrivateNetworkAddress 为云数据库分片集群实例节点申请内网连接地址 为云数据库MongoDB分片集群实例的Shard节点或ConfigServer节点申请内网连接地址。ReleaseNodePrivateNetworkAddress 释放节点或节点内网连接地址 释放分片...
示例项目使用说明
numPartition 输入数据RDD分片数目。SparkPi：spark-submit-class SparkPi examples-1.0-SNAPSHOT-shaded.jar OSSSample：spark-submit-class OSSSample examples-1.0-SNAPSHOT-shaded.jar<inputPath><numPartition>参数说明如下：参数 ...
MongoDB 5.0新特性概览
在线数据重新分片 数据库版本 特点 实现方法 MongoDB 5.0以前 重新分片过程复杂且需要手动分片。方法一：先dump整个集合，然后用新的分片键把数据库重新加载到一个新的集合中。由于这是一个需要离线处理的过程，因此您的应用程序在重新加载...
使用MongoDB工具将MongoDB Atlas迁移至阿里云
如需迁移至阿里云MongoDB分片集群实例，建议对数据进行分片，详情请参见 设置数据分片。设置阿里云MongoDB实例的数据库密码，详情请参见 重置密码。说明 如果您在创建实例时设置了数据库密码，可跳过本步骤。在本地设备上成以下准备工作：...
数据建模
时序引擎会根据分片键对数据进行分片，然后路由到不同的后端节点进行存储，查询时如果查询条件命中分片键，则直接查询指定节点。示例 创建传感器表。CREATE TABLE sensor(device_id VARCHAR TAG,region VARCHAR TAG,time TIMESTAMP,...
MongoDB 7.0新特性概览
速览 本文将从以下方面介绍 云数据库 MongoDB 版 7.0版本：新特性 可查询加密（Queryable Encryption）支持分片元数据一致性校验 支持采样查询与分析分片键（analyzeShardKey）自动合并（AutoMerger）优化项 其他优化 安全性 聚合...
集群容量规划
每个索引被分成多个分片，数据写入时会基于文档ID自动哈希打散到不同的分片中，在设置分片个数时，通常的建议如下：建议单个分片大小保持在20GB~50GB之间。建议分片数量为节点个数的整数倍，例如实例有2个节点，则创建的索引分片设置为2。...
版本及存储引擎
在线重新分片 您可以在业务运行（数据不断增长）的情况下，按需改变集合的分片键（Shard key），而不需要数据库停机或在数据集合中进行复杂的迁移。您只需要在MongoDB Shell中运行reshardCollection命令，选择您需要重新分片的数据库和集合...
ePQ支持查看与分析执行计划
segments:6)->Partial Seq Scan on t Optimizer:PolarDB PX Optimizer(4 rows)以上执行计划以Motion算子为界，被分为了两个分片：一个是接收最终结果的分片 slice0，一个是扫描数据的分片 slice1。对于 slice1 计划分片，ePQ将使用六个执行...
使用MongoDB工具将腾讯云MongoDB迁移至阿里云
如需迁移至阿里云MongoDB分片集群实例，建议对数据进行分片以更好地发挥性能，详情请参见 设置数据分片。注意事项 该操作为全量迁移，迁移开始前需要停止腾讯云MongoDB数据库的相关业务，同时为了保障数据一致性，全量数据迁移期间请勿在...
ePQ支持查看与分析执行计划
segments:6)->Partial Seq Scan on t Optimizer:PolarDB PX Optimizer(4 rows)以上执行计划以Motion算子为界，被分为了两个分片：一个是接收最终结果的分片 slice0，一个是扫描数据的分片 slice1。对于 slice1 计划分片，ePQ将使用六个执行...
MapReduce
MapReduce处理数据的完整流程如下：输入数据：对文本进行分片，将每片内的数据作为单个Map Worker的输入。分片完毕后，多个Map Worker便可以同时工作。在正式执行Map前，需要将输入数据进行分片。所谓分片，就是将输入数据切分为大小相等的...
使用DTS迁移分片集群架构的自建MongoDB数据库上云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），依次将本地MongoDB分片集群数据库中的各个Shard节点，迁移至阿里云MongoDB分片集群实例来实现迁移上云。通过DTS的增量迁移功能，可以实现在本地应用不停服的情况下，平滑...
使用DTS迁移分片集群架构的自建MongoDB数据库上云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），依次将本地MongoDB分片集群数据库中的各个Shard节点，迁移至阿里云MongoDB分片集群实例来实现迁移上云。通过DTS的增量迁移功能，可以实现在本地应用不停服的情况下，平滑...
将ECS上分片集群架构的自建MongoDB迁移上云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将ECS上分片集群架构的自建MongoDB数据迁移至阿里云MongoDB实例中。通过DTS的增量迁移功能，可以实现在应用不停服的情况下，平滑完成数据库的迁移。本文为旧版DTS迁移操作...
从MongoDB副本集实例迁移至分片集群实例
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将MongoDB副本集实例迁移至分片集群实例。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成数据库的迁移。前提条件 确保...
从MongoDB副本集实例迁移至分片集群实例
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将MongoDB副本集实例迁移至分片集群实例。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成数据库的迁移。前提条件 确保...
逻辑备份恢复至自建数据库
当自建数据库是分片集群时，导入数据命令中必须添加-nsExclude="config.*"，否则数据恢复过程可能会出现报错。将分片集群实例中的数据恢复至自建数据库时，需要下载分片集群实例中每个Shard组件的备份数据并导入到自建数据库。当分片集群...
逻辑备份恢复至自建数据库
当自建数据库是分片集群时，导入数据命令中必须添加-nsExclude="config.*"，否则数据恢复过程可能会出现报错。将分片集群实例中的数据恢复至自建数据库时，需要下载分片集群实例中每个Shard组件的备份数据并导入到自建数据库。当分片集群...
MongoDB 4.4功能概览
复合哈希分片键（Compound Hashed Shard Keys）在4.4之前的版本中，您只能指定单字段的哈希片键，原因是当时版本的MongoDB不支持复合哈希索引，这样就很容易导致集合数据在分片上分布不均匀。在最新的4.4版本中加入了复合哈希索引，即您...
MongoDB实例空间使用率高问题
部分db未做分片 云数据库MongoDB分⽚集群实例允许部分db做分片，部分db不做分片。那么必然会带来这样的⼀个问题：不做分片的db的数据必然只能存在⼀个分⽚上，如果该db数据量很⼤，可能会造成该分⽚的数据量远⼤于其他分⽚。从⼀个源端...
外部表概述
第二种方法通常需要申请UDF网络访问权限，还需要开发者自己控制作业并发数，解决数据如何分片的问题。因此，MaxCompute提供了外部表来解决上述问题。外部表的功能旨在提供除MaxCompute内部表格以外的其他数据的处理能力。通过一条简单的DDL...
表结构设计
选择分区键 如果设置了分布键后，单个分片的数据量较大，您可以通过分区键在分片内进一步设置分区，以提高数据访问的性能。您可以在创建表时，通过 PARTITION BY 来定义二级分区，数据会将按照指定方式进行切分。更多详情，请参见 CREATE ...
附录：DataHub消息格式
本文为您介绍DataHub不同数据类型对应操作的支持情况，不同数据类型的分片策略、数据格式及相关消息示例。不同数据类型对应操作的支持情况 Topic是DataHub订阅和发布的最小单位，用户可以用Topic来表示一类或者一种流数据。目前支持Tuple与...
配置DTS迁移、同步或校验任务
Reserve String 否 {"srcInstanceId":"cen-9kqshqum*"} DTS预留参数，格式为JSON字符串，您可以传入本参数完善源目库信息（如目标Kafka数据库的数据存储格式、云企业网CEN的实例ID）。更多信息，请参见 Reserve参数说明。Checkpoint String...
性能测试
本文介绍Ganos时空服务与开源GeoMesa（HBase）、云数据库MongoDB分片集群在处理时空轨迹数据时的性能测试对比。测试环境 本次性能测试中需要准备以下测试数据库，具体配置如下表：数据库 配置说明 云原生多模数据库 Lindorm Ganos引擎（即...
- 产品推荐
- 这些文档可能帮助您