MongoDB（无分片键）迁移至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
GBase8a数据源
是 无 splitPk Gbase8a Reader进行数据抽取时，如果指定 splitPk，表示您希望使用 splitPk 代表的字段进行数据分片，数据同步因此会启动并发任务进行数据同步，提高数据同步的效能。推荐 splitPk 用户使用表主键，因为表主键通常情况下比较...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
导入与导出
开关打开后，所有非法值的写入会被转为null。DTS同步数据至AnalyticDB MySQL集群时，如何解决无主键表同步的报错？报错：DTS-077004:Record Replicator error.cause by[[17003,2020051513063717201600100703453067067]table not exist=>xxx...
HybridDB for MySQL数据源
是 无 splitPk HybridDB for MySQL Reader进行数据抽取时，如果指定 splitPk，表示您希望使用splitPk代表的字段进行数据分片，数据同步因此会启动并发任务进行数据同步，从而提高数据同步的效能。推荐 splitPk 用户使用表主键，因为表主键...
库表数太多导致实例卡顿或异常
迁移到分片集群实例并使用分片标签（Shard Tag）来管理 如果所有的集合都集中在一个库中，而且还希望通过一个逻辑上的数据库实例来管理的话，您可以考虑将数据迁移到分片集群架构并使用分片标签（Shard Tag）来进行管理。shard tag管理方式...
如何支持超大事务
以本测试场景为例，如果事务的每条语句都是INSERT语句，那么每个分片的数据写入量不应超过2 GB，事务总的数据写入量不能超过：分片数量×2 GB，例如8分片的情况下，写入总量在16 GB时也会触发这个报错。但是，上述讨论并不意味着只要您的...
迁移时源库为MongoDB的注意事项及限制
请确保源和目标MongoDB分片集群实例中没有孤立文档，否则可能会导致数据不一致甚至任务失败。更多信息，请参见 孤立文档 和 如何清理MongoDB（分片集群架构）的孤立文档？其他限制 若您先购买DTS任务再进行配置，则需要在购买DTS任务时填写...
配额与限制
说明 如果未指定，则读取数据时将全表扫描（低效查询），且该扫描请求可能会被系统默认拒绝。如果您想要强制执行低效查询，请参见 低效查询。使用 ORDER BY 语句排序时，必须添加limit条件。使用 ORDER BY 语句排序时，LIMIT不能大于10000...
为什么Redis内存报警与监控的内存使用率不一致
即使Key被均匀地分散到不同的数据分片节点，但如果某个Key存放过多或过大的field也会导致单个Key过大，从而导致内存倾斜。使用了Hash Tag。使用Hash Tag时，例如 user:{1000}:name，Redis 会对花括号内的字符串进行CRC计算，并将带有相同...
CREATE TABLE
缺点：当维度表数据发生变更（插入、变更或删除）时，变更会被广播到集群的所有节点，确保所有节点上具有一致的数据副本，会影响整体写入性能。因此不建议对维度表进行频繁的增删改等操作。partition_options（分区键与生命周期）如果设置...
云数据库MongoDB版（副本集架构）...或分片集群架构）
支持的源和目标数据库 源数据库（副本集架构）目标数据库（副本集架构、分片集群架构）云数据库MongoDB版 云数据库MongoDB版 ECS上的自建数据库 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过专线、VPN网关或智能...
云数据库MongoDB版（副本集架构）...或分片集群架构）
支持的源和目标数据库 源数据库（副本集架构）目标数据库（副本集架构、分片集群架构）云数据库MongoDB版 云数据库MongoDB版 ECS上的自建数据库 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过专线、VPN网关或智能...
ePQ支持查看与分析执行计划
segments:6)->Partial Seq Scan on t Optimizer:PolarDB PX Optimizer(4 rows)以上执行计划以Motion算子为界，被分为了两个分片：一个是接收最终结果的分片 slice0，一个是扫描数据的分片 slice1。对于 slice1 计划分片，ePQ将使用六个执行...
云数据库MongoDB版（分片集群架构）同步至云数据库...
说明 配置数据分片可以避免数据被同步至同一Shard（存储数据库数据的组件），导致无法发挥集群性能；开启Balancer并进行预分片可以避免数据倾斜问题。本文以先配置后购买DTS任务为例，无需填写源 云数据库MongoDB版（分片集群架构）下的...
云数据库MongoDB版（分片集群架构）同步至云数据库...
说明 配置数据分片可以避免数据被同步至同一Shard（存储数据库数据的组件），导致无法发挥集群性能；开启Balancer并进行预分片可以避免数据倾斜问题。本文以先配置后购买DTS任务为例，无需填写源 云数据库MongoDB版（分片集群架构）下的...
云数据库MongoDB版（副本集架构）...或分片集群架构）
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
全量备份数据上云（SQL Server 2008 R2本地盘）
仅在Java SDK为3.14.0及以上版本时，支持通过服务端List分片数据来合并完整文件时，将CompleteMultipartUploadRequest中的partETags设置为null。Map,String>headers=new HashMap,String>();如果指定了x-oss-complete-all:yes，则OSS会列举...
云数据库MongoDB版（副本集架构）...或分片集群架构）
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
云数据库MongoDB版（单节点架构）全量迁移至云数据库...
如目标 云数据库MongoDB版 为分片集群架构，您需要根据业务需要，在目标 云数据库MongoDB版 中创建需要分片的数据库和集合、配置数据分片、开启Balancer并进行预分片。更多信息，请参见 设置数据分片以充分利用Shard性能 和 如何处理分片...
云数据库MongoDB版（单节点架构）全量迁移至云数据库...
如目标 云数据库MongoDB版 为分片集群架构，您需要根据业务需要，在目标 云数据库MongoDB版 中创建需要分片的数据库和集合、配置数据分片、开启Balancer并进行预分片。更多信息，请参见 设置数据分片以充分利用Shard性能 和 如何处理分片...
升级数据库大版本
升级过程中，分片集群实例的平衡器将被关闭，升级完成后会被重新打开。升级数据库大版本所用时间与数据库的数据量有关，请根据业务情况提前安排升级时间。升级数据库大版本后不支持降级数据库大版本。升级数据库大版本后，低版本的备份数据...
自建数据库MongoDB版（分片集群架构）迁移至云数据库...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将本地MongoDB（分片集群架构）中的各个Shard节点，迁移至阿里云MongoDB（副本集架构或分片集群架构）实例来实现迁移上云。通过DTS的增量迁移功能，可以实现在本地应用不停...
自建数据库MongoDB版（分片集群架构）迁移至云数据库...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将本地MongoDB（分片集群架构）中的各个Shard节点，迁移至阿里云MongoDB（副本集架构或分片集群架构）实例来实现迁移上云。通过DTS的增量迁移功能，可以实现在本地应用不停...
为什么要升级到MongoDB的新版本
推荐理由：从6.0.3版本开始，Balancer会根据分片间数据量的差异均衡数据，而不是根据分片间Chunks数量的差异来均衡数据。从而有效解决了之前版本因为Jumbo Chunk、Empty Chunk等原因而导致数据、负载不均匀的问题。更多信息，请参见 ...
全量备份数据上云（SQL Server 2008 R2云盘、2012及...
仅在Java SDK为3.14.0及以上版本时，支持通过服务端List分片数据来合并完整文件时，将CompleteMultipartUploadRequest中的partETags设置为null。Map,String>headers=new HashMap,String>();如果指定了x-oss-complete-all...
离线同步常见问题
离线同步会根据切分键（splitPk）来对进行数据分片，数据同步根据此配置启动并发任务进行数据同步，提高数据同步的效能。（具体插件是否需要配置切分键，请参考具体插件文档）。解决方案1：若配置前置或后置语句，建议使用添加了索引的字段...
一键实时同步至Elasticsearch
不开启分区：不填写该参数，默认使用文档的_id作为routing起到将文档均匀分布到多个分片上防止数据倾斜的作用。开启分区：把指定列的value指定为routing的值，在写入时，插入或更新指定shard中的doc。数据字段结构：用于设置映射的目标索引...
增量备份数据上云（SQL Server 2008 R2云盘、2012及...
根据上传的数据大小计算分片数。以本地文件为例，说明如何通过File.length()获取上传数据的大小。final File sampleFile=new File(filePath);long fileLength=sampleFile.length();int partCount=(int)(fileLength/partSize);if(fileLength...
SQL Server实例级别迁移上云
每个分片不需要按顺序上传，甚至可以在不同客户端上传，OSS会按照分片号排序组成完整的文件。UploadPartResult uploadPartResult=ossClient.uploadPart(uploadPartRequest);每次上传分片之后，OSS的返回结果包含PartETag。PartETag将被保存...
MongoDB 4.4
阿里云数据库MongoDB实例间迁移：从MongoDB副本集实例迁移至分片集群实例 跨阿里云账号迁移云数据库MongoDB 迁移云数据库MongoDB实例至其他地域 DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会导致数据库服务器负载上升。...
MongoDB 5.0
阿里云数据库MongoDB实例间迁移：从MongoDB副本集实例迁移至分片集群实例 跨阿里云账号迁移云数据库MongoDB 迁移云数据库MongoDB实例至其他地域 DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会导致数据库服务器负载上升。...
MongoDB 4.0
阿里云数据库MongoDB实例间的迁移：从MongoDB单节点实例迁移至副本集或分片集群实例 跨阿里云账号迁移云数据库MongoDB 迁移云数据库MongoDB实例至其他地域 DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会导致数据库服务器...
整库离线同步至Elasticsearch
不开启分区：不填写该参数，默认使用文档的_id作为routing起到将文档均匀分布到多个分片上防止数据倾斜的作用。开启分区：把指定列的value指定为routing的值，在写入时，插入或更新指定shard中的doc。数据字段结构：用于设置映射的目标索引...
MongoDB 4.2
阿里云数据库MongoDB实例间迁移：从MongoDB副本集实例迁移至分片集群实例 跨阿里云账号迁移云数据库MongoDB 迁移云数据库MongoDB实例至其他地域 DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会导致数据库服务器负载上升。...
排查Redis实例CPU使用率高的问题
并且，在集群架构中，如果热Key较为集中地分布在部分数据分片节点，可能会导致CPU使用率倾斜（个别分片的CPU使用率远超其他分片）。大Key：大Key会占用更多的内存，同时，对大Key的访问会显著增加Redis的CPU负载和流量。大Key在一定程度上...
RDS MySQL物理备份文件恢复到自建数据库
常见下载问题 Q：为什么下载数据文件会报错？A：使用 wget-c 'https://*.bak.rds.aliyuncs.com/*_xb.qp?'-O test_xb.qp 命令下载时请用2个英文单引号（'）将下载地址包裹起来，便于程序识别具体的地址，防止出错。步骤二：解压备份文件 ...
发现并处理大Key和热Key
集群架构下，产生访问倾斜，即某个数据分片被大量访问，而其他数据分片处于空闲状态，可能引起该数据分片的连接数被耗尽，新的连接建立请求被拒绝等问题。在抢购或秒杀场景下，可能因商品对应库存Key的请求量过大，超出 Tair 处理能力造成...
MongoDB 7.0
阿里云数据库MongoDB实例间迁移：从MongoDB副本集实例迁移至分片集群实例 跨阿里云账号迁移云数据库MongoDB 迁移云数据库MongoDB实例至其他地域 DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会导致数据库服务器负载上升。...
- 产品推荐
- 这些文档可能帮助您