调整实例的分片数量
删除分片会降低实例的总容量和实例性能，同时也会造成对应分片上的连接强制断开，请谨慎执行。如需执行，请确保应用具备重连机制。使用限制 实例的总分片数最少为2个，单次操作的分片数上限为64个，实例总分片数上限为256个。操作步骤 访问...
调整实例的分片数量
删除分片会降低实例的总容量和实例性能，同时也会造成对应分片上的连接强制断开，请谨慎执行。如需执行，请确保应用具备重连机制。使用限制 实例的总分片数最少为2个，单次操作的分片数上限为64个，实例总分片数上限为256个。操作步骤 访问...
Java UDAF
输入数据分片：MaxCompute会按照MapReduce处理流程对输入数据按照一定的大小进行分片，每片的大小适合一个Worker在适当的时间内完成。分片大小需要您通过 odps.stage.mapper.split.size 参数进行配置。分片逻辑请参见 MapReduce流程说明。...
PostgreSQL数据源
是 无 splitPk PostgreSQL Reader进行数据抽取时，如果指定 splitPk，表示您希望使用 splitPk 代表的字段进行数据分片，数据同步会启动并发任务，以提高数据同步的效能：推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，因此...
集群容量规划
每个索引被分成多个分片，数据写入时会基于文档ID自动哈希打散到不同的分片中，在设置分片个数时，通常的建议如下：建议单个分片大小保持在20GB~50GB之间。建议分片数量为节点个数的整数倍，例如实例有2个节点，则创建的索引分片设置为2。...
管理用户账号和数据库
重要 数据分片过多会导致内存资源占用高，影响查询性能，建议合理规划数据库的数量，最好10个以内。删除数据库 登录 TSDB控制台。在页面左上角，选择目标地域。在 实例列表 页面，单击目标实例 操作 列中的 管理。选择 时序数据管理>数据库...
逻辑备份恢复至自建数据库
当自建数据库是分片集群时，导入数据命令中必须添加-nsExclude="config.*"，否则数据恢复过程可能会出现报错。将分片集群实例中的数据恢复至自建数据库时，需要下载分片集群实例中每个Shard组件的备份数据并导入到自建数据库。当分片集群...
逻辑备份恢复至自建数据库
当自建数据库是分片集群时，导入数据命令中必须添加-nsExclude="config.*"，否则数据恢复过程可能会出现报错。将分片集群实例中的数据恢复至自建数据库时，需要下载分片集群实例中每个Shard组件的备份数据并导入到自建数据库。当分片集群...
离线同步数据质量排查
任务配置并发读取时会切分出多个分片查询SQL，由于数据库事务一致性策略，每个查询SQL查询的都是当前提交时的数据快照，并且多个SQL并不在一个事务上下文内。因此在源头数据变化时会同步不到查询SQL之后的变化。这类原因导致的问题一般是...
阿里云自研的Proxy命令
db_idx 为数据分片节点，取值为[0,集群分片总数]；其他参数的用法及返回结果与原生 INFO 命令类似，更多信息请参见 INFO。命令示例：IINFO 1 Server 返回示例："#Server\r redis_version:5.0.13\r os:Linux\r tcp_port:6379\r uptime_in_...
阿里云自研的Proxy命令
db_idx 为数据分片节点，取值为[0,集群分片总数]；其他参数的用法及返回结果与原生 INFO 命令类似，更多信息请参见 INFO。命令示例：IINFO 1 Server 返回示例："#Server\r redis_version:5.0.13\r os:Linux\r tcp_port:6379\r uptime_in_...
存储层高可用
读写高可用 AnalyticDB使用Multi-Raft方式管理数据分片，每个数据分片由三副本组成，分片内基于Raft协议进行Leader选举、日志复制和状态机日志应用。三副本的多数派存活是保证数据读写高可用的关键，优势在于可允许1个副本所在节点发生宕机...
AnalyticDB for PostgreSQL数据源
是 无 splitPk AnalyticDB for PostgreSQL Reader进行数据抽取时，如果指定 splitPk，表示您希望使用splitPk代表的字段进行数据分片。数据同步会启动并发任务进行数据同步，以提高数据同步的效能。通常表主键较为均匀，切分出的分片不易...
使用MongoDB存储日志数据
按均匀分布的key分片：假设上述场景里 path 字段的分布是比较均匀的，而且很多查询都是按path维度去划分的，那么可以考虑按照path字段对日志数据进行分片，带来的好处如下：写请求会被均分到各个shard。针对path的查询请求会集中落到某个...
topKey分析
平均响应 毫秒（ms）不同分片数据的平均响应时间。说明 在 Top 文本框中输入需要查询的记录总数量可调整查询结果的显示数量。打开 升序 开关，结果将按照升序显示所选维度的数据。查询历史热点Key：在 TopKey 历史快照 区域，选择 idc 和 ...
使用MongoDB工具将MongoDB Atlas迁移至阿里云
如需迁移至阿里云MongoDB分片集群实例，建议对数据进行分片，详情请参见 设置数据分片。设置阿里云MongoDB实例的数据库密码，详情请参见 重置密码。说明 如果您在创建实例时设置了数据库密码，可跳过本步骤。在本地设备上成以下准备工作：...
释放Mongos节点或Shard节点
注意事项 释放节点的过程中，分片集群实例的状态会变为 删除节点中，此时，您将无法对该实例进行密码重置、角色切换、变更节点连接地址或修改参数等操作，建议您在业务低峰期释放。请确保业务已经不再使用待释放的节点。Mongos节点数量为2...
云监控控制台查看监控
ClickHouse datapart个数 ClickHouse集群中数据分片的个数。磁盘使用量 磁盘空间的使用量。单位：MB。磁盘使用率 磁盘空间的使用量与最多可使用的磁盘空间容量的比值。内存使用量 集群各节点的内存使用量。单位：MB。Inactive datapart个数...
配置Vertica输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 每个并发SQL语句读取数据的条数。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置...
配置Vertica输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 每个并发SQL语句读取数据的条数。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置...
配置Teradata输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，...
配置OceanBase输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值：...
配置OceanBase输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值：...
配置IBM DB2输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，...
配置IBM DB2输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，...
配置Teradata输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，...
Redis Proxy特性说明
当请求中包含以下命令时，Proxy会根据命令的处理需求在相应的数据分片上创建额外的连接，此时连接无法聚合，实例的最大连接数和每秒新建连接数都会受到数据节点单个分片的限制（单个分片的限制请参见具体的实例规格）。您需要合理使用下述...
Tair Proxy特性说明
当请求中包含以下命令时，Proxy会根据命令的处理需求在相应的数据分片上创建额外的连接，此时连接无法聚合，实例的最大连接数和每秒新建连接数都会受到数据节点单个分片的限制（单个分片的限制请参见具体的实例规格）。您需要合理使用下述...
混合存储-集群版（已停售）
说明 当代理模式使用PUBSUB类型订阅命令、BLOCK类型命令、事务命令时，代理模式会给客户端连接建立独享的后端连接，此时连接无法聚合，最大连接数会受到数据节点单个分片的最大连接数限制，上限为直连模式的阈值。直连模式：单分片最大连接...
如何处理Tair集群数据倾斜
为什么会产生数据倾斜 Tair 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
如何处理Redis集群数据倾斜
为什么会产生数据倾斜 Redis 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
时序引擎应用开发简介
2.数据建模 针对业务场景进行数据建模，需要确定创建数据库和时序数据表，确定时序数据表的标签、时间戳和量测值，并根据数据特征确定PRIMARY KEY用于数据分片。关于数据模型，请参见 数据模型。时序引擎提供了三种Schema约束策略，分别为...
产品架构
在全量数据迁移阶段，增量数据会被解析、重新格式化并存储在本地DTS服务器上。增量数据迁移：当全量数据迁移完成后，DTS会检索本地存储的增量数据，重新格式化，并将数据更新应用到目标数据库中。此过程将持续下去，直到所有正在进行的数据...
同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...
StarRocks数据源
是 无 splitPk StarRocks Reader进行数据抽取时，如果指定 splitPk，表示您希望使用 splitPk 代表的字段进行数据分片，数据同步因此会启动并发任务进行数据同步，提高数据同步的效能。推荐splitPk用户使用表主键，因为表主键通常情况下比较...
0005-00000411
问题原因 客户端加密场景下，在InitiateMultipartUpload时需要指定客户端预期的数据大小以及分片大小，服务端会根据设定的数据大小以及分片大小计算出预期的分片数目。在CompleteMultipartUpload 时如果传入的分片数目超过了预期的分片数目...
BigQuery数据源
BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步...如果指定 splitPk，表示您希望使用 splitPk 代表的字段进行数据分片。数据同步系统会启动并发任务进行数据同步，以提高数据同步的效能。否 无
云数据库MongoDB版（分片集群架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已创建源和目标 云数据库MongoDB...
云数据库MongoDB版（分片集群架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已创建源和目标 云数据库MongoDB...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
- 产品推荐
- 这些文档可能帮助您