释放Mongos节点或Shard节点
在您的业务低峰期或Shard节点规模超过实际需求时，可以通过释放Mongos节点或Shard节点以达到节省成本的目的。本文介绍如何释放分片集群实例的Mongos节点或Shard节点。注意事项 释放节点的过程中，分片集群实例的状态会变为 删除节点中，...
变更Shard节点配置
当Shard节点无法满足存储需求或达到性能瓶颈时，您可以变配Shard节点规格或存储空间以解决上述问题。云数据库MongoDB分片集群实例支持对一个或多个Shard节点进行配置（例如规格和存储空间）变更。使用限制 变配时选择的存储空间需大于或...
引擎指标
instanceId shard_id ip index 指标聚合：max()采样聚合：avg()elasticsearch-server.query_cache_shard_cached_size_in_bytes.max shard维度query_cache缓存大小max shard查询时，缓存新增数据的总大小。instanceId shard_id ip index ...
Table Group设置最佳实践
本文为您介绍Hologres中Table Group和Shard Count选定的基本原则、适用场景、设置策略以及常见问题，以助您获取更优的查询性能。实例规格推荐 在实践过程中存在数据量可预估，最适宜的Shard数区间应该设置为多少的问题，由于最适宜Shard数...
集群负载不均问题的分析方法及解决方案
导致阿里云Elasticsearch（简称ES）的负载不均问题的原因很多，目前主要包括shard设置不合理、segment大小不均、冷热数据需求、负载均衡及多可用区架构部署的长连接不释放等。本文介绍ES集群负载不均问题的分析方法及解决方案。问题现象 ...
变更配置方案概览
说明 分片集群实例默认最多支持32个Shard节点，即当前分片集群实例中已有3个Shard节点，在添加Shard节点时，您最多可添加29个Shard节点。新增Shard节点的 规格、存储空间 和 只读节点数 均需大于或等于已有Shard节点的最高配置。MongoDB不...
申请Shard或ConfigServer节点连接地址
连接云数据库MongoDB分片集群实例的Mongos节点，通常即可满足业务读写数据的场景，如果您需要读取Shard节点的Oplog或ConfigServer节点的配置信息，可以申请相应节点的连接地址。前提条件 实例为分片集群实例。协议类型为MongoDB协议。背景...
变更分片集群实例配置概览
新增Shard节点时，如果添加了只读节点数，则该Shard节点和每个只读节点的存储空间大小均为新增Shard节点时选择的存储空间大小。变更Mongos节点配置 支持变配一个或多个Mongos节点的 规格。变更Shard节点配置 支持变配一个或多个Shard节点的...
MongoDB 分片集群介绍
即shard和mongos需要满足读写性能需求，例如一个shard的最大QPS为M，一个mongos的最大QPS为Ms，业务需要的总QPS为Q，那么您的业务需要的shard和mongos数量按照以下公式计算：numberOfShards=Q/M/0.75（假设负载水位线为75%）numberOfMongos...
资源流控及解决方案
ShardWriteQuotaExceed（Shard级别超限）Shard写：shard write quota exceed,please split shard（所有可用Shard写入都超过限制）Shard写：shard write quota exceed,shard:xxx 使用手动或自动分裂方式新增Shard。具体操作，请参见 管理...
ConsumerGroup
Shard 分裂后，先消费原 Shard 中数据，然后同时消费由该 Shard 分裂的 Shard 中数据。Shard 合并后，先消费原 Shard 中数据，然后消费由原 Shard 合并后的新 Shard 中数据。false：不按顺序消费。即所有同时开始消费，Shard 分裂或者合并...
SplitShard
调用SplitShard接口分裂一个指定的readwrite状态的Shard。接口说明 Host由Project名称和日志服务Endpoint构成，您需要在Host中指定Project。已创建并获取AccessKey。更多信息，请参见 访问密钥。阿里云账号AccessKey拥有所有API的访问权限...
Table Group与Shard Count操作指南
单个Table Group的Shard数上限=单个Table Group默认Shard数*2 实例总的Shard数上限=单个Table Group默认Shard数*8 如需调整单Table Group的Shard数上限和实例总Shard数上限，需要使用如下GUC参数取消Shard数上限，但是不建议使用，否则可能...
消费-通过消费组实现高可靠消费
银行经理觉得Shard1下柜员A压力太大，因此从Shard1中拆分出（Shard3，Shard4）两个新的Shard，Shard3由柜员A处理、Shard4由柜员C处理。在12点后原来排在Shard1中的请求，分别到Shard3，Shard4中。12点后请求消费状态。流量持续到下午4点后...
实例规格概述
实例规格推荐 每个Shard负责着一部分数据的读写服务请求，在同一个Table Group里，每个表的一部分数据分发到同一个Shard上，这些表之间如果可以在Shard内关联，我们称之为Local Join，是效率更高的关联方法。如果数据不在同一个Shard内，则...
merge_shard
调用CLI命令合并两个相邻的readwrite状态的Shard。请求语法 aliyunlog log merge_shard-project_name=<value>-logstore_name=<value>-shardId=[-access-id=][-access-key=][-sts-token=][-region-endpoint=][-client-name=][-jmes-filter=]...
性能指南
一般可以按照每Shard处理1MB/s（压缩前）流量规划，也就是大约85 GB每天每Shard规划。例如：源Logstore的数据写入速度是每天1 TB，那么需要分裂源Logstore的Shard数量为1024GB/85=12个。关于Shard分裂请参见 分裂Shard。数据加工性能 数据...
split_shard
调用CLI命令分裂指定Logstore的Shard。请求语法 aliyunlog log split_shard-project_name=<value>-logstore_name=<value>-shardId=<value>-split_hash=[-access-id=][-access-key=][-sts-token=][-region-endpoint=][-client-name=][-jmes-...
如何确认增加或删除Shard节点的进度
本文介绍如何查看增加Shard节点或删除Shard节点的任务进度，以及检查是否有异常阻塞任务进程的方法。背景信息 当您对分片集群实例执行增加Shard节点或删除Shard节点操作后，可能会出现任务提交后很长时间都没完成的情况，以下内容将指导您...
MergeShard
调用MergeShard接口合并两个相邻的readwrite状态的Shard。在参数中指定一个shardID，服务端自动查询相邻的下一个Shard进行合并。接口说明 Host由Project名称和日志服务Endpoint构成，您需要在Host中指定Project。每个Shard均有范围，为MD5...
GetShardIterator
调用GetShardIterator接口获取读取当前Shard记录的起始iterator。请求消息结构 message GetShardIteratorRequest { required string stream_id=1;required string shard_id=2;} 名称 类型 是否必选 描述 stream_id string 是 当前Stream的...
GetStreamRecord
调用GetStreamRecord接口读取当前Shard的增量内容。请求消息结构 message GetStreamRecordRequest { required string shard_iterator=1;optional int32 limit=2;} 名称 类型 是否必选 描述 shard_iterator string 是 当前Shard读取的...
数据投递仪表盘
Shard消费延迟和Shard消费速率 统计每分钟窗口内，投递任务读取源Logstore数据时，每个Shard的指标。消费延迟：该Shard中的日志被完全消费的时间与该Shard最新采集到的日志的时间之差。消费速率：在一分钟窗口内，Shard平均每秒钟读取到的...
副本集实例规格表
2核 16 GB mdb.shard.8x.large.d 5000 4核 8 GB mdb.shard.2x.xlarge.d 3000 min{1800+50*存储空间,20000} min{120+0.5*存储空间,192} 4核 16 GB mdb.shard.4x.xlarge.d 5000 4核 32 GB mdb.shard.8x.xlarge.d 8000 8核 16 GB mdb.shard.2x...
通过手动迁移shard均匀分布热点数据的解决方案
Elasticsearch通过哈希映射将文档均匀地路由到分片中，同时shard均匀地分散在各个数据节点中，这样可能会出现某些节点存储的热点数据较多，导致这些节点的负载较高的情况。针对这种情况，可采用重启集群或手动迁移shard的方式，重新分配...
使用Python SDK管理Shard
日志服务使用Shard控制Logstore或MetricStore读写数据的能力，数据必定保存在某一个Shard中。本文通过代码示例介绍如何查询、分裂、合并Shard。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量...
分片集群架构
分片集群架构提供Mongos、Shard和ConfigServer三种组件。您可以自由选择Mongos和Shard的个数和配置，创建具备不同服务性能的MongoDB分片集群实例。分片集群架构 分片集群架构的各组件说明如下：组件名称 架构 说明 Mongos 单节点架构 负责...
ListShards-查询shard列表
列出指定Logstore中所有可用的Shard。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
数据加工
Logstore的Shard使用限制请参考 基础资源，Logstore的 分裂Shard 操作请参考 管理Shard。重要 数据加工任务运行并发度不足不会触发源数据Logstore的 自动分裂Shard 功能，需要手动分裂源数据Logstore的Shard，才能提高加工任务的运行并发度...
使用限制
Logstore的Shard使用限制请参考 基础资源，Logstore的 分裂Shard 操作请参考 管理Shard。重要 数据加工任务运行并发度不足不会触发源数据Logstore的 自动分裂Shard 功能，需要手动分裂源数据Logstore的Shard，才能提高加工任务的运行并发度...
规格容量评估
小规格实例参考：单个数据节点的Shard数量=当前节点的内存大小*30 大规格实例参考：单个数据节点的Shard数量=当前节点的内存大小*50 说明 评估Shard数量时，还需结合数据量进行分析，建议TiB级别以下的数据量参考小规格实例进行评估。...
DISTRIBUTED MAPJOIN
语法示例-推荐，指定shard_count（replica_count默认为1）/*+distmapjoin(a(shard_count=5))*/-推荐，指定shard_count和replica_count/*+distmapjoin(a(shard_count=5,replica_count=2))*/-distmapjoin多个小表/*+distmapjoin(a(shard_...
DISTRIBUTED MAPJOIN
语法示例-推荐，指定shard_count（replica_count默认为1）/*+distmapjoin(a(shard_count=5))*/-推荐，指定shard_count和replica_count/*+distmapjoin(a(shard_count=5,replica_count=2))*/-distmapjoin多个小表/*+distmapjoin(a(shard_...
增量数据操作
表格存储提供了 stream 的 list 和 describe 操作，以及 shard 的 getsharditerator 和 getshardrecord 操作。列出所有的Stream（ListStream）ListStream 接口用于列出当前实例和表下的所有stream。示例 列出某个表的所有 stream 信息。...
CreateNode-新增Shard节点或Mongos节点
为云数据库MongoDB分片集群实例添加Shard节点或Mongos节点。接口说明 请确保在使用该接口前，已充分了解 MongoDB 产品的收费方式和 价格。该接口仅适用于分片集群实例。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...
管理MetricStore
自动分裂Shard 打开 自动分裂Shard 开关后，如果您写入的数据量超过已有Shard服务能力，日志服务会自动根据数据量增加Shard数量。更多信息，请参见 管理Shard。最大分裂数 打开 自动分裂shard 开关后，最多支持自动分裂至256个readwrite...
Redis社区版云原生版实例规格
redis.shard.mid.2.ce 2 2 10 96 10,000 100,000 4 GB社区版 redis.shard.large.ce 2 4 20 96 10,000 100,000 8 GB社区版 redis.shard.xlarge.ce 2 8 40 96 10,000 100,000 16 GB社区版 redis.shard.2xlarge.ce 2 16 80 96 10,000 100,000 ...
专业术语
每个shard只属于一个shard group，一个shard group可以有多个shard。每个shard包含一组特定的序列（series）。一个给定的shard group中的一个序列中的所有数据点都存储在磁盘中相同的shard（TSM文件）。相关术语：series，shard duration，...
设置数据分片以充分利用Shard性能
您可以对分片集群实例中的集合设置数据分片，以充分利用Shard节点的存储空间和计算性能。背景信息 如果没有对集合设置数据分片，数据将被集中存放在一个Shard节点中，这将导致其他Shard节点的存储空间和计算性能无法被充分利用。前提条件 ...
日志消费与查询区别
每个LogStore有一个或多个Shard，数据写入时，随机落到某一个Shard中。可以从指定Shard中，按照日志写入Shard的顺序批量读取日志。根据接收日志的时间，设置批量读取Shard日志的起始位置（cursor）。日志查询（LogSearch）提供海量日志查询...
- 产品推荐
- 这些文档可能帮助您