试用实例应用到生产环境指南
Hologres 64Core规格实例的推荐Shard数为40，执行以下命令创建新的Table Group并设置Shard数：CALL HG_CREATE_TABLE_GROUP('<new_tg_name>',<shard_count>);其中 new_tg_name 为新的Table Group名称，shard_count 为Shard数。将新Table ...
管理EventStore
自动分裂Shard 打开 自动分裂Shard 开关后，如果您写入的数据量超过已有Shard服务能力，日志服务会自动根据数据量增加Shard数量。更多信息，请参见 管理Shard。最大分裂数 打开 自动分裂Shard 开关后，最多支持自动分裂至256个readwrite...
释放Shard或ConfigServer节点连接地址
本文介绍如何释放Shard或ConfigServer节点的内网连接地址。前提条件 分片集群实例的协议类型为MongoDB。注意事项 云数据库MongoDB不支持释放Mongos节点的连接地址。释放Shard或ConfigServer节点的连接地址前，请妥善保管节点的 账户名 和 ...
通过函数计算消费日志数据
例如：您设置的函数计算触发器任务触发间隔为60秒，Logstore的Shard0一直有数据写入，那么Shard0每60秒就会触发一次函数执行（如果Shard没有新的数据写入则不会触发函数执行），函数执行的输入为最近60秒的Cursor区间。在函数内，可以根据...
get_check_point
请求语法 aliyunlog log get_check_point-project=<value>-logstore=<value>-consumer_group=[-shard=][-access-id=][-access-key=][-sts-token=][-region-endpoint=][-client-name=][-jmes-filter=][-format-output=][-decode-output=]...
简介
Shard 每个Logstore默认创建2个Shard，并开启自动分裂Shard功能，详情请参见 自动分裂Shard。日志存储时间 默认保存30天，支持修改保存时间。详细步骤请参见 管理Logstore。索引 默认为采集到的所有日志数据开启索引。如果没有查询分析和...
Python SDK
print("=")except Exception as e:print(traceback.format_exc())sys.exit(-1)数据发布/订阅 获取Shard列表 list_shards接口获取topic下的所有shard shard_result=dh.list_shard(project_name,topic_name)shards=shard_result.shards ...
CreateConsumerGroup
Shard分裂后，先消费原Shard数据，然后同时消费由该Shard分裂的Shard数据。Shard合并后，先消费原Shard数据，然后消费由原Shard合并后的新Shard数据。false：不按顺序消费。即所有Shard同时开始消费，Shard分裂或者合并后产生的新Shard，也...
CreateConsumerGroup-创建消费组
Shard 分裂后，先消费原 Shard 数据，然后同时消费由该 Shard 分裂的 Shard 数据。Shard 合并后，先消费原 Shard 数据，然后消费由原 Shard 合并后的新 Shard 数据。false：不按顺序消费。即所有 Shard 同时开始消费，Shard 分裂或者合并后...
UpdateConsumerGroup
Shard分裂后，先消费原Shard数据，然后同时消费由该Shard分裂的Shard数据。Shard合并后，先消费原Shard数据，然后消费由原Shard合并后的新Shard数据。false：不按顺序消费。即所有同时开始消费，Shard分裂或者合并后产生的新Shard，也会...
GetCheckPoint
调用GetCheckPoint接口获取指定消费组消费数据时Shard的Checkpoint。接口说明 请求语法中Host由Project名称和日志服务Endpoint构成，您需要在Host中指定Project。已创建并获取AccessKey。更多信息，请参见 访问密钥。阿里云账号AccessKey...
UpdateConsumerGroup-更新消费者组
Shard 分裂后，先消费原 Shard 数据，然后同时消费由该 Shard 分裂的 Shard 数据。Shard 合并后，先消费原 Shard 数据，然后消费由原 Shard 合并后的新 Shard 数据。false：不按顺序消费。即所有同时开始消费，Shard 分裂或者合并后产生的...
分布键Distribution Key
V2.1版本起支持的建表语法：设置a列为distribution key，系统会对a列的值做hash操作，再取模，即hash(a)%shard_count=shard_id，结果相同的一组数据分布在同一个Shard内 CREATE TABLE tbl(a int NOT NULL,b text NOT NULL)WITH...
单实例快速恢复
当出现1分钟容器响应超时（可能是内存溢出、硬件故障、软件Bug等原因导致），Resource Manager会自动拉起新的计算节点，并迁移数据分片（Shard）职责到新的节点上（例如Worker Node3响应超时，Resource Manager拉起Worker Node4取代Worker ...
2021年
Shard节点数量为3个及以上，支持释放Shard节点。2021-05-08 全部 释放实例或节点 2021年04月 功能名称 功能描述 发布时间 发布地域 相关文档 分片集群（包年包月）只读实例功能完善。MongoDB 3.4、4.0和4.2版本的分片集群（包年包月）只读...
分片集群实例设置主备切换
MongoDB分片集群实例的每个Shard节点都默认含有三个节点，当某个节点发生故障时，云数据库MongoDB的高可用系统会自动触发主备切换，保障整体的可用性。同时您也可以在日常容灾演练等场景中，手动触发云数据库MongoDB主备切换功能。主备切换...
分区
Logstore读写日志必定保存在某一个分区（Shard）上。每个日志库（Logstore）分若干个分区，每个分区由MD5左闭右开区间组成，每个区间范围不会相互覆盖，并且所有的区间的范围是MD5整个取值范围。Shard是每个Logstore下读写基本单元，每个...
get_end_cursor
调用CLI命令获取Logstore中Shard ID的结束游标。请求语法 aliyunlog log get_end_cursor-project_name=<value>-logstore_name=<value>-shard_id=[-access-id=][-access-key=][-sts-token=][-region-endpoint=][-client-name=][-jmes-filter...
普通消费
} try { while(true){/从每个Shard中获取日志 for(Shard shard:resp.GetShards()){ int shardId=shard.getShardId();PullLogsRequest request=new PullLogsRequest(project,logStore,shardId,1000,cursorMap.get(shardId));...
get_begin_cursor
调用CLI命令获取Logstore中Shard ID的开始游标。请求语法 aliyunlog log get_begin_cursor-project_name=<value>-logstore_name=<value>-shard_id=[-access-id=][-access-key=][-sts-token=][-region-endpoint=][-client-name=][-jmes-...
读写数据
读写数据 用户可以调用SDK方法进行读写数据状态为CLOSED和ACTIVE的shard都可以读取数据，不过只有状态为ACTIVE的shard可以写数据。同时用户可以引入datahub-client-library依赖，datahub-client-library是在Java-SDK读写功能的封装，用户...
alicloud_log_store
The shard attribute.id-The ID of the shard.status-Shard status,only two status of readwrite and readonly.begin_key-The begin value of the shard range(MD5),included in the shard range.end_key-The end value of the shard ...
ConsumerGroupUpdateCheckPoint
调用ConsumerGroupUpdateCheckPoint接口更新指定消费组消费数据时Shard的checkpoint。接口说明 当不指定消费者时，必须指定 forceSuccess 为 true 才能更新checkpoint。Host由Project名称和日志服务Endpoint构成，您需要在Host中指定...
如何清理孤立文档
如果 MongoDB 分片集群版实例中存在孤立文档，您在进行数据迁移或释放Shard节点任务时，可能会出现影响实例性能或产生报错等问题。因此，您在进行上述操作前需要先检查实例内是否存在孤立文档并对孤立文档进行清理。前提条件 服务器已安装...
OSS投递（新版）
写OSS 限制项 说明 并发实例 并发实例数量与Shard数量相同（包括读写Shard和只读Shard）。投递限制 通过每个Shard的投递大小控制OSS Object大小（以未压缩计算），取值范围为5~256 MB。每个Shard的投递周期取值范围为300～900秒。每个并发...
通用数据结构
Shard分裂后，先消费原Shard中数据，然后同时消费由该Shard分裂的Shard中数据。Shard合并后，先消费原Shard中数据，然后消费由原Shard合并后的新Shard中数据。false：不按顺序消费。即所有同时开始消费，Shard分裂或者合并后产生的新Shard...
GetCheckPoint-获取指定消费组的消费点
调用GetCheckPoint接口获取指定消费组消费数据时Shard的checkpoint。接口说明 请求语法中 Host 由 Project 名称和日志服务 Endpoint 构成，您需要在 Host 中指定 Project。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名...
为什么实时消费的速率未达到Shard的读写阈值上限？
实时消费的速率未达到Shard的读写阈值上限的可能原因如下：您所设置的加工规则逻辑较为复杂。通过数据加工进行跨地域传输数据时，依赖公网网络环境，可能因为公网网络问题影响消费速率。
GetCursor
Cursor与Project、Logstore、Shard的关系如下：Project下有多个Logstore。每个Logstore会有多个Shard。通过Shard可以获得指定时间的游标Cursor位置。已创建并获取AccessKey。更多信息，请参见 访问密钥。阿里云账号AccessKey拥有所有API的...
CreateShardTask
TaskType String 是 SINGLE_TO_SHARD 任务类型，取值范围为 SHARD_TO_SINGLE、SINGLE_TO_SHARD、SHARD_TO_SHARD。RegionId String 否 cn-hangzhou 地域ID。返回数据 名称 类型 示例值 描述 Data Boolean true 任务创建结果 RequestId ...
指标报警配置最佳实践
本文以配置集群shard数监控报警、节点个数监控报警和查询队列监控报警为例，为您介绍如何将指标报警配置应用到具体的业务中。集群shard数监控报警 Elasticsearch 7.x版本开始对单机分片数进行了限制，默认单机分片数不能超过1000。高级监控...
计算包
16 GB mdb.shard.2x.2xlarge.d 0.362 8核 32 GB mdb.shard.4x.2xlarge.d 0.481 8核 64 GB mdb.shard.8x.2xlarge.d 0.669 16核 32 GB mdb.shard.2x.4xlarge.d 0.720 16核 64 GB mdb.shard.4x.4xlarge.d 0.958 16核 128 GB mdb.shard.8x.4...
常见问题
创建索引时设置shard个数和replica个数 创建索引时设置shard个数和replica个数需要满足以下规则：单个shard的最大document条数不能超过int的最大值，大概21亿。否则就会因lucene底层循环复用int值而导致覆盖。对于replicationFactor副本数...
Flink消费
说明 Flink的子任务数量和日志服务Logstore中的Shard数量是独立的，如果Shard数量多于子任务数量，每个子任务不重复的消费Shard，如果少于子任务数量，那么部分子任务就会空闲，直到新的Shard产生。设置消费起始位置。Flink Log Consumer...
经济版实例
000 100,000 8 GB社区版 redis.shard.xlarge.y.ee 2 8 1 96 10,000 100,000 16 GB社区版 redis.shard.2xlarge.y.ee 2 16 1 96 10,000 100,000 24 GB社区版 redis.shard.3xlarge.y.ee 2 24 1 96 10,000 100,000 32 GB社区版 redis.shard.4...
CreateNodeBatch-批量创建节点
为云数据库MongoDB分片集群实例批量添加Mongos节点、Shard节点。接口说明 请确保在使用该接口前，已充分了解云数据库 MongoDB 产品的收费方式和 价格。该接口仅适用于云数据库 MongoDB 分片集群实例。调试 您可以在OpenAPI Explorer中直接...
优化查询
增加Shard数量 Shard表示计算资源，Shard越多，计算越快，您需要保证平均每个Shard扫描的数据不多于5000万条。您可以通过分裂Shard，增加Shard数量。具体操作，请参见 分裂Shard。注意 分裂Shard会产生更多费用，且只对新数据起到加速效果...
转换Log为Metric
自动分裂Shard 打开 自动分裂Shard 开关后，如果您写入的数据量超过已有Shard服务能力，日志服务会自动根据数据量增加Shard数量。更多信息，请参见 管理Shard。最大分裂数 打开 自动分裂shard 开关后，最多支持自动分裂至256个readwrite...
ValidateShardTask
Action=ValidateShardTask&DrdsInstanceId=drds23ds*&DbName=test&SourceTableName=buyer&TargetTableName=buyer_new&TaskType=SINGLE_TO_SHARD&<公共请求参数>正常返回示例 XML 格式<RequestId>0B6B7BDC-575D-4A77-A4F8-24B7EFAS45FG...
优化内部表的性能
当实例扩容后，扩容之前旧的DB对应的默认Shard数不会自动修改，需要根据实际情况修改Shard数，扩容后新建DB的Shard数为当前规格的默认数量。默认的Shard数是已经考虑扩容的场景，在资源扩容5倍以上的场景中，建议考虑重新设置Shard数，小于...
- 产品推荐
- 这些文档可能帮助您