高性能
Master调度优化，支持调度更多分片数，调度性能提升10倍 提升日志场景的写入性能：在日志场景下，海量数据的高并发写入为Elasticsearch集群带来了明显的性能瓶颈和成本压力。阿里云Elasticsearch提供的Indexing Service索引构建服务，通过...
PolarDB MySQL版5.6版本性能（集群版）
独享规格 主节点+单只读节点 各规格只读性能测试结果 各规格写入性能测试结果 各规格混合读写性能测试结果 主节点+多只读节点 只读性能测试结果 说明 上图显示的是使用集群连接地址测试的只读QPS结果。上述测试中未指定 range_selects 参数...
PolarDB MySQL版5.7版本性能（集群版）
独享规格 主节点+单只读节点 各规格只读性能测试结果 各规格写入性能测试结果 各规格混合读写性能测试结果 主节点+多只读节点 只读性能测试结果 说明 上图显示的是使用集群连接地址测试的只读QPS结果。上述测试中未指定 range_selects 参数...
2022-08-18版本
文件系统结果表 性能优化 特性 详情 文档 优化MaxCompute写入性能 提供Tunnel Writer缓冲区Flush的线程数和Tunnel Writer缓冲区Flush的大小的设置参数，您可以通过设置该参数提升MaxCompute的写入性能。MaxCompute结果表 缺陷修复 修复...
写入或更新调优指南
基本原理 在了解写入或更新的调优手段前，先了解基本的原理，以帮助业务在使用过程中，对不同写入模式的写入性能有着更加合理的预估。不同表存储格式的写入或更新性能。全列写入或更新时，性能排序如下。行存>列存>行列共存。部分列写入或...
TairVector性能白皮书
HNSW索引 写入性能 以下为 ef_construct=500 时，不同M参数取值下的写入性能，可以得出：M值越大，HNSW索引的写入性能越差。相比较FLOAT32，FLOAT16数据类型的写入性能在多数情况下会有所下降，但是下降幅度不大，二者表现非常接近。开启...
数据同步链路规格说明
使用DTS可实现数据秒级同步到目标实例，但受限于源实例的运行负载、传输网络的带宽、网络延时、目标实例写入性能等多种因素的影响，DTS同步任务会出现延迟增大的情况，无法绝对保证秒级延迟。名词解释 规格：数据传输服务为用户提供了不同...
PolarDB MySQL版8.0.2版本性能（集群版）
本文介绍 PolarDB MySQL版 8.0.2版本 集群版 的OLTP负载性能测试结果。PolarDB MySQL版 8.0.2版本优化增强了并行查询和Hash Join...通用规格 主节点+单只读节点 各规格只读性能测试结果 各规格写入性能测试结果 各规格混合读写性能测试结果
使用bulk聚合插件（faster-bulk）
测试结果 translog状态 写入性能（原生集群，未使用faster-bulk插件）写入性能（阿里云集群，使用faster-bulk插件）性能提升 同步状态 182314/s 226242/s 23%异步状态 218732/s 241060/s 10%结论 由实验数据对比可得，使用faster-bulk插件...
PolarDB MySQL版8.0.1版本性能（集群版）
各规格写入性能测试结果 各规格混合读写性能测试结果 主节点+多只读节点 只读性能测试结果 说明 上图显示的是使用集群连接地址测试的只读QPS结果。上述测试中未指定 range_selects 参数，即默认开启了所有范围的查询。上述测试的集群规格为...
内核版本发布记录
在完全兼容开源Elasticsearch（ES）内核的所有特性基础上，阿里云ES在监控指标多样化、线程池、熔断策略优化、查询与写入性能优化等诸多方面，深度定制了AliES内核引擎。基于阿里云Elasticsearch团队在多种应用场景下所积累的丰富经验，...
shard
readwrite 状态的 Shard 可保证数据写入性能，readonly 状态的 Shard 不提供数据写入服务。取值包括：readwrite（读写）readonly（只读）readwrite inclusiveBeginKey string Shard 起始的 Key 值，在 Shard MD5 范围中包含该值。...
共享弹性存储系列介绍
适用场景 日志分析场景 具有写入吞吐量高、数据存储量大的特点，使用日志增强版共享弹性存储实例能成倍提升写入性能，降低了一倍的存储成本。高并发查询场景 对稳定性要求高，当高峰流量远高于低峰时，会有弹性扩缩副本的需求。使用日志...
数据传输规格说明
但是受限于源端实例的运行负载、传输网络的带宽、网络延时和目标端实例写入性能等多种因素的影响，迁移或同步项目会出现延迟增大的情况，无法绝对保证秒级延迟。名词解释 规格：OceanBase 数据传输服务为用户提供了不同性能的规格，以同步...
Beam概述
高吞吐批量导入 当您使用 COPY 或 INSERT INTO SELECT 等批处理方式写入数据时，则会直接写入到列存Base部分，以达到更高的吞吐，获得更高的写入性能。高性能AP查询 Beam引擎使用了多种方式来优化查询的性能，包括：列裁剪技术 支持多种...
写入优化建议
高效写入数据 可以通过批量打包的方式来提高写入性能，类似：insert/replace into table values(1,A),(2,B),(3,C)，.要点如下：建议每个batch大于1000行。单batch也不要超过16MB的限制。批量打包写入的延时会比单条写入的延时高，可能会到...
实时物化视图
例如，当某张10亿数据量的事实表JOIN一张1万数据量的维度表的实时物化视图中，10亿级的事实大表通常可以获得很高的写入性能，而1万数据量的较小维度表的数据变化由于增量计算时对结果集的影响存在放大，写入性能会成比例（写入放大的比例）...
使用apack插件的物理复制功能
物理复制功能适用于索引有副本、写入数据量大、对数据写入后可见性延迟要求不高的场景，例如日志场景、时序分析场景等，可以大幅度降低CPU开销，提升写入性能。前提条件 创建阿里云Elasticsearch实例，版本为6.7.0且内核版本为1.2.0及以上...
OSS
medium","spark.executor.resourceSpec":"medium","spark.executor.instances":2,"spark.dla.connectors":"oss","spark.sql.hive.dla.metastoreV2.enable":"true"} } OSS Connector数据写入性能优化 OSS Connector数据写入性能优化功能是...
使用写入高可用特性
数据缓冲后将进行批量发送，避免小批次数据频繁写入集群，从而提升了CPU使用率和写入性能。数据回放：当集群丢失部分数据时，可通过数据回放恢复丢失的数据。流量控制：限制数据流量，避免在异常情况下，过大的流量导致集群服务不可用。...
常见问题
分片数对查询或写入性能的影响，请参见 分片数量对查询和写入性能有什么影响？如果单表数据量超过10亿，或查询RT和查询QPS无法满足要求时可以通过创建分区索引来解决相关问题。分区索引需要关注的内容，请参见 分区索引的适用场景和不适用...
Indexing Service系列介绍
架构 此架构具备如下优势：高性能：专业级写入优化，Indexing Service索引构建服务通过索引物理复制、计算存储分离、faster-bulk等阿里云自研特性优化写入性能，您无需做任何配置变更即可享受专业级写入性能。低延迟：跨集群实时物理复制，...
通过导入实现列更新
为进一步优化写入性能，推荐 开启行存，开启行存将能够大大减少补齐数据时产生的IOPS，导入性能提升明显，可以在建表时通过如下属性（property）来开启行存。store_row_column"="true"Aggregate模型 Aggregate模型的表主要在预聚合场景...
索引数据可见性
一般不建议配置较小的时间，这会导致服务端频繁刷新和open searcher，影响写入性能。采用默认值即可。如何生效 下载需要修改的配置集。修改 soft commit 和 hard commit 的时间。更新配置集。solr zk upconfig-d conf/-n myconf Reload ...
数据写入方式概述
其中INSERT语句和COPY命令的写入数据均通过Master节点，INSERT语句每秒支持3 MB的数据写入量，COPY命令的写入性能快于INSERT，可以达到每秒30 MB。OSS外表为各个数据分区(Segment)并行读取，单分区从OSS加载的能力即可达到30 MB，整体加载...
INSERT OVERWRITE SELECT
为保证单任务写入性能，防止集群负载过高，集群写入任务并发数默认为2，不建议调整。说明 如有需要调整写入并发数，请 提交工单 联系技术支持，由技术支持评估调整。特点与应用场景 INSERT OVERWRITE SELECT 的特点如下：资源消耗大：高...
自增序列Serial（Beta）
同时如果SQL符合Fixed Plan特征，可以开启如下GUC参数，使Serial字段可以走Fixed Plan实现更高的写入性能，详情请参见 Fixed Plan加速SQL执行。数据库级别开启GUC,支持含有Serial类型列的Fixed Plan写入 alter database<user_db>set hg_...
实时物化视图
实时更新物化视图对基表写入性能的影响程度受实时物化视图定义、基表写入负载、基表结构和基表索引等因素的影响，建议您在生产环境创建实时物化视图前，在测试环境测试带有实时物化视图的基表的写入性能，确认写入性能满足要求的情况下再在...
实时物化视图
实时更新物化视图对基表写入性能的影响程度受实时物化视图定义、基表写入负载、基表结构和基表索引等因素的影响，建议您在生产环境创建实时物化视图前，在测试环境测试带有实时物化视图的基表的写入性能，确认写入性能满足要求的情况下再在...
实时物化视图
实时更新物化视图对基表写入性能的影响程度受实时物化视图定义、基表写入负载、基表结构和基表索引等因素的影响，建议您在生产环境创建实时物化视图前，在测试环境测试带有实时物化视图的基表的写入性能，确认写入性能满足要求的情况下再在...
创建同步ADS
4）ADS的写入性能直接影响同步的性能，若ADS实例性能过低，可能导致DataHub同步较慢，数据堆积，严重情况可能因为同步延迟超过生命周期从而丢失数据。创建同步任务 依次进入 项目列表/Project详情/Topic详情 页面 点击右上角的+同步 按钮...
索引数据可见性
一般不建议配置较小的时间，这会导致服务端频繁刷新和open searcher，影响写入性能。采用默认值即可。如何生效 下载需要修改的配置集，请参见 更新配置集。修改 soft commit 和 hard commit 的时间。更新配置集。solr zk upconfig-d conf/-...
数据迁移链路规格说明
使用DTS可实现数据秒级增量迁移到目标实例，但受限于源实例的运行负载、传输网络的带宽、网络延时、目标实例写入性能等多种因素的影响，DTS增量迁移任务会出现延迟增大的情况，无法绝对保证秒级延迟。名词解释 名词 说明 规格 数据传输为...
典型使用场景
AnalyticDB PostgreSQL版 通过攒批覆盖写特性和近线性的水平扩展能力，集群整体实时写入性能可达百万级TPS。批量加载 批量加载的具体操作包括“copy from CSV文件”,“insert into select from OSS/HDFS/MaxCompute外表”。其中copy操作单...
实时物化视图
实时更新物化视图对基表写入性能的影响程度受实时物化视图定义、基表写入负载、基表结构和基表索引等因素的影响，建议您在生产环境创建实时物化视图前，在测试环境测试带有实时物化视图的基表的写入性能，确认写入性能满足要求的情况下再在...
部分参数默认值调整说明
取值如下：replica（默认）：表示WAL中不包含逻辑解码所需的信息，会降低WAL写入量，从而可以提升数据库写入性能。logical：表示业务中涉及逻辑复制功能，即WAL中包含逻辑复制所需的信息，会增加WAL写入量。警告 修改该参数会导致数据库...
数据变更最佳实践
向表中写入数据时，可以通过批量打包方式INSERT和REPLACE INTO提高数据写入性能。建议如下：通过每条INSERT或者REPLACE语句写入的数据行数大于1000行，但写入的总数据量不宜太大，不超过16MB。通过批量打包方式写入数据时，单个批次的写入...
测试模型
建议您在组织BatchWriteRow请求时，按数据的分区键进行聚合，可以减少每次BatchWriteRow的写磁盘数量，有效提高写入性能。随机读和随机范围读两个测试用例由于在测试时无写入压力，故其cache命中率会随测试时间逐渐升高。对于低压力的场景...
如何解决增量迁移延迟或同步延迟
原因2：目标实例规格受限：目标库实例的写入性能已达到瓶颈。以目标实例为RDS MySQL为例，您可以在RDS控制台的 监控与报警 页面查看实例的CPU、内存、I/O等资源负载情况，并对照相应的实例规格，确认是否达到实例规格的限制。查看方式，请...
分区（Shard）
readwrite状态的Shard可保证数据写入性能，readonly状态的Shard不提供数据写入服务。分裂与合并 日志服务支持分裂和合并Shard。分裂操作是指将一个Shard分裂为另外两个Shard，即分裂后Shard数量增加2。两个新生成的Shard的状态为readwrite...
- 产品推荐
- 这些文档可能帮助您