EMR-3.42.x版本说明
ClickHouse 修复了读OSS大文件时内存溢出的问题。发行版本信息 DataLake集群 服务 版本 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.9 Spark2 2.4.8 Spark3 3.2.1 TEZ 0.10.1 Presto 389 DeltaLake 0.6.1 Hudi 0.11.1 Iceberg 0.13.1 JindoData 4.4.1 ...
常见问题
除此之外，还存在TaskManager堆内存大小有限或者作业代码存在内存泄露导致的内存溢出错误，例如 报错java.lang.OutOfMemoryError:GC overhead limit exceeded，该如何处理？解决方案 上述报错遇到该类报错时需要您调大内存或者分析作业内存...
MongoDB实例内存使用率高问题
解决内存使用的策略如下：控制并发连接数。根据性能测试结果，数据库中能够创建100个长连接，默认MongoDB Driver可以和后端建立100个连接池。当存在很多客户端时，就需要降低每个客户端的连接池大小，一般建议与整个数据库建立的长连接控制...
EMR-5.8.x版本说明
修复了读OSS大文件时内存溢出的问题。发行版本信息 DataLake集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.3 Spark2 2.4.8 Spark3 3.2.1 TEZ 0.10.1 Presto 389 DeltaLake 1.1.0 Hudi 0.11.1 Iceberg 0.13.1 JindoData 4.4.2 Kyuubi 1.5....
标准版-双副本
Redis进程Fork导致Copy-On-Write，Copy-On-Write导致主节点进程内存消耗，极端情况下造成主节点内存溢出，程序异常退出。Redis主节点生成备份文件导致服务器磁盘IO和CPU资源消耗。发送GB级别大小的备份文件，会导致服务器网络出口爆增，...
如何处理Tair集群数据倾斜
数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出（Key eviction）、内存溢出OOM（Out Of Memory）、实例响应时间上升等异常情况。为什么会产生数据倾斜 Tair 集群架构作为一个分布式系统，整个数据库空间会被分为...
开源Elasticsearch FAQ
出现内存溢出OOM（OutOfMemory）的错误，如何处理？如何手动对shard进行操作？Elasticsearch的缓存清除策略有哪些？如何重新分配索引分片（reroute）？索引查询时，提示statusCode:500的错误，如何处理？如何修改自动创建索引auto_create_...
作业智能诊断
作业运行状态检查 作业的TaskManager发生内存溢出，导致作业Failover，请检查作业配置，尝试调大TaskManager内存。停止 停止速度分析 由于产品老版本过低的隐患，因此停止作业会比较慢。如果出现作业停止比较慢的情况，请通过手动重启...
Windows系统实例的宕机问题排查
当Windows操作系统的ECS实例在运行过程中出现内核panic、内存溢出OOM（Out Of Memory）、蓝屏卡死等问题或收到系统事件通知实例出现操作系统崩溃时，说明该ECS实例发生宕机，您可以通过自助诊断工具或系统事件来定位原因并解决。...
Memcg OOM优先级策略功能
Alibaba Cloud Linux 2（内核版本 4.19.91-18.al7 开始）和Alibaba Cloud Linux 3（内核版本 5.10.60-9.al8 开始）新增内存子系统（memcg）内存溢出OOM（Out Of Memory）优先级策略功能。本文主要介绍实现memcg OOM优先级策略功能的接口，...
标准架构
Redis进程Fork导致Copy-On-Write，Copy-On-Write导致主节点进程内存消耗，极端情况下造成主节点内存溢出，程序异常退出。Redis主节点生成备份文件导致服务器磁盘IO和CPU资源消耗。发送GB级别大小的备份文件，会导致服务器网络出口爆增，...
排查Redis实例内存使用率高的问题
当执行客户端Range类操作或大Key收发较慢时，Input buff与Output buff占用的内存会增大，从而影响数据区，甚至会造成内存溢出OOM（Out Of Memory）。数据内存 用户数据区，即实际存储的Value信息，通常作为重点分析的对象。管理内存（静态...
如何处理Redis集群数据倾斜
数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出（Key eviction）、内存溢出OOM（Out Of Memory）、实例响应时间上升等异常情况。为什么会产生数据倾斜 Redis 集群架构作为一个分布式系统，整个数据库空间会被分为...
JVM内存不足
当您遇到JVM内存不足的问题时，请按本文提供的方法尝试解决。错误信息 java.lang.OutOfMemoryError 解决方案 设置内存大小，具体方案请在互联网中搜索 JVM内存设置。
V5.1.x系列实例版本说明
修复数字类型的列错传了一个含有非常大的科学计数法数据的子字符串导致内存溢出的问题。修复了唯一序列相关的几个问题。修复了含有GROUP BY函数的子查询报错的问题。修复VARBINARY类型的列在系统编码是GBK的情况下，取数据的结果会和数据库...
SET
某些UDF在内存计算、排序的数据量比较大时，会报内存溢出错误，这时候可以调大该参数，但该方法只能暂时缓解，您需要从业务上去优化UDF代码。取值范围：256 MB~12288 MB。默认值为1024 MB。odps.sql.udf.timeout 设置UDF超时时间。取值范围...
DQL操作常见问题
说明 海量数据的全排序，对性能的影响非常大，而且很容易造成内存溢出问题，请尽量避免执行该操作。MaxCompute是否支持ORDER BY FIELD NULLS LAST语法？MaxCompute不支持此语法。MaxCompute支持的语法请参见 与其他SQL语法的差异。执行...
Logstash数据写入问题排查方案
参见 集群监控 章节，检查节点内存是否溢出OOM（Out Of Memory）。内存OOM，节点未拉起。在控制台重启对应节点。检查源端或目标端是否存在负载问题。Elasticsearch集群不健康，影响写入。暂停写入，优先恢复集群健康，建议扩容。管道正常...
避免下盘
常见算子下盘场景及解决方法 查询内存太小导致的算子下盘 通过观察执行计划发现，算子需要的内存并不大，只有几K或几M，但还是发生了算子下盘。这种情况往往是查询能够使用的内存调小导致的，原因可能是受到了 resource group 或 resource ...
Logview诊断实践
比如：某些UDF在内存计算、排序的数据量比较大时，会报内存溢出错误。内存不足引起gc频率过高。这时可以尝试调整内存参数，不过此方法只能暂时缓解，具体的优化还是需要从业务上去处理。示例如下：set odps.sql.udf.jvm.memory=-设定UDF ...
EventHandle
解决问题 理解内存泄漏产生的原因后，要解决这个问题就比较简单了，一种通用的解决办法是在 error 侦听操作放入 client 的初始化里面：module.exports=app=>{ class HomeController extends app.Controller {*demo(){ if(ENV=DEVELOPMENT){...
Tair小版本发布日志
为提升用户体验，云原生内存数据库Tair 会不定期地发布小版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Tair小版本的更新说明。查询或升级实例的小版本 您可以通过控制台查看当前的小版本，具体操作及升级小版本的其注意事项...
Spark作业异常排查及处理
其他Spark Driver OOM内存不足场景 您可以按照以下方案解决：在EMR控制台中Spark服务的配置页面，调大 spark.driver.memory 的值。查看是否有collect等把数据拉取到driver的操作，如果collect的数据比较大，建议使用foreachPartitions在...
AliSQL内核小版本发布记录
通过强制清理认证信息，可以解决高业务压力、高延迟场景下的周期性性能抖动、内存占用高和新节点加入集群时性能跌零的问题。当MGR的主动选主命令发起后，如果有事务的执行时间超出了SQL语句中配置的超时时间，该事务会被强制回滚，防止阻塞...
常见问题
本文介绍E-MapReduce Druid使用过程中遇到的一些常见问题以及解决方法。索引失败问题分析思路 当发现索引失败时，一般遵循如下排错思路：对于批量索引 如果curl直接返回错误，或者不返回，检查一下输入文件格式。或者curl加上-v 参数，观察...
实例启动异常常见错误与对应解决方案
针对实例启动过程中因操作系统内配置异常、异常关机等问题导致操作系统无法正常启动的情况，您可以通过VNC登录实例发现的启动异常或者实例健康诊断工具返回的异常字段，在本文查看此类问题的解决方案。Windows 1662001135：Windows系统因...
Linux服务器内存消耗过高
问题描述 Linux服务器的内存持续消耗过高，重启后可以恢复正常，但业务运行后问题依旧存在，而且没有明显高消耗内存进程存在。问题原因 slab消耗内存过多。解决方案 登录问题Linux服务器。执行free和top命令确认不存在占用大量内存的进程。...
新功能发布记录
2022-08-09 全部 内存型 持久内存型 磁盘型 2022年7月 变更项 说明 发布时间 发布地域 相关文档 发布新功能 Tair（Redis企业版）持久内存型集群架构支持升级小版本。2022-07-29 全部 升级小版本与代理版本 发布新功能 云数据库Redis版 支持...
Hive服务异常排查及处理
本文介绍Hive服务异常的排查方法和解决方案。异常排查 如果客户端遇到异常或性能等问题，您可以按照如下步骤进行排查：排查异常时间段机器CPU、内存、网络以及磁盘是否有异常。排查组件是否正常：检查访问集群的Hive组件中 HiveMetaStore ...
云数据库ClickHouse执行查询任务时提示“Memory limit...
问题描述 阿里云云数据库ClickHouse执行查询任务时，实例内存升高，提示类似以下错误：Memory limit(for query)exceeded Memory limit(for total)exceeded 问题原因 实例内存升高的原因如下：查询内存占用过多 实例总内存使用超限 解决方案...
实时同步任务延迟解决方案
同步解决方案任务，您可以在 运行资源设置 步骤中设置内存。确认源端数据是否有倾斜或者是否需要扩展分区或shard的数量 对于源端是Kafka、DataHub和Loghub三种类型的实时同步任务，如果根据上述步骤未发现异常或Failover，则需要检查源端...
SDK相关FAQ
本文为您介绍了号码认证服务的不同功能下使用SDK的常见问题及解决方法。一键登录和本机号码校验相关FAQ 问题概览 首次取号时，App网络通信正常，但号码认证一直失败的原因？checkEnvAvailable函数返回false？Android双卡手机一键登录过程中...
备份占用过多磁盘和内存空间解决方案
本文介绍备份占用过多磁盘和内存空间的解决方案。占用过多磁盘空间解决方案 问题现象 防勒索备份任务占用服务器的磁盘空间过大。问题原因 正常情况下，防勒索备份占用服务器的磁盘空间为临时占用，待备份数据上传到云端后，服务器上的备份...
漏洞修复失败原因排查
解决方案 查看主机当前内存、CPU的使用情况，在内存、CPU等正常的情况下再进行修复。ErrorCode：132 ErrorMessage exit code:0x80240017 可能原因 存在正在安装中的补丁。存在已安装需重启生效的补丁。解决方案 检查系统是否存在上述未安装...
变更实例配置
云原生内存数据库Tair 支持变更实例的配置，包括扩容或缩容内存规格、变更实例架构，以满足不同的性能和容量需求。费用说明 按量付费实例，按变更后的规格计费。包年包月实例，根据升配或降配，支付或退还差价。变配的计费规格和降配退费的...
诊断项与诊断结果说明
实例健康诊断功能是一种自助诊断方式，可以对实例的系统状态、网络状态、磁盘状态等进行全方位的诊断，帮助您了解实例健康情况，及时发现并解决常见的问题。本文介绍该功能支持的诊断项，并提供了详细的诊断范围及建议操作供您参考。诊断项...
Operator
新风险及解决方案 在上述应对策略下，会出现新的风险，蚂蚁也提出了对应的解决方案，说明如下：风险：Sidecar 与应用“共享”分配到的内存资源，导致在异常情况（比如内存泄露）下，Sidecar 跟应用抢内存资源。解决方案：通过扩展 Pod Spec...
测试分析及调优
Memory 操作系统为了最大化利用内存，一般都设置大量的Cache，因此，内存利用率高达99%并不是问题，内存的问题主要看某个进程占用的内存是否非常大以及是否有大量的Swap（虚拟内存交换）。磁盘I/O 磁盘I/O一个最显著的指标是繁忙率，可以...
调优集群性能
CPU使用率倾斜严重（例如1倍以上），会较大地影响集群运行的稳定性，并且会导致资源浪费，因为分布式的查询子任务受到了CPU最大使用率的限制，而无法进一步的提升性能，只能升配解决，但是其他节点的CPU使用率并不高。导致CPU使用率倾斜...
Co、递归调用
前言 我们知道，同步的递归写法，如果在退出递归条件失效时，会快速因为栈溢出导致进程挂掉。而在某些场景下，我们会采用异步的递归写法来规避这个问题：async function recursive(){ if(active)return;do something await recursive();} ...
- 产品推荐
- 这些文档可能帮助您