配置跨库Spark SQL节点
系统在计算数据量过大且缺失主键的表时，会导致内存溢出或内存耗尽（OOM）。周期调度节点最近一次运行成功后，若连续运行失败10次及以上，离线集成任务直接执行失败，且不会再提交Spark任务。此时，您需要手动运行成功该任务节点。应用场景...
BITWISE_OR_AGG
在同一条SQL语句中同时使用多个聚合函数时，如果项目资源不足，会出现内存溢出问题，请您根据实际业务情况优化SQL或购买计算资源。命令格式 bigint bitwise_or_agg(bigint value)参数说明 value：必填。BIGINT类型的值，NULL值不参与计算。...
BITWISE_AND_AGG
在同一条SQL语句中同时使用多个聚合函数时，如果项目资源不足，会出现内存溢出问题，请您根据实际业务情况优化SQL或购买计算资源。命令格式 bigint bitwise_and_agg(bigint value)参数说明 value：必填。BIGINT类型的值，NULL值不参与计算...
ModifyResubmitConfig-修改作业投递规则
300 ExceedMemoryException boolean 否 是否配置内存溢出异常。false TargetGroupName string 否 目标资源组名称。test_target_group 返回参数 名称 类型 描述 示例值 object Schema of Response RequestId string 请求 ID。1AD222E9-E606-...
HISTOGRAM
在同一条SQL语句中同时使用多个聚合函数时，如果项目资源不足，会出现内存溢出问题，请您根据实际业务情况优化SQL或购买计算资源。命令格式 map,bigint>histogram(K input);参数说明 input：输入字段，将作为Map的Key。返回值说明 返回构造...
2021年
2021-12-15 智能压测 Redis 自动增加分片 帮助Redis数据库实例快速弹性适配可用内存不足的情况，确保实例内存利用率处于安全水位，帮助您规避Redis内存溢出的风险，可有效保障线上业务稳定性。2021-12-03 自动增加分片 2021年11月 引擎 ...
2023-06-21版本
管理MaxCompute Catalog 重要缺陷修复 修复MySQL CDC连接器结合CTAS、CDAS语句消费源表数据时，出现的内存溢出问题。修复使用Hologres连接器作为维表时的空指针异常问题。修复使用Hologres连接器作为源表时的内存溢出问题。
可观测性能力
相比开源工具redis-rdb-tool的解析速度，离线全量Key分析 在大小Key混合（占比1：9）的场景下实现4倍速度提升，在中大Key场景下实现20倍速度提升，同时保证进程内存占用固定维持在1 GB以内，避免大Key解析可能带来内存溢出的问题。...
自动增加分片
当Redis数据库实例数据规模增大、读写流量暴增时，通过自动增加分片功能，可以快速弹性适配可用内存不足的情况，确保实例内存利用率处于安全水位，帮助您规避Redis内存溢出的风险，可有效保障线上业务稳定性。本文介绍开启Redis自动增加分...
EMR-5.8.x版本说明
修复了读OSS大文件时内存溢出的问题。发行版本信息 DataLake集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.3 Spark2 2.4.8 Spark3 3.2.1 TEZ 0.10.1 Presto 389 DeltaLake 1.1.0 Hudi 0.11.1 Iceberg 0.13.1 JindoData 4.4.2 Kyuubi 1.5....
MapReduce常见问题
内存溢出通常是由于内存不足导致的，可以通过调整JVM内存参数（odps.stage.mapper.jvm.mem和odps.stage.reducer.jvm.mem）解决。例如 set odps.stage.mapper.jvm.mem=2048 将内存调整为2 GB。执行MaxCompute MapReduce时，开启了600个...
自治服务（CloudDBA）
开启自动扩容 当内存平均使用率达到阈值后会自动升级Redis实例的规格，帮助您快速弹性适配业务高峰，避免内存溢出的风险，有效保障线上业务稳定性。基于预测自动弹性伸缩 以实例过去10天的历史数据，预测实例未来24小时性能指标的使用值；...
可观测性能力介绍
相比开源工具redis-rdb-tool的解析速度，离线全量Key分析 在大小Key混合（占比1：9）的场景下实现4倍速度提升，在中大Key场景下实现20倍速度提升，同时保证进程内存占用固定维持在1 GB以内，避免大Key解析可能带来内存溢出的问题。...
标准版-双副本
Redis进程Fork导致Copy-On-Write，Copy-On-Write导致主节点进程内存消耗，极端情况下造成主节点内存溢出，程序异常退出。Redis主节点生成备份文件导致服务器磁盘IO和CPU资源消耗。发送GB级别大小的备份文件，会导致服务器网络出口爆增，...
配置Java启动参数
工具 设置GC日志文件的 日志目录、文件个数 和 文件大小，以及内存溢出时的 Dump路径。服务注册和发现配置 当您想使用自建Nacos注册中心时，可以勾选该配置项。当未选中此选项时，将自动替换解析为EDAS共享版注册中心。自定义 当上述配置...
同步时源库为Redis的注意事项及限制
若目标实例的架构类型为集群版且某一个分片达到了内存上限，或目标实例的存储空间不足时，DTS任务会因内存溢出（Out of Memory）而失败。若目标数据库内存不足，触发数据逐出时，由于 云数据库Redis版 的默认数据逐出策略（maxmemory-...
日志字段详情
false 是 errorType 函数错误类型，包含以下三种：FunctionOOMError：内存溢出。FunctionTimeoutError：执行时间超限。FunctionUnhandledError：未捕获的其他异常。FunctionUnhandledError 否。仅在函数执行出现错误即 hasFunctionError:...
MongoDB实例内存使用率高问题
在连接数合适的情况下内存占用持续增高，建议升级内存配置，避免可能存在内存溢出和大量清除缓存而导致系统性能急剧下滑。加速tcmalloc释放内存。可以在控制台的参数设置中调整setParameter.tcmallocReleaseRate参数，参数取值为1~10，数值...
查看调度资源大盘
此外，针对资源利用率较低可能造成资源浪费、或利用率过高可能产生内存溢出等风险的任务，通过待优化任务列表进行展示，便于您及时发现并处理，增强平台稳定性并减少资源成本消耗。资源大盘共有三个模块（资源分配、资源消耗和建议优化任务...
Serverless Computing概述
适用场景 Serverless Computing功能的适用场景如下：适用于大SQL作业频繁出现OOM（Out of Memory，内存溢出）报错，期望提升作业成功率和实例稳定性的场景。场景示例：当前独享实例规格较小，独享计算资源量较少，大数据量导入或大数据量...
外部表常见问题
在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出，如何解决？通过外部表处理OSS数据时，报错Inline data exceeds the maximun allowed size，如何解决？如何在MaxCompute中使用OSS外部表读取JSON数据？如何通过OSS...
使用慢查询隔离池
在使用Elasticsearch进行查询时，您可能经常遇到这种问题：向集群发送了一条慢查询，占满了所有的节点资源，导致CPU占满或者内存溢出，影响线上业务。针对这类问题，阿里云Elasticsearch开发了慢查询隔离池功能，实现对单条查询请求进行...
PRESTO指标
QueriesKilledDueToOutOfMemory presto_ClusterMemoryManager_QueriesKilledDueToOutOfMemory 内存溢出杀死的查询总数。Blocked Nodes presto_ClusterMemoryPool_name_general_BlockedNodes 集群block节点数。ClusterMemoryPool ...
开启自动扩容
数据库自治服务DAS（Database Autonomy Service）提供Redis自动扩容功能，当内存平均使用率达到阈值后会自动升级Redis实例的规格，帮助您快速弹性适配业务高峰，避免内存溢出的风险，有效保障线上业务稳定性。前提条件 实例为：云数据库...
标准架构
Redis进程Fork导致Copy-On-Write，Copy-On-Write导致主节点进程内存消耗，极端情况下造成主节点内存溢出，程序异常退出。Redis主节点生成备份文件导致服务器磁盘IO和CPU资源消耗。发送GB级别大小的备份文件，会导致服务器网络出口爆增，...
开启自动扩容
云数据库Redis集成了数据库自治服务DAS（Database Autonomy Service）的自动扩容功能，当内存平均使用率达到阈值后会自动升级Redis实例的规格，帮助您快速弹性适配业务高峰，避免内存溢出的风险，有效保障线上业务稳定性。前提条件 Redis...
Spark作业异常排查及处理
内存问题引起的报错 Container killed by YARN for exceeding memory limits 报错原因：提交App时申请的内存量较低，但JVM启动占用了更多的内存，超过了自身的申请量，导致被YARN NodeManager异常终止。特别是Spark类型作业，可能会占用多...
V5.1.x系列实例版本说明
修复数字类型的列错传了一个含有非常大的科学计数法数据的子字符串导致内存溢出的问题。修复了唯一序列相关的几个问题。修复了含有GROUP BY函数的子查询报错的问题。修复VARBINARY类型的列在系统编码是GBK的情况下，取数据的结果会和数据库...
在TairSearch中使用Msearch实现索引分片搜索
一个Key通常对应一个Schema（元数据，由 mappings 和 settings 组成），若单个Key添加了过多文档，则会使该Key成为大Key（BigKey），严重时会因该Key占用的内存超过单节点的内存限制而导致内存溢出（Out Of Memory）。当单节点架构的缓存...
版本特性
父熔断器以当前真实可用内存为基准（indices.breaker.total.use_real_memory），默认为JVM堆内存的95%，以最大内存可用率来避免内存溢出。详细信息，请参见 Circuit Breaker。废除_all 字段的支持，提升检索性能。新增间隔查询（Intervals ...
Redis实例间的单向数据同步
若目标实例内存空间不足，或目标实例为集群架构且某分片达到了内存上限，DTS任务会因内存溢出（Out of Memory）而失败。若目标实例已开启透明数据加密TDE功能，则暂不支持通过DTS迁移数据。为什么数据量不一致？若源库中的某些Key使用了...
Linux实例系统总体负载的查询及分析
检查服务器进程与服务否占用过多内存，或者内存没有正常释放，导致出现内存溢出，系统宕机。检查/var/spool/cron 等系统配置中是否有cron（计划任务）在对应时间段内执行。检查Web服务器的参数是否超过了服务器的性能，比如最大连接数过...
查看监控信息
诊断视图使用指南 内存OOM诊断 通过 内存OOM诊断 视图提供的监控指标，分析处理内存OOM（Out of Memory）问题。Memory Usage：InnoDB Buffer Pool使用率不变，内存使用率长时间（例如超过7天）缓慢持续上涨时，可能是内存泄露导致。内存...
发现并处理大Key和热Key
Tair 内存达到 maxmemory 参数定义的上限引发操作阻塞或重要的Key被逐出，甚至引发内存溢出（Out Of Memory）。集群架构下，某个数据分片的内存使用率远超其他数据分片，无法使数据分片的内存资源达到均衡。对大Key执行读请求，会使 Tair ...
使用Logview 2.0查看作业运行信息
例如以下场景的作业问题可借助Fuxi Sensor进行分析：作业内存溢出时，分析实际使用的内存量。例如，您可以通过Fuxi Sensor查看机器学习作业Fuxi Instance的以下资源使用情况：CPU使用量 CPU指标包括两条线，一条显示申请的CPU量（cpu_plan...
变更实例配置
自动扩容实例配置 云数据库Redis集成了 DAS 的自动扩容功能，当内存平均使用率达到阈值后会自动升级Redis实例的规格，帮助您快速弹性适配业务高峰，避免内存溢出的风险，有效保障线上业务稳定性。具体操作，请参见 开启自动扩容。说明 自动...
发现并处理Redis的大Key和热Key
Redis内存达到 maxmemory 参数定义的上限引发操作阻塞或重要的Key被逐出，甚至引发内存溢出（Out Of Memory）。集群架构下，某个数据分片的内存使用率远超其他数据分片，无法使数据分片的内存资源达到均衡。对大Key执行读请求，会使Redis...
Dataphin中即席查询报错“Java heap space”
问题描述 Dataphin中即席查询报错“Java heap space”。问题原因 因为没有指定limit，查询的数据量太大了，导致内存oom了。解决方案 在即席查询SQL中指定limit。适用于 Dataphin
SET
根据前面的计算方法，值设的过大有可能导致OOM（Out Of Memory）内存溢出。单位Byte，默认值为67108864 Byte。odps.task.quota.preference.tag 指定作业的Quota组（即MaxCompute管家中的配额组）。使用包年包月资源的项目空间可以通过该...
Bloom
为防止TairBloom越来越大，甚至导致Redis内存溢出（Out Of Memory），向您提供如下使用建议。拆分业务数据：拆分、细化业务数据，避免将大量数据存入一个TairBloom中，这样不仅会导致这个key过大，影响查询性能，同时也会由于这个key中插入...
- 产品推荐
- 这些文档可能帮助您