使用Logview 2.0查看作业运行信息
内存详情 RSS内存使用量 PageCache内存使用量 Result Result 页签显示的内容有如下两种情况：当前作业运行成功，显示的为运行结果。您可以使用如下面命令选择关闭显示运行结果。setproject odps.forbid.fetch.result.by.bearertoken=true;...
Quick BI中通过SDK代码调用API接口报错“java.lang....
问题描述 通过SDK代码调用Quick BI提供的API接口报错：“java.lang....问题原因 使用的JDK版本过低导致。解决方案 调用Quick BI提供的API接口的SDK代码JDK必须使用JDK1.7及其以上的版本，JDK版本更换为1.8之后问题解决。适用于 Quick BI
DescribeUsageOsSdkVersionDistributionStatData-用量...
接口说明 使用说明 本接口用于获取用量统计中各操作系统及 SDK 版本的分布数据。使用该接口时，限制如下：支持查询最近 365 天（不包含查询当天）任意范围的数据。如果查询范围小于 24 小时，则按小时统计查询的数据；如果查询范围大于或...
数据节点（Searcher）指标
Searcher Worker指标 名字 含义 procCpu Searcher cpu使用比例 procMemRss Searcher使用的Rss内存大小 procMemRssRatio Searcher内存使用比例 Searcher查询QPS指标 名字 含义 inQpsPhase1 inQpsPhase2 Searcher 第一阶段/第二阶段，查询 ...
数据节点（Searcher）指标
Searcher Worker指标 名字 含义 procCpu Searcher cpu使用比例 procMemRss Searcher使用的Rss内存大小 procMemRssRatio Searcher内存使用比例 Searcher查询QPS指标 名字 含义 inQpsPhase1 inQpsPhase2 Searcher 第一阶段/第二阶段，查询 ...
使用DataWorks数据集成从MySQL导入数据到GDB
本文为您介绍通过DataWorks的数据集成功能，从RDS MySQL导入...如果您只需要导入少量测试数据到GDB，也可以使用GDB的外网地址创建数据源，使用默认资源组运行导入任务。但由于外网环境复杂，且延时较高，不能保障服务质量，仅限于测试使用。
使用ack-autoscaling-placeholder实现容器秒级伸缩
ack-autoscaling-placeholder为集群的自动扩展提供了缓冲区，它适用于工作负载需要快速启动而无需考虑节点资源不足的使用场景。本文介绍如何使用ack-autoscaling-placeholder实现容器秒级伸缩。前提条件 您已为ACK集群开通自动伸缩。关于...
将用户主密钥从KMS默认实例迁移至您独享的KMS实例
如果您使用的是KMS默认实例中的用户主密钥，当密钥配额以及QPS不能满足业务要求时，可以购买KMS软件密钥管理实例或硬件密钥管理实例，并将密钥迁移到实例中。本文介绍如何迁移用户主密钥。迁移前须知 仅KMS默认实例中的用户主密钥（简称主...
Quick BI的数据源是SQL Server，使用SQL创建数据集...
问题描述 本文描述了Quick BI的数据源是SQL Server，使用SQL创建数据集报错“数据源执行SQL失败：INTERNAL:java.lang.RuntimeException:SQL execute error by datasource....报错信息如下：traceId:526801e5-96b2-406e-a114-df4ff6dcd2aa;...
订阅Alibaba Cloud Linux 2安全漏洞（CVE）公告
背景信息 本文以Google Chrome浏览器为示例，安装RSS Feed Reader插件用于订阅Alibaba Cloud Linux 2 CVE更新记录。您也可以自行选择其它常用的浏览器插件订阅Alibaba Cloud Linux 2 CVE更新记录。Alibaba Cloud Linux 2 安全中心简介 阿里...
事件查询
本文为您介绍使用“阿里云健康看板”查看具体的事件信息。正在发生的事件 当存在“未恢复”的异常或提醒事件时，阿里云健康看板会在页面头部重点显示，点击事件标题可以查看 事件详情。历史事件 通过点击阿里云健康看板右上角的“历史事件...
实例指标
Mem_Rss 查询节点内存使用大小 proc_Mem_Use_Ratio 数据节点内存使用率 disk_use 数据节点磁盘使用大小 disk_use_ratio 数据节点磁盘使用率 patitionDocCount 数据节点存储的doc数 partitionMemoryQuotaUse 数据节点索引已使用的内存配额 ...
EMR发行版本服务差异
JindoCache√-Kyuubi√-Knox√Implala√OpenLDAP√Ranger√Sqoop√DLF-Auth√Zookeeper√RSS√Zeppelin 使用全托管Notebook√Flume√Oozie 使用全托管Workflow√Livy 使用Kyuubi√Superset-√Alluxio 使用JindoData√Kudu√Ganglia 使用...
扫码
[string]RSS_EXPANDED:条形码-RSS EXPANDED 格式。[string]UPC_A:条形码-UPC-A 格式。[string]UPC_E:条形码-UPC-E 格式。WVScan.Event.scanFailed：扫码失败 事件参数：[string]msg：错误消息。document.addEventListener('WVScan.Event....
Redis内存碎片
命令如下：INFO memory#Memory used_memory:350458970752 used_memory_human:326.39G used_memory_rss:349066919936 used_memory_rss_human:325.09G…mem_fragmentation_ratio:1.00 used_memory：表示Redis为了保存数据实际申请使用的内存...
EMR-5.5.x版本说明
Clickhouse 新增HDFS和OSS磁盘类型，支持数据冷热分离，详情请参见 使用HDFS进行数据冷热分离 和 使用OSS进行数据冷热分离。在Replicated*MergeTree情况下，支持的磁盘类型为OSS、HDFS和S3的Zero Copy。优化了ClickHouse组件Stop时的处理...
内存诊断
普通内存 可以通过观察 polar_stat_activity_rt 视图，如下所示：SELECT pid,rss FROM polar_stat_activity_rt ORDER BY rss DESC;\watch 1 进而可通过 polar_backends_mcxt 查看该进程中哪个内存上下文占用最多。说明 由于当前未有关于 ...
内存诊断
普通内存 可以通过观察 polar_stat_activity_rt 视图，如下所示：SELECT pid,rss FROM polar_stat_activity_rt ORDER BY rss DESC;\watch 1 进而可通过 polar_backends_mcxt 查看该进程中哪个内存上下文占用最多。说明 由于当前未有关于 ...
EMR-3.39.x版本说明
BIGBOOT RSS 升级ESS服务为RSS，文档详情请参见 RSS。增强了服务的功能和稳定性。JindoSDK 升级架构为JindoData。EMR首次集成JindoSDK 4.0，支持OSS和OSS-HDFS服务等，详情请参见 JindoData 4.0.x版本简介。Spark 优化了Hive on Spark。...
Linux服务器内存消耗过高
ps-eo pid,rss,pmem,pcpu,vsz,args-sort=rss 如上述步骤中，均未查找出异常进程，则继续执行以下操作，检测slab内存分配器占用情况，执行如下命令。cat/proc/meminfo|awk '{sum=$2/1024} {print$1 sum"MB"}' 注：以上命令执行过程中将默认...
Flink指标
Memory RSS flink_taskmanager_Status_ProcessTree_Memory_RSS TM当前已使用的堆内存量。单位：Byte。JVM 参数 指标 描述 JM Threads flink_jobmanager_Status_JVM_Threads_Count JM活跃线程总数。flink_taskmanager_Status_JVM_Threads_...
为什么应用运行时进程突然消失了？
all Not tainted 3.10.0-327.13.1.el7.x86_64#1 Swarm集群进程被OOM Killer的日志：Memory cgroup out of memory:Kill process 20911(beam.smp)score 1001 or sacrifice child Killed process 20977(sh)total-vm:4404kB,anon-rss:0kB,file-...
EMR-5.9.x版本说明
支持使用云上MetaStore托管元数据并开启加速功能，详情请参见 Hudi MetaStore使用说明。Flink 支持开启Kerberos身份认证。支持与数据湖构建（DLF）自动连接。Iceberg 升级至0.14.0版本。支持Spark 3.3版本。支持开启Kerberos身份认证。...
EMR-3.43.x版本说明
支持使用云上MetaStore托管元数据并开启加速功能，详情请参见 Hudi MetaStore使用说明。Flink 支持开启Kerberos身份认证。支持与数据湖构建（DLF）自动连接。Iceberg 升级至0.14.0版本。支持Spark 3.3版本。支持开启Kerberos身份认证。...
新增服务
使用限制 集群状态为运行中。集群内所有节点状态均为运行中，且无异常服务。仅以下集群场景支持新增服务。说明 如果创建集群时打开了 Kerberos身份认证 开关，则集群创建后不支持新增Knox和Kudu服务。因为各版本的服务有差异，所以具体待...
Node应用内存泄漏分析方法论与实战
从上图中也可以看到RSS（实际使用物理内存）高达1880.93MB，至此基本上可以确定是内存泄漏了。查看内存占用曲线，内存呈现锯齿状，先一路飙升，到达临界点之后瞬间下降，如此周而复始。和我们的推断完全一致，这是典型的内存泄漏曲线。最终...
排查内存使用率高的问题
通常情况下，当内存使用率超过95%时需要及时关注。Tair内存占用介绍 Redis的内存占用主要由以下三部分组成：内存占用 说明 链路内存（动态）主要包括Input Buff、Output Buff、JIT Overhead、Fake Lua Link、Lua执行缓存等，例如可执行 ...
EMR-5.6.x版本说明
本文介绍EMR-5.6.x版本的发布日期、更新内容和发行版本信息。发布日期 EMR-5.6.0 2022年4月21日 更新内容 服务 变更点 JindoData 新增组件，版本为4.3.0。JindoSDK 升级至4.3.0版本。Spark 升级至3.2.1版本。...服务 版本 RSS 1.0.0
评分规则
存在 0(slowSqlCount-10)/30 警告 100(slowSqlCount-100)/30 危险 slowSqlCount>=500 min[18+(slowSqlCount-50)/30,30)]内存碎片率（HighMemoryFragment）内存碎片率的计算方式为：mem_fragmentation_ratio=used_memory_rss/used_memory ...
查看ECI实例监控指标
Rss Long 1593344 常驻内存集，即实际使用的物理内存。内存相关指标计算方式如下：内存利用率=WorkingSet/（WorkingSet+AvailableBytes）网络指标计算方式 调用openAPI接口可以获取的网络原始数据如下：名称 类型 示例值 描述 TxBytes Long...
IMPALA指标
Resident set size(RSS)of this process,including TCMalloc,buffer pool and Jvm impala_memory_rss 进程的常驻集大小（RSS），包括TCMalloc、缓冲池和JVM。单位：Byte。The number of assignments impala_simple_scheduler_assignments_...
监控项表达式编写
内存部分：@rss，进程所使用的内存总大小，单位为byte。V8堆的数据：@heap_limit，能申请的堆内存的上限值，单位为byte。heap_total，申请到的堆内存大小，单位为byte。heap_used，当前使用的堆内存大小，单位为byte。V8堆中的详细空间：注...
新功能发布记录
2022-06-01 数据湖集群 Spark集群关联RSS RSS（EMR Remote Shuffle Service）是E-MapReduce（简称EMR）为了提升Shuffle稳定性和性能推出的扩展组件，优化了Spark原生的Shuffle。EMR on ACK上的Spark集群支持关联RSS。2022-06-09 为Spark...
Alibaba Cloud Linux 2系统的ECS实例中SGX驱动在特定...
在物理内存消耗殆尽后，会使用共享内存以交换出加密内存，并最终使普通内存也消耗殆尽。解决方案 当遇到该问题时，您可以参考以下方案处理。登录实例，执行以下命令，确认系统内核版本适用此方案。uname-r 系统显示类似如下。4.19.91-23.al...
Gzip压缩
注意事项 当源站文件的大小在1 KB~10 MB及之间时，才可以使用Gzip压缩或Brotli压缩，对1 KB以下和10 MB以上大小的文件不做压缩。Gzip或Brotli压缩支持的文件类型有text/xml、text/plain、text/css、application/javascript、application/x-...
排查Redis实例内存使用率高的问题
内存使用率高的现象分类 内存使用率高，通常分为以下三种情况：内存使用率在较长一段时间内 一直处于较高水位。通常，当内存使用率超过95%时需要及时关注。内存使用率一直较低，但从某个时间点开始 突然上升至较高水位，甚至达到100%。实例...
服务监控说明
GPU Memory 如果您部署的服务使用了GPU，该面板指标表示服务在该时间点的GPU显存的使用量。如果服务包含多个实例，则此处的指标为所有实例的平均值。Replicas 表示服务在该时间点的实例数。CPU Total 表示服务在该时间点可用的CPU总核数。...
巡检评分
存在 0(slowSqlCount-10)/30 警告 100(slowSqlCount-100)/30 危险 slowSqlCount>=500 min[18+(slowSqlCount-50)/30,30)]内存碎片率（HighMemoryFragment）内存碎片率的计算方式为：mem_fragmentation_ratio=used_memory_rss/used_memory ...
EMR-3.44.x版本说明
发行版本信息 DataLake集群 服务 版本 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.9 Spark2 2.4.8 Spark3 3.3.1 Tez 0.10.2 Trino 389 DeltaLake 2.1.0 Hudi 0.12.0 Iceberg 0.14.1 JindoData 4.6.2 Kyuubi 1.6.0 RSS 0.1.4 Knox 1.5.0 Kudu 1.14.0 ...
- 产品推荐
- 这些文档可能帮助您