Dataphin提交至hive中的任务执行时间过长
解决方案 hive队列资源设置的不合理，hive任务等待时间过长，可以加大最大工作线程数。Hiveserver2允许在配置文件hive-site.xml中进行配置管理，常用参数有：hive.server2.thrift.min.worker.threads – 最小工作线程数，默认为5。hive....
参数配置
thrift_server_max_worker_threads 4096 Thrift Server最大工作线程数。thrift_client_timeout_ms 5000 Thrift客户端链接的空闲超时时间，即链接超过该时间无新请求后则将链接断开。brpc_idle_wait_max_time 10000 BRPC的空闲等待时间，...
安装备份客户端
最大工作线程数：设置备份客户端的最大工作线程数。线程数越大，占用宿主机资源越多，对宿主机性能影响越大，建议评估后设置。最大CPU核心使用数：设置备份客户端的最大CPU核心使用数。CPU核数越大，占用宿主机资源越多，对宿主机性能影响...
参数配置
thrift_server_max_worker_threads 4096 Thrift Server最大工作线程数。thrift_client_timeout_ms 0 Client超时时间。默认值为0，表示永远不会超时。brpc_idle_wait_max_time 10000 BRPC的空闲等待时间，单位为ms，默认为10s。query_port ...
FE参数配置
1 PB 是否可以动态配置：true 是否为Master FE节点独有的配置项：true 说明：用于设置默认数据库数据配额大小，设置单个数据库的配额大小可以使用：设置数据库数据量配额，单位为B/K/KB/M/MB/G/GB/T/TB/P/PB ALTER DATABASE db_name SET ...
一键诊断
在数据库出现故障时，您可以利用一键诊断功能，快速诊断选定时间段内数据库性能情况，直观地查看数据库性能情况的全貌，快速定位异常原因。前提条件 目标数据库引擎为：RDS MySQL MyBase MySQL 自建MySQL 目标数据库实例已经接入DAS，详情...
一键诊断
A：按照线程使用率的计算公式，当活跃线程数超过最大线程数，就会出现使用率大于100%的情况，而RDS MySQL线程池的实现方式比较特殊，没有严格限制活跃线程的数量，存在活跃线程数超过最大线程数的情况。了解更多 关于自动SQL诊断的详细技术...
一键诊断
在数据库出现故障时，您可以利用一键诊断功能，快速诊断选定时间段内数据库性能情况，直观地查看数据库性能情况的全貌，快速定位异常原因。前提条件 实例为如下版本：RDS MySQL 8.0 高可用系列或集群系列 RDS MySQL 5.7 高可用系列或集群...
DAS的一键诊断功能中如何计算会话的...率和最大线程数
概述 本文主要介绍阿里云数据库...详细信息 RDS MySQL的计算公式如下：线程使用率=活跃线程数/最大线程数 连接数使用率=当前连结数/实例规格最大连接数 最大线程数=thread_pool_size*(thread_pool_oversubscribe+1)适用于 数据库自治服务DAS
如何修改CentOS系统最大线程数
ulimit-u 将/etc/security/limits.d/20-nproc.conf 文件中nproc值设置成4096，重新登录服务器，执行如下命令，发现最大线程数还是3825，重启服务器后查看最大线程数还是3825，尝试将文件中nproc值修改为1024，重启服务器后查看线程数还是...
Logstash性能排查
在Logstash系统资源充足的情况下，调试Logstash管道工作线程数和管道批量处理事件数时，建议您优先调整管道批大小（写入到Elasticsearch场景，单bulk建议在5 MB左右），待目标端写入无法增加时，再调整管道工作线程数。详细信息请参见 检查...
应用维度配置扩展
com.alipay.sofa.rpc.bolt.thread.pool.max.size # bolt 最大线程数。com.alipay.sofa.rpc.bolt.thread.pool.queue.size # bolt 线程池队列。com.alipay.sofa.rpc.bolt.accepts.size # 服务端允许客户端建立的连接数。rest ...
线程池和连接池监控
您可以通过线程池和连接池监控功能监控具体应用所使用的线程池或连接池的各项指标，包括核心线程数量、当前线程数量、最大线程数量、活跃线程数量、任务队列容量。前提条件 接入应用监控 重要 仅专家版支持线程池和连接池监控功能。开启...
Alibaba Cloud Linux 2系统的ECS实例创建大量进程失败...
ulimit-u<$Num_Of_Process>说明<$Num_Of_Process>指调整后的最大线程值，建议您合理规划ulimit资源。调整某个进程的limit资 源 安装util-linux工具。yum install-y util-linux 说明 如果已安装该工具，可跳过本步骤。调整进程的limit资源。...
错误编码：HSF-0027
报错信息[HSF-Provider]HSF thread pool is full.解决方案 服务器端某个服务处理速度过慢，不能及时...HSF默认的初始化线程数是50，最大线程数是720，可以通过配置JVM参数-Dhsf.server.min.poolsize 和-Dhsf.server.max.poolsize 进行修改。
消息堆积和延迟问题
消息类型 消费并发度 普通消息 单节点线程数*节点数量 定时和延时消息 事务消息 顺序消息 Min（单节点线程数*节点数量，分区数）客户端消费并发度由单节点线程数和节点数量共同决定，一般情况下需要优先调整单节点的线程数，若单机硬件资源...
实例监控
线程池支持的框架 线程池监控支持Tomcat、HSF、Dubbo、Vert.x和Undertow1.x框架，采集的指标如下：指标名称 指标 线程池核心线程数 arms_threadpool_core_size 线程池最大线程数 arms_threadpool_max_size 线程池活跃线程数 arms_...
设置Java Tomcat参数
当您使用WAR包部署应用时，您可以根据需求自定义Tomcat参数，包括应用端口、应用访问路径以及最大线程数等信息。本文介绍如何在 SAE 控制台为基于WAR部署的Java应用设置Java Tomcat参数。前提条件 在设置Java Tomcat的相关参数之前，请确保...
网关服务端日志
日志路径：~/logs/gateway/gateway-threadpool.log 日志打印时间 线程名 活动线程数 当前线程池的线程数 创建过的最大线程数量 核心线程数 最大线程数 任务队列容量 剩余队列容量 格式：时间[线程名,ActiveCount,PoolSize,LargestPoolSize,...
离线集成管道通道配置
全局并发度配置 任务期望最大并发数 用于定义当前管道脚本中组件从源端并行读取或并行写入目标端的最大线程数。JVM配置 JVM参数 用于定义当前管道脚本所占用的JVM资源，包括CPU和内存参数。CPU Core资源最大不超过4.0Core，不支持小数和...
离线集成管道通道配置
全局并发度配置 任务期望最大并发数 用于定义当前管道脚本中组件从源端并行读取或并行写入目标端的最大线程数。JVM配置 JVM参数 用于定义当前管道脚本所占用的JVM资源，包括CPU和内存参数。CPU Core资源最大不超过4.0Core，不支持小数和...
离线同步并发和限流之间的关系
此连接数即用来控制数据来源端支持的最大JDBC连接数，避免大量任务同时启动打满数据库连接池，影响数据库的稳定性。请根据数据库资源的实际情况合理配置，默认为15。如果您发现任务长时间处于Submit状态，一般是因为数据源最大连接数限制...
应用监控指标说明
core_size Gauge 15s 无 线程池最大线程数 arms_threadpool_max_size Gauge 15s 无 线程池活跃线程数 arms_threadpool_active_size Gauge 15s 无 线程池队列大小 arms_threadpool_queue_size Gauge 15s 无 线程池当前大小 arms_threadpool_...
离线同步任务调优
并发：从源并行读取或并行写入数据存储端的最大线程数。WAIT资源。Bytes的设置：单个线程的 Bytes=1048576，在网速比较敏感时，会出现超时现象，此时建议将Bytes设置的较小。查询语句是否建索引。目的端数据源 性能：CPU、内存、SSD 硬盘、...
启动加速-异步初始化方法
SOFABoot 加快应用启动速度的方式主要有 2 种：模块并行启动 异步执行 Bean 的初始化方法 本文介绍如何使用 ...com.alipay.sofa.boot.asyncInitBeanMaxSize ：线程池中允许的最大线程数大小，默认值为 CPU 核数加一。通过 VM-D 参数来设置。
PolarDB MySQL版8.0版本内核参数发布日志
2023.12.18 类型 参数 级别 说明 新增 max_connections Global/Session 数据库的最大连接数上限。取值范围：1~200000。默认值为2312。单位为个。max_user_connections Global/Session 单个用户的连接数上限。取值范围：10~200000。默认值为...
Parallelism Hints
结果指示最大允许计划工作线程数。EXPLAIN SELECT/*+PARALLEL(pgbench_accounts DEFAULT)*/*FROM pgbench_accounts;QUERY PLAN-Gather(cost=1000.00.239382.52 rows=2014215 width=97)Workers Planned:6->Parallel Seq Scan on pgbench_...
Parallelism Hints
结果指示最大允许计划工作线程数。EXPLAIN SELECT/*+PARALLEL(pgbench_accounts DEFAULT)*/*FROM pgbench_accounts;QUERY PLAN-Gather(cost=1000.00.239382.52 rows=2014215 width=97)Workers Planned:6->Parallel Seq Scan on pgbench_...
环境接口
retryHeartbeatTimes false Intege 心跳检测重试次数 retryConnectTimes false Intege 连接建立重试次数 coreThreadPoolSize false Intege 核心线程池的大小，会影响netty中线程池，以及处理消息线程池核心/最大线程数大小 ...
环境接口
以及处理消息线程池核心/最大线程数大小 threadPoolQueueSize false Integer 线程池队列大小，会影响消息处理线程池队列和发送消息线程池队列大小 optimalNetworkLinkOption false OptimalNetworkLinkOption 链路优选配置参数项 ...
使用时序Writer写入时序数据
callbackThreadCount Integer 9 内部Callback运行的线程池的最大线程数。默认值为 CPU核数+1。只有调用Callback函数内部构建线程池时生效。callbackThreadPoolQueueSize Integer 1024 内部Callback运行的线程池的队列大小。默认值为1024。...
MySQL分库分表同步至Hologres（方案2.0）
步骤六：高级参数配置 数据集成提供数据库最大连接数，并发度等配置的默认值，如果需要对任务做精细化配置，达到自定义同步需求，您可对参数值进行修改，例如通过最大连接数上限限制，避免当前同步方案对数据库造成过大的压力从而影响生产...
管理Databases
database=db.create_database("<yourDbname>")为待创建的数据库名称。本文以 milvus_demo 为例，您可以根据实际情况更改。使用Database 通常情况下，Milvus实例默认会自动创建一个名为“default”的预设数据库。除非在创建Collection时另有...
如何排查Nacos线程数过多的问题
本文介绍如何排查Nacos线程数过多的问题。问题现象 通过监控系统或其他手段，观察到应用的线程数过多，且大部分线程名中带有nacos等字样。可能原因 系统环境问题。程序读取到的CPU数量错误，导致线程池核心大小和最大大小过大。应用中创建...
如何调节备份速度
概念说明 全量备份并行线程数 全量备份并行线程数越多，备份速度越快，对备份源数据库性能的影响也越大。物理备份、逻辑备份的所有备份链路均支持设置该参数。备份实例规格 全量备份并行线程数上限 百GB数据库备份时间（参考）serverless ...
Fluid监控大盘参数说明
DataLoad控制器线程数 表示当前DataLoad控制器的活跃线程数和最大可用线程数。控制器队列长度 表示集群当前Fluid各控制器处理队列长度。Kubernetes API总请求量 表示在一个监控周期内，Fluid控制面各组件Pod向Kubernetes API Server发送的...
数据库监控
活跃线程 thread PolarDB-X 1.0 实例中目标数据库用来执行SQL的线程数。说明 上述各监控项的数据采集周期均为1分钟。最多支持查看7天内的监控数据。操作步骤 登录 PolarDB分布式版控制台。在页面左上角选择目标实例所在地域。在 实例列表 ...
如何理解并发、QPS和RT的关系？
本文介绍并发、QPS和RT的概念及其之间的关系。...流控规则中的并发指该资源正在执行的线程数，线程数模式按照资源的并发线程数进行流量控制。关于压测的并发虚拟用户数和SLB的并发连接数概念，请参见 怎么理解SLB的并发连接数和PTS中的并发？
数据传输作业：数据集成
实时同步 DataWorks提供的实时数据同步功能，使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至MaxCompute中，实现MaxCompute实时保持和源库的数据对应。一个实时同步任务支持多个转换插件进行数据清洗，并支持多个...
RDS MySQL活跃线程数高问题
数据库自治服务DAS 在控制台的 自治服务>性能趋势 页面，单击 性能趋势 页签，查看会话连接情况，如果线程数过高，说明实例会话有阻塞。排查慢SQL堆积问题 现象 如果通过监控发现活跃线程数升高，首先通过 show processlist;命令查看是否有...
- 产品推荐
- 这些文档可能帮助您