基于Logstash迁移OSS数据

管道批延迟 创建管道事件批时,将过小的批分派给管道工作线程之前,要等候每个事件的时长,单位为毫秒。默认值:50ms。队列类型 用于事件缓冲的内部排队模型。可选值:MEMORY:默认值。基于内存的传统队列。PERSISTED:基于磁盘的ACKed队列...

通过阿里云Logstash将MaxCompute数据同步至Elastic...

管道批延迟 创建管道事件批时,将过小的批分派给管道工作线程之前,要等候每个事件的时长,单位为毫秒。默认值:50ms。队列类型 用于事件缓冲的内部排队模型。可选值:MEMORY:默认值。基于内存的传统队列。PERSISTED:基于磁盘的ACKed队列...

通过Logstash同步Azure Event Hubs数据至Elastic...

管道批延迟 创建管道事件批时,将过小的批分派给管道工作线程之前,要等候每个事件的时长,单位为毫秒。默认值:50ms。队列类型 用于事件缓冲的内部排队模型。可选值:MEMORY:默认值。基于内存的传统队列。PERSISTED:基于磁盘的ACKed队列...

通过配置文件管理管道

管道批延迟 创建管道事件批时,将过小的批分派给管道工作线程之前,要等候每个事件的时长,单位为毫秒。默认值:50ms。队列类型 用于事件缓冲的内部排队模型。可选值:MEMORY:默认值。基于内存的传统队列。PERSISTED:基于磁盘的ACKed队列...

基于reindex实现低版本多type数据迁移

管道批延迟 创建管道事件批时,将过小的批分派给管道工作线程之前,要等候每个事件的时长,单位为毫秒。默认值:50ms。队列类型 用于事件缓冲的内部排队模型。可选值:MEMORY:默认值。基于内存的传统队列。PERSISTED:基于磁盘的ACKed队列...

腾讯云ES数据迁移至阿里云

管道批延迟 创建管道事件批时,将过小的批分派给管道工作线程之前,要等候每个事件的时长,单位为毫秒。默认值:50ms。队列类型 用于事件缓冲的内部排队模型。可选值:MEMORY:默认值。基于内存的传统队列。PERSISTED:基于磁盘的ACKed队列...

MySQL深潜-MDL锁的实现与获取机制

对MDL锁的请求都是由当前线程的上下文MDL_context调用 MDL_context:acquire_lock 进行的,调用栈如下所示:open_tables_for_query()|-open_table()/循环打开每一个表|-open_table_get_mdl_lock()|-MDL_context:acquire_lock()/获取lock,...

一次调用过程

8 HSF 服务端线程通信响应对象递交给I/O线程,在I/O线程中完成编码。9 服务提供方将I/O线程中完成编码,发送回服务消费方。10 服务消费方收到二进制内容,在I/O线程中完成解码,生成响应通信对象,并唤醒客户端线程。11 客户端线程根据...

一次调用过程

8 HSF 服务端线程通信响应对象递交给I/O线程,在I/O线程中完成编码。9 服务提供方将I/O线程中完成编码,发送回服务消费方。10 服务消费方收到二进制内容,在I/O线程中完成解码,生成响应通信对象,并唤醒客户端线程。11 客户端线程根据...

AliRtcEngine接口

注意 该接口只可以在joinChannel之前调用,通信中不可以重新设置,在调用LeaveChannel后可以重新设置。setAutoPublishSubscribe:设置是否自动发布或自动订阅。public abstract int setAutoPublishSubscribe(boolean autoPub,boolean ...

PolarDB auto_inc场景性能优化之路

阶段3:SMO线程需要等待之前的N个乐观插入线程完成后(最右边Page的乐观插入大概率会失败,因为这次SMO操作就是为了做最右边Page的SMO,那么乐观线程插入失败以后会转换成悲观线程进行插入),获得了Level 1 Page x lock,再等待Level 0 ...

告警规则指标说明

线程池使用率 是 线程池中正在使用的线程数与线程池总线程数之比,反映了当前线程池的使用情况。指标维度 节点机IP,筛选条件如下:遍历:遍历每个节点机IP,针对每台节点机的指标数据单独进行监控告警。指定筛选固定的几台节点机进行监控...

BE参数配置

be_service_threads 默认值:64 类型:Int32 说明:BE进程上thrift server service的执行线程数,代表可以用于执行FE请求的线程数。brpc_max_body_size 此配置主要用来修改brpc的参数 max_body_size。有时查询失败,在BE日志中会出现body_...

RDS MySQL 5.6开放参数一览表

delayed_insert_timeout 5.6 1 300[1-3600]无限制 一个INSERT DELAYED处理程序线程在终止之前应该等待多少秒的INSERT语句。delayed_queue_size 5.6 1 1000[1-4294967295]无限制 这是处理INSERT DELAYED语句时在每个表上排队的行数限制。...

如何支持热点更新场景

测试工具 sysbench 机器规格 4C8 GB×2(两节点)测试结果 场景 1线程 4线程 8线程 16线程 32线程 64线程 128线程 256线程 512线程 热点更新 298 986 1872 3472 6315 10138 13714 15803 23262 普通更新 318 423 409 409 412 428 448 497 ...

如何将一棵LSM-Tree塞进NVM

由于head的更新总能由硬件保证原子性,因此head之前的日志项可以看作成功写入,head之后的日志项存在部分写风险,重启时被丢弃。此方案存在以下两个问题:日志仅能顺序写入,不利于发挥多核系统的并行写的能力。日志项中存在不同生命周期的...

RDS MySQL 8.0开放参数一览表

https://dev.mysql.com/doc/refman/8.0/en/server-system-variables.html#sysvar_delayed_insert_limit delayed_insert_timeout 8.0 1 300 [1-3600]无限制 一个INSERT DELAYED处理程序线程在终止之前应该等待多少秒的INSERT语句。...

RDS MySQL 5.7开放参数一览表

https://dev.mysql.com/doc/refman/5.7/en/server-system-variables.html#sysvar_delayed_insert_limit delayed_insert_timeout 5.7 1 300 [1-3600]无限制 一个INSERT DELAYED处理程序线程在终止之前应该等待多少秒的INSERT语句。...

RDS MySQL开放参数一览表

https://dev.mysql.com/doc/refman/5.7/en/server-system-variables.html#sysvar_delayed_insert_limit delayed_insert_timeout 5.7 1 300 [1-3600]无限制 一个INSERT DELAYED处理程序线程在终止之前应该等待多少秒的INSERT语句。...

Java SDK

无 优化 Server端性能优化,和客户端通信同步改成异步,并优化了akka默认 dispatcher 的配置。使用1.1.0版本客户端,心跳性能优化提高3倍。前端任务管理列表重新设计,可以看到更多信息。修复分布式拉模型,全局子任务可能不起作用。修复...

发布记录

新增开关,赋能用户选择UI线程或非UI线程用以下行消息或在线状态变更的透出。iot-device-manager 1.7.5.4 2022-11-10 根据topic+id字段进行下行消息去重特性,由默认开启改为默认关闭。用户可调用API来开启。1.7.5.3 2022-09-07 增加模块化...

PolarDB MySQL版5.7版本发布日志

线程池计算整体线程数量时,会忽略处于慢查询状态的线程数量,使得整体的线程数量不再受慢查询线程数量限制。2023-01-06 问题修复 修复长事务场景下可能导致数据库性能变慢的问题。5.7.1.0.24 类别 说明 发布时间 新增功能和性能优化 ...

使用AIACC-Training MXNet版

使用SyncBatchNorm Perseus的SyncBatchNorm实现基于MXNet官方代码src/operator/contrib/sync_batch_norm-inl.h的计算逻辑,并通过加载libperseus_MXNet.so调用Perseus通信的API,在operator内部实现SyncBatchNorm,且支持单机local模式以及...

历史记录

优化 Server端性能优化,和客户端通信同步改成异步,并优化了akka默认 dispatcher 的配置。使用1.1.0版本客户端,心跳性能优化提高3倍。前端任务管理列表重新设计,可以看到更多信息。1.0.9,2019-11-28 新特性 增加 BlockAppStart 配置。...

监控、诊断和故障排除

而服务器延时只是请求在服务器端被处理的时间,不包括与客户端通信的网络延时。所以当出现E2E延时突然升高的情况下,如果服务器延时并没有很大的变化,那么可以判定是网络的不稳定因素造成的性能问题,排除OSS系统内部故障。最大延时,包括...

异步处理

线程池 目前来说,不管是 SOFARPC 还是 Dubbo 的埋点实现,在使用单线程或者线程池时,情况是一样的:同步调用,线程池中分配一个线程用于处理 RPC 请求,在请求结束之前会一直占用线程;此种情况下不会造成下一个 RPC 请求错拿上一个请求...

自适应扫描

由于自适应扫描线程与各个PX worker进程之间的通信数据很少,频率不高,所以重用了已有的QC进程与PX worker进程之间的libpq连接进行报文通信。自适应扫描线程通过poll的方式在需要时同步轮询PX Worker进程的请求和响应。扫描任务协调。PX ...

线程池和连接池监控

开启线程池和连接池监控 2.7.1.3之前版本的Agent暂不支持线程池和连接池监控,请先升级Agent至2.7.1.3或以上版本。具体操作,请参见 升级ARMS探针。2.7.3.5及以上版本Agent默认已开启线程池和连接池监控。2.7.1.3及以上版本的Agent请执行...

RDS MySQL只读实例同步延迟原因与处理

主实例的TPS(Transaction Per Second)过高 由于只读实例与主实例之前的同步采用的是单线程同步,若主实例并发多线程写入数据,在主实例TPS过高的情况下容易出现只读实例的数据延迟,可以通过观察只读实例的TPS与主实例的TPS性能数据来...

RDS MySQL只读实例同步延迟原因与处理

主实例的TPS(Transaction Per Second)过高 由于只读实例与主实例之前的同步采用的是单线程同步,若主实例并发多线程写入数据,在主实例TPS过高的情况下容易出现只读实例的数据延迟,可以通过观察只读实例的TPS与主实例的TPS性能数据来...

消费者(Consumer)

使用建议 不建议在单一进程内创建大量消费者 云消息队列 RocketMQ 版 的消费者在通信协议层面支持非阻塞传输模式,网络通信效率较高,并且支持多线程并发访问。因此,大部分场景下,单一进程内同一个消费分组只需要初始化唯一的一个消费者...

启动ACCL容器

PyTorch多进程处理、多线程Dataloader等会大量使用共享内存通信,故而建议为容器分配足够的共享内存空间。其他可行选项包括:shm-size=8g-v/dev/shm:/dev/shm-device=dev/infiniband-ulimit memlock=-1:1 挂载RDMA网卡设备并移除内存页锁定...

为什么消费客户端频繁出现Rebalance?

可能原因 可能导致故障的原因包括:v0.10.2之前版本的客户端:Consumer没有独立线程维持心跳,而是把心跳维持与poll接口耦合在一起。其结果就是,如果用户消费出现卡顿,就会导致Consumer心跳超时,引发Rebalance。v0.10.2及之后版本的客户...

HAL说明

是C函数的原型声明,SDK跨平台移植完成之后,可以用于编写业务逻辑和阿里云服务器通信API。在 examples 目录提供了丰富的示例程序使用API做业务逻辑。只要填入设备信息,即可以在Linux主机上运行体验。第二层 Link Kit Core Implements ...

参数配置

edit_log_port 9010 FE Group(Master、Follower、Observer)之间通信用的端口。edit_log_type BDB Edit log的类型,只能为BDB。bdbje_heartbeat_timeout_second 30 BDBJE心跳超时的间隔,单位为s。bdbje_lock_timeout_second 1 BDBJE锁...

参数配置

edit_log_port 9010 FE Group(Master、Follower、Observer)之间通信用的端口。edit_log_type BDB Edit log的类型,只能为BDB。bdbje_heartbeat_timeout_second 30 BDBJE心跳超时的间隔,单位为s。bdbje_lock_timeout_second 1 BDBJE锁...

Tracer 工具类

在 Tracer 1.0.15 之前的版本,都是直接通过 API 来获取父线程的 Tracer 上下文,然后设置到子线程里面的。这样,父子线程就共享一份 Tracer 日志上下文,有可能出现在一个线程里修改,却影响了另一个线程的情况。所以在 Tracer 1.0.15 中...

HDFS Balancer

客户端配置 参数 描述 dfs.balancer.dispatcherThreads Balancer在移动Block之前,每次迭代时查询出一个Block列表,分发给Mover线程使用。说明 dispatcherThreads 是该分发线程的个数,默认为200。dfs.balancer.rpc.per.sec 默认值为20,即...

数据开发常见问题

dfs.balancer.dispatcherThreads Balancer在移动Block之前,每次迭代时查询出一个Block列表,分发给Mover线程使用。说明 dispatcherThreads 是该分发线程的个数,默认为200。dfs.balancer.rpc.per.sec 默认值为20,即每秒发送的rpc数量为20...

AliSQL内核小版本发布记录

AliSQL是RDS MySQL的内核,除了为用户提供MySQL社区版的所有功能外,还提供了企业级备份恢复、线程池、并行查询等类似于MySQL企业版的诸多功能,赋予了RDS MySQL安全、备份、恢复、监控、性能优化、只读实例等各项能力。本文介绍AliSQL的...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
高速通道 音视频通信 短信服务 边缘网络加速 物联网无线连接服务 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用