Logstash性能排查
Logstash管道每个阶段都运行在自己的线程中，input阶段将事件写入到内存（默认）或磁盘的中央队列，每个管道工作线程从此队列提取一批事件，通过filter对事件做预处理，最后通过output输出预处理后的事件。本文结合日常实践，为您提供...
一次调用过程
8 HSF 服务端线程将通信响应对象递交给I/O线程，在I/O线程中完成编码。9 服务提供方将I/O线程中完成编码，发送回服务消费方。10 服务消费方收到二进制内容，在I/O线程中完成解码，生成响应通信对象，并唤醒客户端线程。11 客户端线程根据...
一次调用过程
8 HSF 服务端线程将通信响应对象递交给I/O线程，在I/O线程中完成编码。9 服务提供方将I/O线程中完成编码，发送回服务消费方。10 服务消费方收到二进制内容，在I/O线程中完成解码，生成响应通信对象，并唤醒客户端线程。11 客户端线程根据...
基于Logstash迁移OSS数据
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
通过阿里云Logstash将MaxCompute数据同步至Elastic...
当您需要将MaxCompute离线表中的数据同步到阿里云Elasticsearch中时，可以通过阿里云Logstash的logstash-input-maxcompute插件和管道配置功能实现。本文介绍对应的配置方法。前提条件 您已完成以下操作：开通阿里云MaxCompute产品，并完成...
通过Logstash同步Azure Event Hubs数据至Elastic...
当您需要将Azure Event Hubs事件中心中的数据同步到阿里云Elasticsearch中时，可使用阿里云Logstash的管道配置功能实现。本文介绍具体的实现方法。操作流程 步骤一：准备环境与实例 步骤二：创建并配置Logstash管道 步骤三：验证结果 步骤...
通过配置文件管理管道
Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件，input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。阿里云Logstash支持多管道并行运行，目前最多支持20个。本文介绍...
基于reindex实现低版本多type数据迁移
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
腾讯云ES数据迁移至阿里云
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
通过阿里云Logstash将自建Elasticsearch数据迁移至...
当您需要将自建Elasticsearch中的数据迁移到阿里云Elasticsearch中时，可以通过阿里云Logstash的管道配置功能实现。本文介绍具体的实现方法。使用限制 自建Elasticsearch集群所在的ECS的网络类型必须是专有网络，不支持Classiclink方式打通...
使用阿里云ES监控RabbitMQ
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
通过Logstash将PolarDB-X（DRDS）数据同步至Elastic...
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
使用Filebeat+Kafka+Logstash+Elasticsearch构建日志...
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
通过Logstash将RDS MySQL数据同步至Elasticsearch
如果您需要将RDS MySQL中的数据同步到阿里云Elasticsearch中，可使用阿里云Logstash的logstash-input-jdbc插件（默认已安装，不可卸载），通过管道配置将全量或增量数据实时同步至阿里云Elasticsearch中。本文介绍具体的实现方法。背景信息...
提高logstash写入速度
问题描述 阿里云logstash同步数据时，如何加快数据写入 解决方案 您好，可以使用以下方式提高阿里云logstash写入速度：1.阿里云logstash管道增加管道批大小，...2.管道配置中增加管道工作线程，结合集群写入压力和logstash负载进行适当增加。
查询日志
Logstash的管道工作线程数配置太小：增加Logstash的管道批大小和工作线程数，详细信息请参见 通过配置文件管理管道。GC日志 垃圾回收器日志。显示所有JVM堆内存占用触发的垃圾回收情况，通过GC日志可获取详细的垃圾回收信息，包括Old GC、...
DescribePipeline
调用DescribePipeline，获取Logstash实例的管道信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见...
UpdatePipelines
调用UpdatePipelines，更新Logstash管道信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见公共请求...
CreatePipelines
调用CreatePipelines，创建Logstash管道。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见公共请求参数...
Logstash数据写入问题排查方案
在使用阿里云Logstash将数据写入阿里云Elasticsearch（output指定为阿里云Elasticsearch）时，您可能会遇到网络不通、管道配置错误、负载高、管道正常启动但无数据写入目标端以及服务正常但缺少数据等问题，此时您可以参考本文的排查方案...
快速入门
本文为您介绍如何创建一个阿里云Logstash实例，并通过Logstash的管道配置，完成阿里云Elasticsearch实例间的数据同步。背景信息 在开始本文操作前，请先了解以下背景信息：什么是阿里云Elasticsearch 什么是阿里云Logstash 前提条件 注册...
查询分析RocketMQ客户端日志
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
内存型
为了提高线程的并行度，IO线程和Worker线程之间采用无锁队列和管道进行数据交换。说明 对于通用的类型，例如：String、List、Set、Hash、Zset、Hyperloglog、Geo以及扩展结构都有很好的加速效果。对于Pub、Sub、Blocking系列API，由于其...
AD办公网络常见问题
在 本地安全策略 页面右侧的 策略 面板中，找到 网络访问:可匿名访问的命名管道 并右键 网络访问:可匿名访问的命名管道，然后选择 属性。在 网络访问:可匿名访问的命名管道 属性 面板的 本地策略设置 页签下，在输入框中输入以下内容并按照...
内存型
为了提高线程的并行度，IO线程和Worker线程之间采用无锁队列和管道进行数据交换。说明 对于通用的类型，例如：String、List、Set、Hash、Zset、Hyperloglog、Geo以及扩展结构都有很好的加速效果。对于Pub、Sub、Blocking系列API，由于其...
Windows
需要将通信过程中视频数据保存或输出处理（外部渲染，修改内容）时，可使用视频数据裸数据输出实现。输入外部视频数据推流 调用 SetExternalVideoSource 启用外部视频输入推流。说明 目前Windows端不支持texture模式。应用侧持续调用接 ...
Windows
需要将通信过程中视频数据保存或输出处理（外部渲染，修改内容）时，可使用视频数据裸数据输出实现。输入外部视频数据推流 调用 setExternalVideoSource 启用外部视频输入推流。说明 目前Windows端不支持texture模式。应用侧通过接口 ...
设置Logtail启动参数
说明 如果Logtail部署在阿里云Kubernetes集群中，且为Logtail-ds 1.7.3及以上版本，则推荐通过 容器服务管理控制台 设置线程路，即在 组件管理 页面，修改 logtail-ds 组件中的 LogtailDSProcessThreadCount 参数。具体操作，请参见 管理...
发布日志
RTC SDK发布地域包含华北1（青岛）、华北2（北京）、华北3（张家口）、华东1（杭州）、华东2（上海）、华南1（深圳）、华北5（呼和浩特）及中国香港，并且覆盖iOS、Android、Windows、Mac、Web、Unity及Linux平台，各平台的发布日志如下所...
搭建FTP服务器（Windows）
当您需要远程连接Windows实例进行文件传输时，可以通过搭建FTP服务器实现。本文将介绍如何在Windows实例中搭建FTP服务器。前提条件 已创建Windows Server 2008 R2及以上轻量应用服务器实例。具体操作，请参见 创建轻量应用服务器。步骤一：...
手动搭建FTP站点（Windows）
当您需要远程连接Windows实例进行文件传输时，可以通过搭建FTP站点实现。本文将介绍如何在Windows实例中搭建FTP站点。准备工作 手动搭建FTP站点，ECS实例必须满足以下条件：实例已分配公网IP地址或绑定弹性公网IP（EIP）。具体操作，请参见...
功能发布记录（2.0）
目录 类别 发布日志 相关文档 RTC SDK iOS iOS接口 iOS回调及监听 Android Android接口 Android回调及监听 Windows Windows接口 Windows回调及监听 Mac Mac接口 Mac回调及监听 Web Web接口 Web回调及监听 配套组件 媒体播放器 Android iOS ...
发布日志
RTC SDK发布地域包含华北1（青岛）、华北2（北京）、华北3（张家口）、华东1（杭州）、华东2（上海）、华南1（深圳）、华北5（呼和浩特）及中国香港，并且覆盖iOS、Android、Windows、Mac、Web，各平台的发布日志如下所示：目录 iOS ...
Windows系统挂载SMB协议文件系统
当您想在Windows系统中共享文件时，可以在服务器挂载支持SMB协议的NAS文件系统。本文介绍如何在阿里云Windows ECS实例中挂载SMB协议文件系统。前提条件 在创建NAS SMB协议文件系统的地域，已有可用的云服务器ECS（Windows）。具体操作，请...
RDS MySQL 5.6开放参数一览表
innodb_adaptive_max_sleep_delay 5.6 1 150000[1-1000000]无限制 innodb_thread_sleep_delay控制InnoDB线程在没有等待事件时的休眠时间，该参数允许InnoDB根据当前的工作负载自动调整innodb_thread_sleep_delay的值，使其适应不同负载情况...
实践教程概览
使用IMB软件和MPI通信库测试E-HPC通信性能 IMB（Intel MPI Benchmarks）用于评估HPC集群在不同消息粒度下节点间点对点、全局通信的效率。MPI（Message Passing Interface）是支持多编程语言的并行计算通信库，具有高性能、大规模性、可移植...
安装备份客户端
客户部包括Windows版本和Linux版本，按照您服务器的操作系统选择即可。（推荐）使用RAM用户AccessKey RAM是阿里云提供的用户身份管理与资源访问控制服务。RAM允许在一个云账号下创建并管理多个身份，并允许给单个身份或一组身份分配不同的...
MCU+支持MQTT的模组
应用场景：设备的硬件由一个MCU加上一个通信模组构成，设备的应用逻辑运行在MCU上，通信模组支持MQTT功能并提供AT指令给MCU使用，MCU控制模组连接云端服务以及收发数据。本示例中：示例app+SDK+模组对接代码一起的RAM消耗为6KB。对于这样的...
在支持TCP的广域网模组上集成SDK
如果当前该锁由其它线程持有,则当前线程睡眠,否则继续 4 HAL_MutexUnlock 释放互斥锁,此后当前在该锁上睡眠的其它线程将取得锁并往下执行 5 HAL_SemaphoreCreate 创建一个信号量,返回值可以传递给HAL_SemaphorePost/Wait 6 HAL_...
SDK获取
下面的表格列出了目前最新版本C Link SDK的功能：功能模块 功能点 设备连云 MQTT连云，设备可通过MQTT与阿里云IoT物联网平台通信 CoAP连云，设备可通过CoAP与阿里云IoT物联网平台通信，用于设备主动上报信息的场景 HTTPS连云，设备可通过...
- 产品推荐
- 这些文档可能帮助您