接入Java应用或Tomcat的监控数据
您可以在服务器上查看/etc/ilogtail/telegraf/telegraf.log 文件中记录的日志进行判断，还可以将该日志采集到日志服务中进行查询。后续步骤 查询分析 配置完成后，Telegraf将采集到的监控数据通过Logtail上传到日志服务MetricStore中。您...
采集Beats和Logstash数据源
本文介绍如何通过日志服务控制台创建Logtail采集配置来采集Beats和Logstash数据源。前提条件 已在服务器上安装Linux Logtail 0.16.9及以上版本或Windows Logtail 1.0.0.8及以上版本。具体操作，请参见 安装Logtail（Linux系统）或 安装...
接入主机监控数据
重要 如果您的服务器是与 日志服务 属于不同账号的ECS、其他云厂商的服务器和自建IDC时，您需要手动安装Linux Logtail 0.16.40及以上版本。具体操作，请参见 安装Logtail（Linux系统）。手动安装Logtail后，您必须在该服务器上手动配置用户...
日志采集支持纳秒精度时间戳
本文主要说明在使用Logtail进行日志采集时，如何有效地提取和处理具有纳秒精度的时间戳信息，确保对原始日志中的高精度时间数据进行准确捕获。应用场景 某些业务场景下对时间精度要求较高（例如不同子模块日志保序要求），依赖毫秒甚至更高...
集成WAF日志到Syslog系统
本文介绍了如何使用Python Program将Web应用防火墙（WAF）的日志集成到Syslog日志系统中，以实现合规、审计等要求，也方便您在安全操作中心统一管理所有相关日志。背景信息 该方案的整体集成架构如下图所示：阿里云日志服务为日志数据提供...
采集SQL Server查询结果
本文介绍如何通过日志服务控制台创建Logtail采集配置来采集SQL Server查询结果。前提条件 已在服务器上安装Linux Logtail 1.2.1及以上版本。更多信息，请参见 安装Logtail（Linux系统）。重要 请确保用于安装Logtail的服务器可连接目标数据...
采集Systemd Journal日志
Logtail支持从原始的二进制文件中采集Linux系统的Systemd Journal日志。本文介绍如何通过日志服务控制台创建Logtail采集配置采集Systemd Journal日志。前提条件 已在服务器上安装Linux Logtail 0.16.18及以上版本。具体操作，请参见 安装...
采集及分析Nginx监控日志
您可以通过Logtail插件采集Nginx监控日志，并进行查询分析、告警等操作，全方位监控您的Nginx集群。前提条件 已在服务器上安装Logtail。具体操作，请参见 安装Logtail（Linux系统）或 安装Logtail（Windows系统）。说明 目前支持Linux ...
采集PostgreSQL查询结果
本文介绍如何通过日志服务控制台创建Logtail采集配置来采集PostgreSQL查询结果。前提条件 已在服务器上安装Linux Logtail 1.2.1及以上版本。更多信息，请参见 安装Logtail（Linux系统）。重要 请确保用于安装Logtail的服务器可连接目标数据...
采集HTTP数据
Logtail会根据您的采集配置定期请求指定的URL，将请求返回的Body内容作为数据源上传到日志服务。本文介绍如何通过日志服务控制台创建Logtail采集配置采集HTTP数据。前提条件 已在服务器上安装Logtail。更多信息，请参见 安装Logtail（Linux...
复杂JSON数据加工
green service:search_service 解决方案 将一条日志拆分成三条日志，给主题赋予三个不同值再进行分裂，经过分裂后会分成除 topic 不同，其他信息相同的三条日志。e_set("_topic_","server_status,client_status,overall_type")e_split("_...
如何使用Logtail自动诊断工具
当您使用Logtail采集日志发生异常时，可通过Logtail自助诊断工具查看Logtail客户端是否存在异常，并根据工具提示快速定位并解决问题。重要 Logtail自动诊断工具仅支持Linux系统的服务器。Logtail只采集增量日志。如果下发Logtail采集配置后...
Nginx模式解析
Nginx日志简介 Nginx服务器会根据log_format和access_log配置输出对应的Nginx访问日志，log_format和access_log的默认值如下所示。log_format main '$remote_addr-$remote_user[$time_local]"$request"' '$request_time$request_length ' '...
采集MySQL查询结果
本文介绍如何通过日志服务控制台创建Logtail采集配置来采集MySQL查询结果。前提条件 已在服务器上安装Linux Logtail 0.16.0及以上版本或Windows Logtail 1.0.0.8及以上版本。具体操作，请参见 安装Logtail（Linux系统）或 安装Logtail...
基本概念
日志接收时间 日志到达日志服务的服务器被接收时的时间，默认不保存在日志中，但是如果Logstore开启了记录外网IP地址，则该时间会保留在日志标签字段的_receive_time_中。数据加工中时间的完整字段名是_tag_:_receive_time_。数据类型为...
自定义函数开发指南
cursorTime 本次函数调用包括的数据中，最后一条日志到达日志服务的服务器端的unix_timestamp。source 该字段由日志服务生成，日志服务根据ETL Job定义的任务间隔定时触发函数执行，source字段是函数Event中的重要组成部分，定义了本次函数...
阿里云日志服务Splunk Add-on
本文介绍如何通过阿里云日志服务Splunk Add-on将日志服务上的日志投递到Splunk。架构 Splunk Add-on架构：通过Splunk Data Input创建日志服务消费组，并从日志服务进行实时日志消费。将采集到的日志通过Splunk私有协议（Private Protocol）...
会话操作记录投递
您可以使用云助手的会话操作记录投递功能，将会话管理（Session Manager）操作记录投递到您的对象存储OSS或日志服务SLS中，进行持久化存储。本文介绍如何配置会话操作记录投递和查看已投递的会话操作记录。背景信息 如果您需要对会话管理...
Logtail发布历史
新增配置项 enable_log_time_auto_adjust，实现了日志时间可自适应服务器本地时间。更多信息，请参见 设置Logtail启动参数。新增配置项 enable_log_position_meta，用于在日志中添加该日志所属原始文件的元数据信息。更多信息，请参见 ...
Logtail
如果日志超过512 KB，会被强制拆分为多条进行采集。例如：单条日志大小为1025 KB，则第一次处理512 KB，第二次处理512 KB，第三次处理1 KB，最终采集结果为多条不完整的日志。文件编码 支持UTF-8或GBK的编码日志文件，建议使用UTF-8编码...
Logtail限制说明
如果日志超过512 KB，会被强制拆分为多条进行采集。例如：单条日志大小为1025 KB，则第一次处理512 KB，第二次处理512 KB，第三次处理1 KB，最终采集结果为多条不完整的日志。文件编码 支持UTF-8或GBK的编码日志文件，建议使用UTF-8编码...
消费-通过消费组实现高可靠消费
如今计算机诞生使得日志产生与消费无处不在：服务器、路由器、传感器、GPS、订单、及各种设备通过不同角度描述着我们生活的世界。从船长日志中我们可以发现，日志除了带一个记录的时间戳外，可以包含几乎任意的内容，例如：一段记录文字、...
日志管理
如果用户希望收集阿里云ECS服务器的数据，日志服务提供的Logtail日志收集服务同样非常方便地收集到日志数据。删除日志库，日志数据是否丢失？删除日志库会导致日志数据丢失，请谨慎操作。日志服务日志保存多长时间？可否修改这个保存时限？...
数据模型
例如：您有一个名为big-game的游戏应用，服务器上有三种日志：操作日志（operation_log）、应用程序日志（application_log）以及访问日志（access_log），您可以首先创建名为big-game的项目，然后在该项目下面为这三种日志创建三个日志库，...
CLB使用访问日志快速定位异常后端服务器
在使用CLB的七层负载均衡（HTTP/HTTPS监听）期间，如果您遇到业务故障或异常，怀疑是后端服务器问题，您可通过CLB访问日志功能快速定位异常后端服务器。CLB结合阿里云日志服务提供的访问日志功能，可帮助您大幅提升故障定位与处理的效率。...
数据采集概述
日志服务支持采集服务器与应用、开源软件、物联网、移动端、标准协议、阿里云产品等多种来源的数据。本文列举了日志服务所支持的数据来源。数据来源 日志服务支持的数据来源如下：类别 来源 接入方式 更多 应用 程序输出 Logtail 查询分析...
安装Logtail（Windows系统）
日志服务Project与服务器同地域不同账号 配置流程如下图：完成Logtail安装后，您需配置用户标识，配置用户自定义标识，创建机器组，并选择数据源配置Logtail采集日志。具体操作，请参见 配置用户标识、创建用户自定义标识机器组 及 采集...
私网传输迁移
操作场景 场景一：源服务器迁移上云，但没有公网访问能力 您需要通过VPN网关、高速通道物理专线、智能接入网关将源服务器和云上VPC打通，并为源服务器设置代理服务器，然后通过代理服务器访问SMC实现私网迁移源服务器。场景二：源服务器...
访问ECS实例异常时的问题排查和指引
所有服务器访问目标服务器均存在异常 如果所有服务器访问目标服务器均存在异常，则推断是目标服务器归属安全组或服务器内部自身存在异常所致，需要做进一步排查分析查看服务器内部访问是否正常，即通过 使用管理终端连接Linux实例 登录...
通过HTTPS投递日志到SIEM
本文通过以Splunk HEC为例来展示如何通过HEC将阿里云相关日志投递到SIEM。例如当前SIEM（如Splunk）位于组织内部环境（on-premise），而不是云端。为了安全考虑，没有开放任何端口让外界环境来访问此SIEM。说明 本章节中的配置代码仅为示例...
如何选择拆分键
例如某日志系统记录了用户的所有操作，现需要对如下日志单表进行水平拆分：CREATE TABLE user_log(userId INT(11)NOT NULL,name VARCHAR(64)NOT NULL,operation VARCHAR(128)DEFAULT NULL,actionDate DATE DEFAULT NULL)此时可以选择用户...
功能特性
具体说明如下：支持采集服务器与应用相关的日志、时序数据和链路数据。支持采集物联网设备日志。支持采集阿里云产品日志。支持采集移动端数据。支持采集Logstash、Flume、Beats、FluentD、Telegraf等开源软件中的数据。支持通过HTTP、HTTPS...
日志聚合多维指标智能巡检
当服务器出现问题时，日志服务将展示QPS、延时、出入流量、成功率等不同维度指标的变化，并通过钉钉群通知给运维人员，便于运维人员及时判断故障，解决问题。SLB 7层访问日志示例如下图所示。步骤一：创建智能巡检任务 登录 日志服务控制台...
GetHistograms-查询日志分布情况
日志服务按日志时间戳把日志分为如下两类：实时数据：日志中时间点为服务器当前时间点（-180 秒，900 秒]。例如，日志时间为 UTC 2014-09-25 12:03:00，服务器收到时为 UTC 2014-09-25 12:05:00，则该日志被视作实时数据处理。实时数据从...
GetHistograms
日志服务按日志时间戳把日志分为如下两类：实时数据：日志中时间点为服务器当前时间点（-180秒，900秒]。例如，日志时间为UTC 2014-09-25 12:03:00，服务器收到时为UTC 2014-09-25 12:05:00，则该日志被视作实时数据处理。实时数据从写入到...
GetLogs-查询日志库日志
日志服务按日志时间戳把日志分为如下两类：实时数据：日志中时间点为服务器当前时间点\(-180 秒，900 秒]。例如，日志时间为 UTC 2014-09-25 12:03:00，服务器收到时为 UTC 2014-09-25 12:05:00，则该日志被作为实时数据处理，一般出现在...
GetLogs
日志服务按日志时间戳把日志分为如下两类：实时数据：日志中时间点为服务器当前时间点(-180秒，900秒]。例如，日志时间为UTC 2014-09-25 12:03:00，服务器收到时为UTC 2014-09-25 12:05:00，则该日志被作为实时数据处理，一般出现在正常...
消费-计量计费日志
计量日志散落在很多服务器中怎么办？使用Logtail Agent实时采集。使用自定义用户标识定义一套动态机器组弹性伸缩。查询明细需求如何满足？对LogHub中的数据创建索引，支持实时查询与统计分析。Inflow>300000 and Method=Post*and Status in...
计费案例
按量付费方式 按使用功能计费模式案例 案例1（免费使用日志服务）假设您有1台服务器，每天产生10 MB日志，您希望通过日志服务（Shard数量为1个，保存时间为1天）分析每天的日志，并通过Java程序实时订阅。假设本案例中的上传压缩率为20%。...
基础资源
在服务器上安装Logtail及在日志服务控制台上创建Logtail采集配置后，日志服务会实时下发Logtail采集配置。Logtail的更多信息，请参见 Logtail采集详情。日志保存时间 日志保存时间，单位为天。取值范围为1~3650，如果设置为3650，表示永久...
- 产品推荐
- 这些文档可能帮助您