云速搭部署 SLS 实现日志采集处理分析
通过云速搭部署 ECS+SLS，在 ECS 上安装 logtail 收集 nginx 应用日志写入SLS。...产品列表 云服务器ECS 专有网络VPC 日志服务SLS 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 SLS 实现日志采集处理分析》
ECS实例宕机并产生“Objects remaining...kmalloc”告警日志...
如果您在ECS实例内使用memory cgroup kmem功能时内核存在 Objects remaining in kmalloc 告警日志，且实例出现宕机，则可以参考本文提供的方案解决问题。问题现象 当您在ECS实例内使用memory cgroup kmem功能时，内核有类似于如下所示的告...
ECS实例宕机并产生“VFS:...block”日志，如何处理？
如果您的ECS实例在启动过程中循环宕机，且产生了 VFS:Unable to mount root fs on unknown-block 日志信息，则可以参考本文提供的方案解决问题。问题现象 ECS实例在启动过程中出现循环宕机，无法正常进入系统，且产生类似于如下所示的调用...
get_target_pstate_use_performance”日志，...
如果您的ECS实例在启动过程中宕机，且产生了 RIP:get_target_pstate_use_performance 日志，则可以参考本文提供的方案解决问题。问题现象 您在启动ECS实例的过程中，实例出现宕机，并且有类似于如下所示的调用栈：[1.076899]divide error:...
Nginx实时日志中无信息，在文件日志能查看...
SAE 允许实时日志和文件日志同时存在，您需要查看镜像本身是否存在标准输出。Nginx的 error_log 和 access_log 均指向文件，如需同时输出，需要配置Docker容器的 stdout/stder。验证Dockerfile文件中是否配置 stdout/stder 的方法如下。...
如何处理健康检查导致的大量日志
负载均衡的日志管理功能会自动保存三天内的健康检查日志，如果健康检查日志过多，对您的运维工作造成不便，本文以CLB为例为您介绍，您可以选择以下方案来减少或禁止某些场景下健康日志的产生。说明 减少健康检查日志的数量可能会导致您无法...
查看文件日志时，在SLS控制台无数据展示，如何处理？
如果SLS无数据显示，建议使用Webshell查看应用是否有文件日志信息。如果有，加入钉群（钉群号：32874633），联系产品技术专家进行咨询。如果没有，请对应用进行检查，可以通过 SAE Webshell查看并调试容器。更多信息，请参见 使用Webshell...
Alibaba Cloud Linux 2系统的ECS实例内核日志存在...
本文为您介绍Alibaba Cloud Linux 2系统的ECS实例内核日志存在“integrity:Unable to open file”信息的原因及解决方案。问题描述 符合如下条件的Alibaba Cloud Linux 2实例的内核日志（执行 dmesg 命令查看日志）中存在类似如下的提示信息...
过滤处理
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始字段 解析日志前，用于存放日志内容的原始字段。白名单 只采集符合白名单条件的日志，您...
错误处理
LogException LogException类是SDK定义的、用于处理日志服务自身逻辑错误的异常类。它继承自各个语言的异常基类，提供如下异常信息：错误代码（Error Code）：标示错误类型。如果是来自服务端的返回错误，则这个错误代码与API返回的错误...
脱敏处理
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始字段 解析日志前，用于存放日志内容的原始字段。脱敏方式 脱敏方式，包括：const：将敏感...
日志数据预处理与投递
本视频介绍如何对日志数据进行预处理与投递。
Logtail采集详情
本文介绍Logtail的采集过程，包括监听日志、读取日志、处理日志、过滤日志、聚合日志和发送日志。采集过程 Logtail采集数据的过程如下：监听日志 读取日志 处理日志 过滤日志 聚合日志 发送日志 说明 更多关于Logtail采集原理的介绍，请...
消费-通过消费组实现高可靠消费
日志处理是一个很大范畴，其中包括实时计算、数据仓库、离线计算等众多点。这篇文章主要介绍在实时计算场景中，如何能做到日志处理保序、不丢失、不重复，并且在上下游业务系统不可靠（存在故障）、业务流量剧烈波动情况下，如何保持这三点...
字段值映射处理
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。配置说明 表单配置方式 配置 处理器类型 为 字段值映射处理，相关参数说明如下表所示。参数 说明 原始字段 原始字段...
使用前须知
功能优势 简单：将开发、运维人员从日志处理的繁琐耗时中解放出来，将更多的精力集中到业务开发和技术探索上去。海量：访问日志与CLB实例请求PV成正比，数据规模很大，处理访问日志需要考虑性能和成本问题。日志服务可以1秒钟分析一亿日志...
语法简介
加工逻辑：基本处理：数据加工会以流式方式读取源Logstore的数据，并将每一条日志以字典的数据结构传递给加工规则，然后根据加工规则中定义的日志函数顺序处理日志数据，并将最终的数据加工结果输出到目标Logstore。说明 在传递的过程中...
概述
当原始数据量的生成速度超过5 MB/s时，不建议您使用过于复杂的插件组合来处理日志，您可以使用Logtail扩展插件进行简单处理，再通过 数据加工 完成进一步处理。日志采集限制 扩展插件对文本日志的处理采用行模式，即文件级别的元数据（例如...
正则表达式
以下示例为分组和不分组的区别："""处理前日志为：SourceIP:192.0.2.1 处理后日志为：SourceIP:192.0.2.1 ip:192.0.2.1"""#不分组:e_regex("SourceIP",r"\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}","ip")#分组:e_regex("SourceIP","\d{1,3}(.\d{...
采集主机文本日志
日志样例可协助您配置日志处理相关参数，降低配置难度。支持添加多条样例，总长度不超过1500个字符。[2023-10-01T10:30:01,000][INFO]java.lang.Exception:exception happened at TestPrintStackTrace.f(TestPrintStackTrace.java:3)at ...
消费-计量计费日志
将计量日志处理并行化 LogHub下每个日志库可以分配不同Shard（分区），我们可以分配3个分区，3个计量消费程序。为了保证一个用户计量数据总是由一个消费程序处理，我们可以根据用户ID Hash到固定Shard中。例如杭州市西湖区用户写在1号Shard...
使用前须知
功能优势 简单：一站式开通、中心化使用，无需关心日志收集、存储、计算、可视化等问题，将开发、运维人员从日志处理的繁琐耗时中解放出来，将更多的精力集中到业务开发和技术探索上去。海量：访问日志与Ingress请求PV成正比，数据规模很大...
Logtail
性能 限制项 限制说明 日志处理吞吐能力 原始日志流量默认限制为20 MB/s（数据被编码压缩后上传，一般压缩率为5~10倍）。超过该日志流量则有可能丢失日志，您可启动参数 max_bytes_per_sec 进行调整。具体操作，请参见 设置Logtail启动参数...
使用前须知
功能优势 简单：一站式开通、中心化使用，无需关心日志收集、存储、计算、可视化等问题，将开发、运维人员从日志处理的繁琐耗时中解放出来，将更多的精力集中到业务开发和技术探索上去。海量：访问日志数据规模很大，处理访问日志需要考虑...
Logtail限制说明
性能 限制项 限制说明 日志处理吞吐能力 原始日志流量默认限制为20 MB/s（数据被编码压缩后上传，一般压缩率为5~10倍）。超过该日志流量则有可能丢失日志，您可启动参数 max_bytes_per_sec 进行调整。具体操作，请参见 设置Logtail启动参数...
日志采集Agent对比
中心化的日志处理方案有效地解决了在完整生命周期内对日志的消费需求，而日志从设备采集上云是始于足下的第一步。三款日志采集工具 Logstash 开源界ELK stack中的”L”，社区活跃，生态圈提供大量插件支持。Logstash基于JRuby实现，可以跨...
通过消费组读取文本日志进行模板发现
采样率 通过采样率调整文本分析作业处理日志的比例，默认为1，即处理全部日志。如果采样率小于1，文本分析作业会随机选取对应比例的日志进行处理。该参数适用于海量日志场景，当日志量超过作业的处理能力时，您可以调小该参数。分隔符 文本...
通过消费组读取文本日志进行模板匹配
采样率 通过采样率调整文本分析作业处理日志的比例，默认为1，即处理全部日志。如果采样率小于1，文本分析作业会随机选取对应比例的日志进行处理。该参数适用于海量日志场景，当日志量超过作业的处理能力时，您可以调小该参数。分隔符 文本...
使用前须知
功能优势 简单：一站式开通、中心化使用，无需关心日志收集、存储、计算、可视化等问题，将开发、运维人员从日志处理的繁琐耗时中解放出来，将更多的精力集中到业务开发和技术探索。海量：访问日志与ALB实例请求PV成正比，数据规模很大，...
使用Kafka协议上传日志
示例八：Vector配置Kafka协议上传 Vector 是一款轻量级、高性能的日志处理软件，它支持Kafka协议的方式上报日志。下面是Vector通过Kafka兼容模式写入SLS的配置方法。配置示例[sinks.aliyun_sls]type="kafka"inputs=["file_logs"]#定义...
通过Sidecar方式采集Kubernetes容器文本日志
如果没有正确配置时区，可能导致原始日志与处理日志的时间标签不匹配，进而将日志数据归档到错误的时间点。name:TZ value:"${timezone}"-name:ALIYUN_LOGTAIL_USER_ID value:"${your_aliyun_user_id}"-name:ALIYUN_LOGTAIL_USER_DEFINED_ID...
使用前须知
功能优势 简单：一站式开通、中心化使用，无需关心日志收集、存储、计算、可视化等问题，将开发、运维人员从日志处理的繁琐耗时中解放出来，将更多的精力集中到业务开发和技术探索上去。海量：访问日志与CLB实例请求PV成正比，数据规模很大...
Logtail基本问题
Logtail采集原理包括监听文件、读取文件、处理日志、过滤日志、聚合日志和发送数据等过程。更多信息，请参见 Logtail采集原理。Logtail是否支持日志文件轮转？Logtail支持日志文件轮转。例如app.LOG文件通过日志文件轮转生成app.LOG.1、app...
过滤日志
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。processor_filter_regex 通过正则表达式匹配日志字段的值，从而实现日志过滤。表单配置方式 参数说明 配置 处理器...
什么是Logtail
自动处理日志轮转 很多应用会按照文件大小或者日期对日志文件进行轮转（rotation），把原日志文件重命名，并新建一个空日志文件等待写入。例如：app.LOG 文件，通过日志轮转会生成 app.LOG.1、app.LOG.2 等。您可以指定采集日志写入的文件...
分隔符模式解析
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数 描述 原始字段 解析日志前，用于存放日志内容的原始字段，默认值为content。分隔符 请根据您的日志内容...
通过DaemonSet方式采集Kubernetes容器文本日志
如果需要只使用一个Logtail实例收集Kubernetes节点上所有容器的日志，可以使用DaemonSet方式在Kubernetes集群上部署Logtail。本文介绍DaemonSet方式采集容器文本日志的工作原理、使用限制、前提条件、操作步骤等信息。工作原理 DaemonSet...
丢弃字段
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。配置说明 重要 Logtail 0.16.28及以上版本支持processor_drop插件。表单配置方式 参数说明 配置 处理器类型 为 丢弃...
添加字段
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail采集配置时，添加插件配置。具体操作，请参见 概述。配置说明 重要 Logtail 0.16.28及以上版本支持processor_add_fields插件。表单配置方式 参数说明 配置 处理器...
正则解析
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始字段 解析日志前，用于存放日志内容的原始字段，默认值为content。正则表达式 用于匹配日志...
- 产品推荐
- 这些文档可能帮助您