数据采集常见问题
如何排查容器日志采集异常 查询本地采集状态 如何在日志样例中设置不可见字符 如何查看Logtail采集错误信息 日志服务采集数据常见的错误类型 如何调试正则表达式 如何优化正则表达式的性能 如何通过完整正则模式采集多种格式日志 如何采集K...
Logtail常见问题
如何使用Logtail自动诊断工具 Windows场景 Windows实例安装Logtail服务日志提示异常信息 容器场景 如何采集K8s集群的容器日志 日志格式解析问题 如何调试正则表达式 如何优化正则表达式的性能 如何通过完整正则模式采集多种格式日志 ...
常见问题
如何排查容器日志采集异常 查询本地采集状态 如何在日志样例中设置不可见字符 如何查看Logtail采集错误信息 日志服务采集数据常见的错误类型 如何调试正则表达式 如何优化正则表达式的性能 如何通过完整正则模式采集多种格式日志 ...
采集Node.js日志
本文介绍如何使用Logtail采集Node.js日志。背景信息 log4js是一个Node.js日志管理工具，您可以通过log4js把Node.js日志打印到文件中，并自定义日志格式，便于日志采集和整理。log4js分为6个输出级别，从低到高分别为trace、debug、info、...
钉钉应用配置SLS审计日志
也支持通配符模式匹配 模式 完整正则模式 采集日志的模式 日志样例 2022-03-09 18:36:13.236 INFO LogHelper.printProviderLog(85):ANTL_41A46571-0B69-1BD0-851C-35A893395774 userId=1309208528360047,sourceIpAddress=106.11.41.212,...
查询不到日志的排查思路
parse regex log fail：通过完整正则模式采集日志出错。分词符设置错误 查看已设置的分词符，根据分词符对日志内容进行分割后，确认是否可以得到关键字。例如分词符为,;()[]{}?日志内容为 abc”defg,hij，则该日志会被分割为 abc”...
采集Log4j日志
本文介绍如何通过Loghub Log4j Appender或Logtail采集Log4j日志。背景信息 Log4j是Apache的一个开放源代码项目，通过Log4j，可以控制日志的优先级、输出目的地和输出格式。日志的优先级从高到低为ERROR、WARN、INFO、DEBUG，日志的输出目的...
日志（Log）
日志（Log）是系统运行过程中变化的一种抽象数据，其内容为指定对象的操作和其操作结果按时间的有序集合。...通过完整正则模式采集到日志服务后的日志 Logtail将日志内容结构化，即根据您所设置的正则表达式将日志内容提取为多个键值对。
采集Python日志
本文介绍如何通过Logtail采集Python日志。背景信息 Python的logging模块提供通用的日志系统，可供第三方模块或者应用使用。logging模块定义了不同的日志级别和记录日志的方式。logging模块包括logger、handler、filter、formatter四个组件...
设置日志收集至SLS
SLS采集标准输出去除前缀 如果您需要对SLS日志内容做更多个性化的字段提取设置，例如，去除标准输出日志的前缀，可选择 完整正则模式，并配置如下信息。行首正则表达式 \d+-\d+-\d+T\d+:\d+:\d+.\d+\+\d+.*正则 \d+-\d+-\d+T\d+:\d+:\d+.\d...
通过Logtail跨阿里云账号采集日志
具体参数说明，请参见 使用完整正则模式采集日志。重要 默认一个文件只能匹配一个Logtail采集配置。此时账号B下的采集未停止，账号A下的Logtail采集配置无法生效，因此您需要使用如下方式使账号A下的Logtail采集配置生效。停止账号B下的...
通过Sidecar-CRD方式采集容器文本日志
本文介绍如何安装Sidecar及使用CRD方式创建Logtail配置，完成容器文本日志的采集。前提条件 目标容器持续产生日志。重要 Logtail只采集增量日志。如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请...
设置Logtail启动参数
采集模式 性能极限 极简模式 440 MB/s 完整正则模式 70 MB/s 分隔符模式 75 MB/s JSON模式 75 MB/s 设置启动参数 在安装Logtail的服务器上，打开/usr/local/ilogtail/ilogtail_config.json 文件。此步骤适用于主机环境。在容器或Kubernetes...
过滤日志
说明 日志字段的值完全匹配 采集日志 中的正则表达式，且不匹配 丢弃日志 中的正则表达式时，日志才会被采集，否则直接丢弃。参数 说明 采集日志 输入日志字段名和该字段值匹配的正则表达式。如果原始日志中的目标字段值符合对应的正则表达...
如何调试正则表达式
在配置Logtail采集文本日志时，如果选择完整正则模式解析和采集日志，需要根据您的日志样例配置正则表达式。本文主要介绍在配置正则表达式过程中如何进行调试。重要 本文档可能包含第三方产品信息，该信息仅供参考。阿里云对第三方产品的...
通过 Prometheus 监控 OceanBase 数据
当需要采集指定指标时，格式如下：instances:instance_id:xxx tenant_id:xxx instance_type:cluster metrics:sql_all_rt-sql_delete_rt 说明 采集指标过多可能会影响采集速度，适当情况下拆分为多个 exporter。通过 Java 直接运行 OBCloud ...
采集-多渠道数据
日志服务LogHub功能提供数据实时采集与消费，其中实时采集功能支持50+种手段。数据采集一般有两种方式，区别如下。本文档主要讨论通过LogHub流式导入（实时）采集数据。方式 优势 劣势 例子 批量导入 吞吐率大，面向历史存量数据 实时性较...
阿里云Elasticsearch数据采集解决方案
因此，除其他功能外，Logstash还在正则表达式的基础上，提供了解析CSV、JSON、键/值对、分隔的非结构化数据、复杂的非结构化数据的过滤器（grok过滤器）。Logstash还提供了更多的过滤器，通过执行 DNS查找，添加 关于IP地址的地理信息，或...
如何通过完整正则模式采集多种格式日志
完整正则模式要求日志必须采用统一的格式，但有些时候日志中可能会包含多种格式，您可以采用Schema-On-Write和Schema-On-Read两种模式处理。以 Java 日志为例，作为一个程序日志，它一般既包含正常信息，也会包含异常栈等错误信息。WARNING...
正则解析
Logtail正则解析插件支持通过正则表达式提取日志字段，并将日志解析为键值对形式。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始字段 ...
UpdateSlsLogStore-配置应用的日志服务
LogDir：若为标准输出类型，则采集路径为 stdout.log，若为文件类型，则为采集的文件路径，支持通配符，采集路径应符合正则：^/(.+)/(.*)[^/]$。[{"logstore":"thisisanotherfilelog","type":"file","logDir":"/var/log/*"},{"logstore":"...
导入Amazon S3文件
跨行文本日志特有参数 参数 说明 正则匹配位置 设置正则表达式匹配的位置，具体说明如下：首行正则：使用正则表达式匹配一条日志的行首，未匹配部分为该条日志的一部分，直到达到最大行数。尾行正则：使用正则表达式匹配一条日志的行尾，未...
正则表达式入门教程
正则表达式是一种强大的文本匹配工具，可以用于在文本中查找特定的模式。本文将提供简单且实用的正则表达式快速上手教程，帮助您快速掌握其基本用法。 重要 本文档可能包含第三方产品信息，该信息仅供参考。阿里云对第三方产品的性能、...
采集WordPress日志
本文以通过完整正则模式采集WordPress日志为例。登录 日志服务控制台。在 接入数据 区域，选择 正则-文本日志。选择目标Project和Logstore，单击 下一步。创建机器组。如果您已有可用的机器组，请将该机器组添加到 应用机器组。如果您还...
采集策略
正则表达式匹配 通过正则表达式进行采集策略的匹配。操作符：~=示例：keep instance.name~="^\d+$"表示纯数字的实例名通过当前判断。说明 默认为部分匹配，如果需要完全匹配，需要在开头和结尾加上^和$。数值比较 对数值进行比较。操作符：...
导入OSS数据
跨行文本日志特有参数 参数 说明 正则匹配位置 设置正则表达式匹配的位置，具体说明如下：首行正则：使用正则表达式匹配一条日志的行首，未匹配部分为该条日志的一部分，直到达到最大行数。尾行正则：使用正则表达式匹配一条日志的行尾，未...
通过DaemonSet-控制台方式采集Kubernetes容器标准输出
本文介绍如何通过控制台创建Logtail配置，并以DaemonSet采集方式采集容器标准输出。前提条件 已安装Logtail组件。具体操作，请参见 安装Logtail组件（阿里云Kubernetes集群）。在您安装Logtail组件时所使用的Project中已完成Logstore创建。...
Logtail采集详情
分行 如果Logtail采集配置中指定了行首正则表达式，则Logtail根据行首正则表达式对每次读取的日志进行分行，切分成多条日志；如果没有指定行首正则表达式，则将一行日志作为一条日志处理。解析 根据Logtail采集配置中配置的采集模式，对每...
概述
原生插件 插件名称 说明 正则解析 使用正则表达式提取日志字段，并将日志解析为键值对形式。更多信息，请参见 正则解析。JSON解析 将JSON日志解析为键值对形式。更多信息，请参见 JSON解析。分隔符模式解析 将分隔符模式的日志结构化，解析...
通过DaemonSet方式采集Kubernetes容器文本日志
文件路径提取：设置为文件路径正则，则需要设置 自定义正则，用正则表达式从路径里提取一部分内容作为Topic。用于区分不同源产生的日志。自定义：自定义日志主题。高级参数 其它可选的与配置全局相关的高级功能参数，请参见 创建Logtail...
日志服务
ADP底座对于客户的业务日志提供了日志采集、字段提取、监控分析、告警通知等能力。功能概述 ADP底座的日志采集器有以下功能：根据日志路径配置日志采集任务，定期汇集日志到Loki存储中，便于后续做日志查询和分析。根据分隔符、json、表达...
性能洞察
如果目标实例未开启performance_schema，则采集和分析活跃会话数据。操作步骤 登录 PolarDB控制台。在控制台左上角，选择集群所在地域。在 集群列表 页，单击目标集群ID。在左侧导航栏中，选择 诊断与优化>一键诊断。单击 性能洞察 页签。...
性能洞察
如果目标实例未开启performance_schema，则采集和分析活跃会话数据。操作步骤 登录 PolarDB控制台。在控制台左上角，选择集群所在地域。在 集群列表 页，单击目标集群ID。在左侧导航栏中，选择 诊断与优化>一键诊断。单击 性能洞察 页签。...
性能洞察（旧版）
如果目标实例未开启performance_schema，则采集和分析活跃会话数据。操作步骤 登录 PolarDB控制台。在左侧导航栏单击 集群列表。在左上角，选择集群所在地域。在 集群列表 页，单击目标集群ID。在左侧导航栏中，选择 诊断与优化>一键诊断。...
日志服务采集数据常见的错误类型
本文介绍日志服务采集数据常见的错误类型及对应的解决方法。如果您遇到其他问题，请提交 工单 处理。错误类型 错误说明 解决方法 LOG_GROUP_WAIT_TOO_LONG_ALARM 数据包从产生到发送的过程中等待的时间较长。检查发送是否正常，或者是否...
快速入门
请选择目标ECS实例所在地域，即可使用阿里云内网采集日志，加快采集速度。创建Project后，无法修改其所属地域，且日志服务不支持跨地域迁移Project。单击 创建。创建Logstore。创建Project完成后，系统会提示您创建一个Logstore。在 创建...
性能洞察（旧版）
如果目标实例未开启performance_schema，则采集和分析活跃会话数据。操作步骤 登录 DAS控制台。在左侧导航栏中，单击 实例监控。找到目标实例，单击实例ID，进入目标实例详情页。在左侧导航栏中，单击 性能洞察。单击 开启性能洞察，在弹出...
性能洞察
如果目标实例未开启performance_schema，则采集和分析活跃会话数据。操作步骤 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏中，选择 自治服务>一键诊断。在 性能洞察 页签，单击 开启性能洞察，在弹出的对话框中...
如何优化正则表达式的性能
通过优化正则表达式的性能，可以达到优化采集性能的目的。关于如何优化正则表达式，为您提供以下建议：使用更为精确的字符。不随意使用.*来匹配字段，这个表达式包含了很大的搜索空间，容易发生误匹配，导致匹配性能下降。比如您要提取的...
采集主机文本日志
文件路径提取：设置为文件路径正则，则需要设置 自定义正则，用正则表达式从路径里提取一部分内容作为Topic。用于区分不同用户或实例产生的日志。自定义：自定义日志主题。高级参数 Logtail配置的部分参数需要手动输入，请参见 创建Logtail...
- 产品推荐
- 这些文档可能帮助您