文本日志-文本日志文档介绍内容-阿里云

过滤日志

重要表单配置方式：采集文本日志和容器标准输出时可用。JSON配置方式：采集文本日志时不可用。功能入口当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见概述。processor_filter_...

安装Logtail（Windows系统）

具体操作，请参见配置用户标识、创建IP地址机器组、创建用户自定义标识机器组及采集文本日志。重要若下载Logtail时选择网络为阿里云内网（经典网络、VPC）时，可通过修改ilogtail_config.json文件中的网络参数进行跨地域采集。附录：...

通过Logtail采集Zabbix数据

在接入数据区域，选择 JSON-文本日志。选择目标Project和Logstore，单击下一步。创建机器组。在 ECS机器页签中，选中Zabbix所在的ECS实例，单击创建。更多信息，请参见安装Logtail（ECS实例）。如果Zabbix是安装在自建集群或其他云...

采集Python日志

在接入数据区域，选择正则-文本日志。选择目标Project和Logstore，单击下一步。创建机器组。如果您已有可用的机器组，请将该机器组添加到应用机器组。如果您还没有可用的机器组，请执行以下操作（以ECS为例）。使用场景选择主机场景...

采集Log4j日志

在接入数据区域，选择正则-文本日志。选择目标Project和Logstore，单击下一步。创建机器组。如果您已有可用的机器组，请将该机器组添加到应用机器组。如果您还没有可用的机器组，请执行以下操作（以ECS为例）。使用场景选择主机场景...

新功能发布记录

全部地域通过DaemonSet方式采集Kubernetes容器文本日志 通过Sidecar方式采集Kubernetes容器文本日志 使用Terraform配置Logtail采集配置 Terraform是一种开源工具，用于安全高效地预览、配置和管理云基础架构和资源。用户可以使用Terraform...

安装Logtail组件（阿里云Kubernetes集群）

如果您要采集 ACK Serverless集群中的容器文本日志和标准输出，请参见通过Pod环境变量采集应用日志。当您的阿里云Kubernetes集群与日志服务属于不同的阿里云账号时，安装Logtail组件后，您还需要用户标识。具体操作，请参见设置阿里云...

字符串替换

您在使用Logtail采集日志时，可以使用processor_string_replace插件，实现文本日志的全文替换、正则提取替换或去转义符。本文介绍processor_string_replace插件的参数说明和配置示例。重要表单配置方式：采集文本日志和容器标准输出时可用...

常见问题

日志服务提供50多种接入方案，例如使用Logtail采集文本日志、使用Logtail插件采集移动端数据、通过标准协议（Kafka、Syslog等）上传日志、接入阿里云产品日志等。更多信息，请参见接入日志、接入时序数据、接入Trace数据。阿里云会使用我...

通过Logtail跨阿里云账号采集日志

在接入数据区域，选择正则-文本日志。在选择日志空间向导中，选择目标Project和Logstore，单击下一步。配置机器组配置。使用场景选择主机场景。安装环境选择 ECS。选中您在步骤二中创建的机器组，将该机器组从源机器组移动到...

提取日志时间

表单配置方式：采集文本日志和容器标准输出时可用。JSON配置方式：采集文本日志时不可用。表单配置方式参数说明配置处理插件类型为提取日志时间（Go语言时间格式）。相关参数说明如下表所示。参数说明原始时间字段原始字段名。原始...

导入历史日志文件

具体操作，请参见 文本日志概述。说明如果该Logtail配置只用来导入历史日志文件，可以设置一个不存在的采集路径。背景信息 Logtail基于监听文件的修改事件进行日志采集，还支持从本地文件中加载事件，以驱动日志采集。采集历史日志文件...

日志聚类

支持多种格式的文本日志聚合，可应用于DevOps中的问题定位、异常检测、版本回归等运维动作，或应用于安全场景下的入侵检测等。您还可以将聚类结果以分析图表的形式保存在仪表盘中，实时查看聚类数据。功能优势支持任意格式日志，例如Log4j...

安装Logtail组件（自建Kubernetes集群）

Sidecar方式如果您需要通过CRD方式采集日志，请参见通过Sidecar-CRD方式采集容器文本日志。如果您需要通过控制台方式采集日志，请参见通过Sidecar-控制台方式采集容器文本日志。常见问题如何查看镜像版本？您可以通过镜像仓库查看。...

通过Logtail跨阿里云账号采集容器日志

具体参数说明，请参见通过DaemonSet-控制台方式采集容器文本日志。重要默认一个文件只能匹配一个Logtail采集配置。此时账号B下的采集未停止，账号A下的Logtail采集配置无法生效，因此您需要使用如下方式使账号A下的Logtail采集配置生效。...

快速入门

在快速数据接入对话框的自建开源/商业软件页签下，单击单行-文本日志 对应的立即接入。创建机器组。使用场景选择主机场景。安装环境选择 ECS。选择机器组单击创建机器组。在创建机器组面板中，选中目标ECS实例，单击安装并...

创建索引

如果不进行切分，该日志文本会作为一个整体，不能和关键词Chrome完全对应，因此不会被检索到。Mozilla/5.0(Windows NT 6.1)AppleWebKit/537.2(KHTML,like Gecko)Chrome/192.0.2.0 Safari/537.2 为了便于检索，需要将日志切分成独立、可搜索...

Logtail发布历史

1.0.32 新功能采集文本日志时，支持通过扩展配置（"enable_precise_timestamp":true）或processor_strptime插件解析高精度时间。优化优化Kubernetes场景下rootfs探测机制。优化Kubernetes场景下容器运行时的识别机制。问题修复修复...

工作原理

提供可配置的参数使用户可以根据业务需求对日志文本分析进行定制化配置。针对上述特征，日志服务推出文本分析功能，通过算法对于日志中的文本进行一站式的整合与分析。使用文本分析功能后，您只需要配置具体的监控项和少量的算法参数，算法...

Logtail限制说明

非标准文本日志 对于日志中包含 \0 的行，该条日志会被截断到第一个 \0 处，之后部分丢弃。对于其他转义字符（如ASCII颜色）或不可见字符，Logtail将按原样上报。容器采集说明通过Logtail采集容器日志时，除上述文件采集的限制项外，还...

Logtail

非标准文本日志 对于日志中包含 \0 的行，该条日志会被截断到第一个 \0 处，之后部分丢弃。对于其他转义字符（如ASCII颜色）或不可见字符，Logtail将按原样上报。容器采集说明通过Logtail采集容器日志时，除上述文件采集的限制项外，还...

Logtail配置

文本日志的Logtail特有配置基础参数参数名称数据类型是否必填示例描述 logType string 是 common_reg_log 日志的采集模式。具体说明如下：json_log：JSON模式。apsara_log：飞天模式。common_reg_log：完整正则模式。plugin：插件...

提取字段

使用限制 文本日志和容器标准输出只支持表单配置方式，其余输入插件只支持JSON配置方式。功能入口当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail采集配置时，添加插件配置。具体操作，请参见概述。正则模式通过正则表达...

操作日志管理

按日志类型搜索：单击日志类型文本框并选择日志类型（资产、用户、授权组、运维、其他），单击搜索。按操作结果搜索：单击操作结果文本框并选择成功或失败，单击搜索。按日志内容搜索：在日志内容文本框中输入要在日志内容中...

特定格式文本数据加工

原始日志 content:{ 'referer':'-','request':'GET/phpMyAdmin','status':404,'data-1':{ 'aaa':'Mozilla','bbb':'asde' },'data-2':{ 'up_adde':'-','up_host':'-' } } LOG DSL编排将上述 content 数据转换成JSON格式数据。e_set(...

查看审计日志

在日志服务控制台查看审计日志日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的审计日志来源是日志服务。您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的审计日志数据。...

异常类型说明

本文介绍文本分析结果的异常类型。文本分析结果数据保存在名为internal-ml-log的Logstore中，您可以通过该数据中的 result.type 字段和 result.anomaly_type 字段分析异常类型。更多信息，请参见结果字段说明。判断条件异常类型说明 ...

解析CSV格式日志

本文档介绍在解析Syslog或者其他文本格式时，针对数据中以特殊字符分隔的格式如何进行解析。正常形式的CSV格式日志原始日志_program_:error_severity_:6_priority_:14_facility_:1 topic:syslog-forwarder content:198.51.100.1|10/Jun/...

将日志服务数据投递到AnalyticDB MySQL

左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间配置...

正则解析

单击自动生成正则表达式，然后在日志样例文本框中，划选需提取的日志内容，单击生成正则，日志服务会根据您划选的内容，生成正则表达式。单击手动输入正则表达式，输入正则表达式。配置完成后，单击验证即可验证您输入的正则表达式...

LogtailConfig

file：通过固定模式（正则模式、分隔符模式等）采集文本文件中的日志。file inputDetail object 日志输入的相关配置。更多信息，请参见 inputDetail 参数说明。logType":"common_reg_log","logPath":"/var/log/httpd/","filePattern":...

通用数据结构

file：通过固定模式（正则模式、分隔符模式等）采集文本文件中的日志。inputDetail Map"logType":"common_reg_log","logPath":"/var/log/httpd/","filePattern":"access*.log","localStorage":true,"timeFormat":"%Y/m/d%H:%M:%S",...

获取文本（窗口）

1.组件介绍说明必要前置组件：获取窗口利用本组件操作Windows上...利用记录日志组件，选择信息日志类型，日志内容为获取文本（窗口）组件输出的变量执行结果如下图所示，该流程成功将捕获的窗口元素文本并记录到RPA编辑器的日志面板

最佳实践

解析Syslog标准格式数据解析Nginx日志解析Java报错日志提取字符串动态键值对特定格式文本数据加工解析CSV格式日志复杂JSON数据加工转换Log为Metric 从其他Logstore获取数据进行数据富化从OSS获取IPIP库进行IP地址数据富化从OSS...

使用e_dict_map、e_search_dict_map函数进行数据富化

背景信息日志服务数据加工映射富化函数包括普通映射函数和搜索映射函数，两者区别如下所示：普通映射函数使用文本完全匹配方式来映射。普通映射函数包括 e_dict_map 函数和 e_table_map 函数，两者区别在于e_dict_map函数接收的是dict类型...

查看全局数据

日志量整体趋势、产品日志量趋势过去30天的日志量趋势当天的统计有一小时延迟 OSS全局数据仪表盘描述总日志量、小时日志量、天日志量 OSS日志全局统计访问日志总日志量、小时日志量、天日志量访问日志统计计量日志总日志量、小时...

管理日志存储空间

开通DDoS高防全量日志服务后，您可以根据需要修改日志存储容量的规格，或清空已存储的全部日志。背景信息如果您因网站业务调整，导致所需要的日志存储容量发生变化，您可以通过升级增加日志存储容量、通过降配减小日志存储容量。例如...

快速使用WAF日志服务

Web应用防火墙（Web Application Firewall，简称WAF）日志服务通过阿里云日志服务实时地采集已接入WAF防护的网站业务的全量日志，并对采集到的日志数据进行查询与分析，以丰富的仪表盘形式展示查询结果，满足等保合规要求和网站业务的防护...

开启或关闭日志服务

Web应用防火墙（Web Application Firewall，简称WAF）默认关闭日志服务功能。如果您需要存储防护对象的日志数据，并对日志数据进行查询与分析，您需要先开启WAF日志服务。如果您不再需要使用日志服务，您可以降配日志存储容量（包年包月...

日志索引表

云产品分类 CloudLens应用日志类型存储 CloudLens for SLS 重要日志（消费组延迟日志、Logtail告警日志、Logtail采集日志、Logtail状态日志）详细日志任务运行日志（定时SQL任务运行日志、数据导入、投递等任务的运行日志）错误日志 ...

文本日志

新品推荐