通过HTTPS投递日志到SIEM
option,settings=get_monitor_option()logger.info("*start to consume data.")worker=ConsumerWorker(SyncData,option,args=(settings,))worker.start(join=True)if_name_='_main_':main()程序配置示例 配置内容 程序日志文件：以便后续...
使用GetLogs接口查询日志
已安装日志服务Python SDK。具体操作，请参见 安装Python SDK。已采集日志。具体操作，请参见 日志采集。已阅读GetLogs接口的参数说明。更多信息，请参考 GetLogs。注意事项 本示例以华东1（杭州）的公网Endpoint为例，其公网Endpoint为 ...
EMR HBase日志说明
日志文件保留策略 由于*.gc和*.out日志文件日志量较少，这里的日志文件保留策略主要是针对*.log日志文件。默认保留策略：保留20个，每个文件最大256 MB。说明 您可以根据实际需求修改/etc/taihao-apps/hbase-conf/log4j.properties 配置...
应用监控指标
服务总览 指标名称 说明 单位 数据源 ERROR 应用错误 次 应用日志（自定义日志文件）配置于 Error 应用错误。PV 页面访问量 次 应用日志（自定义日志文件）配置于 PV 页面访问量。Service 应用服务被调用 次 应用日志（自定义日志文件）...
日志转存
日志文件命名规则 转存后的日志文件命名规则如下：<TargetPrefix><SourceBucket>YYYY-mm-DD-HH-MM-SS-UniqueString 字段 说明 TargetPrefix 日志文件的文件名前缀。SourceBucket 产生访问日志的源Bucket名称。YYYY-mm-DD-HH-MM-SS 日志文件...
Logtail采集日志失败的排查思路
操作步骤 确认日志文件是否有更新。Logtail只采集增量的日志。更多信息，请参见 读取文件。如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件。如果下发Logtail配置后，日志文件有更新，请执行下一步。确认机器组心跳是否...
使用Cloud Shell下载日志数据
通过Cloud Shell可以快速下载较大数量的日志文件，并快速上传至OSS。本文介绍使用Cloud Shell下载日志数据。前提条件 如果您使用RAM用户下载日志，则需要先给RAM用户授予以下权限：只读访问日志服务的权限（AliyunLogReadOnlyAccess）。...
日志管理
如果已经将某个日志文件添加到日志服务，也可以在 日志目录 页面日志文件列表的 操作 列，单击 搜索。在 日志搜索 页面 日志文件 下拉列表中选择日志目录或日志文件。查看应用日志。查看应用日志包括 日志聚类、LiveTail 和 查询和分析。...
LiveTail
在传统的运维方式中，如果需要对日志文件进行实时监控，需要在服务器上对日志文件执行 tail-f 命令，如果实时监控的日志信息不够直观，还需加上 grep 命令或者 grep-v 命令进行关键词过滤。日志服务在控制台提供了日志实时监控的交互功能...
导入历史日志文件
您需要在Logtail的安装目录下执行导入历史日志文件的操作，该安装目录在不同操作系统中位于不同位置，具体说明如下表所示。操作系统 Logtail Logtail安装目录 Linux Logtail（64位程序）/usr/local/ilogtail Windows（64位操作系统）...
IIS模式解析
配置说明 参数名称 说明 日志格式 选择您的IIS服务器日志采用的日志格式，具体说明如下：IIS：Microsoft IIS日志文件格式。NCSA：NCSA公用日志文件格式。W3C：W3C扩展日志文件格式。IIS配置字段 配置IIS配置字段，具体说明如下：日志格式为...
回收站
例如使用Nginx配置了自动轮转日志且最多保留20个日志文件，当日志文件 test.log.19 轮转为日志文件 test.log.20 时，原日志文件 test.log.20 将进入回收站。说明 如果仅覆写文件内容，不删除该文件，不会触发文件进入回收站。例如调用 open...
日志主题
如果不同的用户或者实例将日志保存在不同目录中，但是下级目录和日志文件名相同，日志服务在采集日志时无法明确区分日志是由哪个用户或实例产生的。提取文件路径中的单个值 您可以在创建Logtail配置时将 Topic生成方式 设置为 文件路径正则...
查看文件日志
您可以通过给日志文件名称添加通配符的方式滚动日志。文件名称通配符支持星号（*）和问号?查看文件日志时，在 SLS控制台 无数据展示，如何处理？通常SLS默认查询最近15分钟内的查询结果。如果SLS无数据显示，建议使用Webshell查看您的应用...
查询不到日志的排查思路
待采集的日志文件没有实时写入数据。您可以打开/usr/local/ilogtail/ilogtail.LOG 查看报错信息。常见错误如下：parse delimiter log fail：通过分隔符模式采集日志出错。parse regex log fail：通过完整正则模式采集日志出错。分词符设置...
设置日志收集至SLS
您可以通过给日志文件名称添加通配符的方式滚动日志。文件名称通配符支持星号（*）和问号?查看文件日志时，在 SLS控制台 无数据展示，如何处理？通常SLS默认查询最近15分钟内的查询结果。如果SLS无数据显示，建议使用Webshell查看您的应用...
Logtail配置
preserve boolean 否 true 如果一个日志文件在指定时间内没有任何更新，则认为该文件已超时。可选值如下：true（默认）：永不超时。false：如果日志文件在30分钟内没有更新，则认为已超时，并不再监控该文件。preserveDepth integer 否 1 ...
云数据库RDS
mysql_perf_innodb_log_write_requests 平均每秒日志写请求数 mysql_perf_innodb_log_writes 平均每秒向日志文件的物理写次数 mysql_perf_innodb_os_log_fsyncs 平均每秒向日志文件完成的fsync()写数量 mysql_perf_ins_size RDS实例磁盘...
设置Logtail启动参数
需要采集的日志文件数目大（同时采集的文件数超过100个或所监控的目录下的文件数超过5000个），占用大量内存。日志数据流量大（例如极简模式下超过2 MB/s，正则模式下超过1 MB/s），导致CPU占用率高。Logtail发送数据到日志服务的速率超过...
导入Amazon S3文件
阿里云日志服务SLS支持导入Amazon S3中的日志文件。您可以通过数据导入的方式将Amazon S3的日志文件导入到阿里云的日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5GB以内的S3文件，压缩文件大小按照压缩后的大小计算。...
设置日志收集至Kafka
文件名与路径支持正则匹配，同一目录下，如果日志文件数量多且文件格式相同，可以输入例如/xxx/xxx/xxx/*.log 的格式。重要 请勿在 日志源 的存放目录中存放其他重要文件，避免目录内的文件被覆盖。Kafka Topic名称 选择已创建的Kafka ...
日志类型
M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b file_dev 日志文件的device ID。说明 当 file_name 为 logstore_...
应用日志管理
特别是对于采用分布式部署的复杂PaaS类软件的服务，用户需要在多台主机上检索日志文件。操作繁琐，用户体验差。计算巢私有部署服务提供应用日志功能，通过集成日志服务（SLS）将私有部署服务的应用日志收集到日志服务的日志库（logstore）...
配置日志采集
本文介绍如何在EDAS控制台中配置日志采集功能，将部署在容器服务Kubernetes集群中的应用的相关业务文件日志、容器标准输出日志采集到日志服务进行查询分析。前提条件 已创建ACK集群。具体操作，请参见 创建Kubernetes托管版集群、创建...
日志管理
持久化日志：创建或部署任务时，SAE 可以自动打通日志服务SLS，将容器标准输出日志（stdout）和业务文件日志（容器内日志路径）输出到SLS，帮助您无限制行数地查看日志、自聚合分析日志。设置日志收集 创建或者编辑任务模板时，如果您启用...
PolarDB云原生数据库
mysql_perf_innodb_log_write_requests 每秒日志写请求数 mysql_perf_innodb_os_log_fsyncs 每秒向日志文件完成的fsync()写数量 mysql_perf_innodb_rows_deleted 每秒删除的行数 mysql_perf_innodb_rows_inserted 每秒插入的行数 mysql_...
导入OSS数据
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
日志
单击节点的 日志，查看日志详情：平台提供了节点维度的日志查看功能，包括：文件日志、控制台输出日志、应用节点部署事件。文件日志 进入 日志功能 后，默认页面即为文件日志。这些文件日志来自于应用本身。应用在开发时往往会将日志写在...
保留字段
Logtail采集的日志文件路径，Logtail为日志自动填加该字段。可用于日志查询、分析、自定义消费。对该字段进行SQL分析时，需要给该字段加上双引号。tag_:_hostname_字符串格式。索引设置：开启索引后，日志服务默认为_tag_:_hostname_创建...
日志采集Agent对比
不支持 支持cpu/内存阈值保护 日志文件采集场景-性能对比 以Nginx的access log为样例，如下一条日志365字节，结构化成14个字段：在下面的测试中，将模拟不同的压力将该日志重复写入文件，每条日志的time字段取当前系统时间，其它13个字段...
文件存储 HDFS 版（Apsara File Storage for HDFS）...
ActionTrail中记录的 文件存储 HDFS 版（Apsara File Storage for HDFS）操作日志 文件存储 HDFS 版（Apsara File Storage for HDFS）的操作审计日志主要包含的是API事件，其中OpenAPI事件在ActionTrail中记录的eventType取值为 ApiCall。...
术语表
Logtail配置 Logtail配置是Logtail进行日志采集的策略集合，包括日志文件的位置、采集方式等。更多信息，请参见 Logtail配置。机器组 机器组是包含多台服务器的虚拟分组。日志服务通过机器组的方式管理所有需要通过Logtail采集日志的服务器...
查看文件日志
EDAS对接了日志服务SLS。如果在EDAS的容器服务Kubernetes集群创建或部署应用时开启了日志...在 文件日志（SLS采集）页签下的文件日志列表中的 操作 列，单击 查看文件日志。在日志服务控制台查询及分析日志。具体操作，请参见 查询与分析。
日志服务采集数据常见的错误类型
单击错误查看详细报错，根据其中的日志文件路径、Project、Logstore等信息进行进一步排查。OPEN_LOGFILE_FAIL_ALARM Logtail打开文件出错。单击错误查看详细报错，根据其中的日志文件路径、Project、Logstore等信息进行进一步排查。PARSE_...
高级管理FAQ
以下操作会更新访问时间：读取文件 写入文件 以下操作不会更新访问时间：重命名一个文件 修改文件的用户（user）、用户组（group）、模式（mode）等文件属性 如果一个目录配置了多项生命周期管理策略，文件系统会执行哪一项策略？...
新功能发布记录
全部地域 字段分析 2024年2月 功能名称 功能描述 支持地域 相关文档 导入Amazon S3文件 阿里云日志服务SLS支持导入Amazon S3中的日志文件。您可以通过数据导入的方式将Amazon S3的日志文件导入到阿里云的日志服务，实现日志的查询分析、...
通过Syslog投递日志到SIEM
option,settings=get_monitor_option()logger.info("*start to consume data.")worker=ConsumerWorker(SyncData,option,args=(settings,))worker.start(join=True)if_name_='_main_':main()程序配置示例 配置内容：程序日志文件：以便后续...
如何实现文件中的日志被采集多份
本文介绍如何实现文件日志被采集多份。背景信息 当多个Logtail采集配置匹配同一个文件时，会导致多倍的CPU、内存、磁盘IO和网络IO资源占用，将影响同一台服务器部署的其他服务性能，因此默认情况下，一个文件只能匹配一个Logtail采集配置。...
安装CLI
本文介绍如何安装日志服务命令行工具CLI。安装之前必读 日志服务CLI工具基于Python开发，需要安装Python。安装方法，请参见 Python官网。说明项 说明 当前CLI版本 0.2.6 说明 您可以执行安装命令完成CLI工具的升级。建议您升级到最新版本。...
使用前须知
阿里云企业级分布式应用服务EDAS联合日志服务推出日志功能，支持将部署在容器服务Kubernetes集群中的应用的相关业务文件日志、容器标准输出日志投递到日志服务进行查询与分析。本文介绍EDAS日志功能相关的资产、费用等信息。资产详情 ...
- 产品推荐
- 这些文档可能帮助您