日志服务采集数据常见的错误类型
如果是单行日志可以配置为.*。MULTI_CONFIG_MATCH_ALARM 默认情况下，一个文件只能匹配一个Logtail配置。当多个Logtail配置匹配同一个文件时，只会生效一个。说明 Docker标准输出可以被多个Logtail配置采集。删除多余的logtail配置。修改...
消费-通过消费组实现高可靠消费
从船长日志中我们可以发现，日志除了带一个记录的时间戳外，可以包含几乎任意的内容，例如：一段记录文字、一张图片、天气状况、船行方向等。半个世纪过去了，“船长日志”的方式已经扩展到一笔订单、一项付款记录、一次用户访问、一次数据...
使用Python SDK创建分层存储Logstore
您可以通过日志服务控制台，开启智能分层存储功能。具体操作，请参见 开启智能存储分层。注意事项 本示例以华东1（杭州）的公网Endpoint为例，其公网Endpoint为 https://cn-hangzhou.log.aliyuncs.com 。如果您通过与Project同地域的其他...
使用Go SDK创建分层存储Logstore
您可以通过日志服务控制台，开启智能分层存储功能。具体操作，请参见 开启智能存储分层。创建分层存储Logstore的代码示例 本示例中，创建一个 SLSColdLogstore.go 文件，并调用CreateLogStore接口创建分层存储库。示例如下：package main ...
使用Java SDK管理日志库Logstore
日志库（Logstore）是日志服务中数据的采集、存储和查询单元。每个Logstore隶属于一个Project，每个Project中可创建多个Logstore。本文通过代码示例介绍如何创建、修改、查询、删除Logstore等。前提条件 已创建RAM用户并完成授权。具体操作...
快速查询
当您需要频繁查看某一查询和分析语句的结果时，可以将该查询和分析语句另存为快速查询。快速查询是日志服务提供的用于保存查询和分析操作的功能。您可通过保存的历史操作，快速执行查询和分析操作。前提条件 已创建索引。具体操作，请参见 ...
自定义函数开发指南
当您通过函数计算消费日志数据时，在不同场景您可以选择使用日志服务提供的函数模板或自定义函数。本文介绍如何构建一个自定义函数。函数Event 函数Event即运行函数计算的入口参数，格式为一个JSON Object序列化后字符串。参数说明 参数 ...
常见问题
本文介绍使用日志服务前的常见问题。什么是日志服务？日志服务可以做什么？日志服务能为用户带来哪些价值？日志服务支持采集哪些数据？日志服务支持哪些数据接入方式？阿里云会使用我在日志服务上存储的数据吗？阿里云是否会将自己的数据...
字段操作函数
函数格式 e_drop_fields(key1,key2,.,regex=False)参数说明 参数 参数类型 是否必填 说明 key String 是 日志字段名，可以为正则表达式。当字段名完全满足条件时删除该字段，保留不满足条件的字段。关于正则表达式的更多信息，请参见 正则...
常见问题
如何采集K8s集群的容器日志 SLB访问日志采集不到 日志采集Agent对比 Windows系统的ECS安装Logtail服务日志提示异常信息 如何配置日志服务的时间转换格式 数据存储常见问题 日志服务如何存储、管理用户的日志？删除日志库，日志数据是否丢失...
SLB访问日志采集不到
如果发现无法正常采集SLB访问日志，请按照以下步骤排查。1.确认是否为SLB实例开通了访问日志 每个SLB实例需要单独设置，开通后的产生的访问日志将实时写入您的日志服务Logstore。请登录SLB控制台，在左侧导航栏中单击 日志管理>访问日志，...
快速入门
本文以采集分析ECS的Nginx访问日志为例，介绍开通日志服务、创建日志项目与Logstore、Logtail采集日志、查询与分析日志等步骤，帮助您快速上手使用日志服务。前提条件 已有可用的ECS。更多信息，请参见 云服务器ECS快速入门。ECS服务器持续...
Logtail基本问题
如何配置Logtail采集日志 日志服务支持通过Logtail采集文本日志和容器日志，还支持通过Logtail插件采集日志。具体操作，请参见如下文档。采集主机文本日志 通过DaemonSet方式采集Kubernetes容器文本日志 通过Sidecar方式采集Kubernetes容器...
使用前须知
登录流水日志可以帮助您监控用户的活动，及时识别和响应异常行为，从而保障系统的安全性。说明 云安全中心不支持Windows Server 2008操作系统的登录流水日志。实时采集。网络连接日志 aegis-log-network 记录网络连接活动的日志，包括...
上下文查询
开发人员无需登录服务器，在大量日志中通过关键字检索日志，日志服务支持通过控制台查看指定日志在原始文件中的上下文信息。前提条件 已通过Logtail采集到日志。具体操作，请参见 通过Logtail采集日志。重要 如果您使用了Logtail插件处理...
产品架构
本文介绍日志服务的架构。日志服务的架构如下图所示：数据来源 日志服务支持采集开源软件、服务器与应用、阿里云产品、标准协议、移动端、物联网等多种来源的数据。日志服务 数据类型 日志服务为Log、Metric、Trace等数据提供大规模、低...
使用前须知
安全审计 CloudLens for SLS的审计日志可以记录用户对Project内资源的创建、更新和删除操作，便于安全审计人员对特定时间内的操作进行安全分析与审计。资产详情 Project、Logstore、MetricStore 开启重要日志、任务运行日志采集时，您可以...
告警对接函数计算实现自动响应
bucket)} callback(null,'')} 步骤二：采集OSS审计日志 ActionTrail操作日志包括OSS审计日志，因此您可以在日志审计服务中，开启ActionTrail操作日志的采集，从而采集OSS审计日志。登录 日志服务控制台。在 日志应用 区域的 审计与安全 页...
投递CDN实时日志到SLS来分析用户访问数据
适用场景 实时日志可以帮助您分析加速域名遇到的异常问题，也可以帮助您了解用户的访问情况。阿里云CDN实时日志在提供预制日志分析报表的同时，还支持自定义日志分析策略，可以满足不同场景下的需求。预制的日志分析报表 日志分析场景 报表...
分隔符模式解析
处理后的日志格式为：1999,Chevy,"Venture""Extended Edition,Very Large""","",5000.00，该日志可以被解析为5个字段：1999、Chevy、Venture"Extended Edition,Very Large"、空字段和 5000.00。引用符：日志字段内容中包含分隔符时，需要...
使用Aliyun Log Java Producer写入日志数据
本文介绍日志服务Aliyun Log Java Producer类库的使用方法。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作，请...
常见问题及错误排查
为什么在 审计查询 页面里看不到RDS MySQL、PolarDB MySQL性能日志？审计查询 页面中只展示日志类型为log的查询链接，而性能日志为Metric类型。您可以在 全局配置 页面中，单击名为 slsaudit-center-${uid}-${region} 的Project，然后在 ...
日志查询常见问题
本文介绍日志查询常见问题。如何在查询时判断日志的来源机器 如果通过Logtail采集日志时，机器组类型为IP地址机器组，机器组中的机器通过内网IP区分。在查询时，可以通过hostname和自定义配置的工作IP来判断日志的来源机器。例如，统计日志...
Kafka消费概述
阿里云 日志服务 兼容Kafka消费组协议，您可以使用原生Kafka客户端对 日志服务 进行读操作。概念映射 Kafka 日志服务 描述 Topic Logstore Topic：Kafka用来区分不同类型信息的主题。Logstore：日志服务 中日志的采集、存储和查询单元。...
分析Apache日志
日志服务支持采集Apache日志，并进行多维度分析。本文通过PV、UV、访问地域分布、错误请求、客户端类型等维度分析Apache日志，以评估网站访问情况。前提条件 已采集Apache日志，详情请参见 使用Apache模式采集日志。在数据接入向导中，已...
.NET SDK快速入门
通过OpenAPI，您无需手动封装请求和签名操作，就可以快速对日志服务API进行调试。更多信息，请参见 OpenAPI开发者门户。为满足越来越多的自动化日志服务配置需求，日志服务提供命令行工具CLI（Command Line Interface）。更多信息，请参见 ...
对接JDBC
本文以实际案例演示如何使用JDBC连接日志服务、读取日志数据，及使用MySQL协议和SQL语法来计算日志。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_...
分析IIS日志
日志服务支持采集IIS日志，并进行多维度分析。本文通过PV、UV、访问地域分布、错误请求、请求方法等维度分析IIS日志，以评估网站访问情况。前提条件 已采集IIS日志。具体操作，请参见 使用IIS配置模式采集日志。说明 在采集过程中，日志...
可视化概述
日志服务支持可视化展示您的查询与分析结果。您可以根据分析需求选用合适的统计图表类型展示查询和分析结果，并将结果保存到实时刷新的仪表盘中。此外，您还可以将日志服务与第三方可视化工具对接。可视化方式 日志服务支持的可视化方式...
Logstash消费
日志服务 支持通过Logstash消费数据，您可以通过配置 日志服务 的Input插件对接Logstash获取 日志服务 中的数据并写入到其他系统中，例如Kafka、HDFS等。功能特性 分布式协同消费：可配置多台服务器同时消费某一个Logstore。高性能：基于...
数据结构
主题_topic_：日志库内的日志可以通过日志主题来划分。您可以在写入时指定日志主题，并在查询时指定查询的日志主题。源_source_：日志的来源，例如产生该日志机器的IP地址。时间字段修改 修改时间字段的值，就是修改日志的事件时间。可以用...
采集主机文本日志
本文介绍如何使用Logtail采集主机文本日志。前提条件 已创建Logtail机器组并添加相应服务器，创建机器组的步骤，请参见 创建用户自定义标识机器组（推荐）或 创建IP地址机器组。安装Logtail的主机需开放80（HTTP）端口和443（HTTPS）端口。...
通过Sidecar方式采集Kubernetes容器文本日志
如果需要每个Pod使用单独的Logtail实例来收集Pod内所有容器的日志，可以使用Sidecar方式在Kubernetes集群上部署Logtail。本文介绍Sidecar方式采集容器文本日志的工作原理、使用限制、前提条件、操作步骤等信息。工作原理 Sidecar模式 在...
开启数据采集功能
开启采集功能后，日志服务开始采集目标云盘的秒级监控数据到中心存储库。设置自动化采集 登录 日志服务控制台。在 日志应用 区域，单击 CloudLens for EBS。在 接入管理 页面的 自动化采集配置 页签中，单击 图标。设置采集条件。标准模式...
update_logstore
通过OpenAPI，您无需手动封装请求和签名操作，就可以快速对日志服务API进行调试。更多信息，请参见 OpenAPI开发者门户。关于该API接口的详细信息，请参见 UpdateLogStore。日志服务提供基于Java SDK和Python SDK的管理Logstore示例代码。更...
日志字段详情
本文介绍OSS日志类型及相关的日志字段详情。OSS日志类型 日志类型 说明 访问日志 记录相关OSS Bucket的所有访问日志，实时采集。批量删除日志 记录批量删除日志时具体的删除信息，实时采集。说明 当您调用DeleteObjects接口时，访问日志中...
通过DaemonSet方式采集Kubernetes容器文本日志
如果需要只使用一个Logtail实例收集Kubernetes节点上所有容器的日志，可以使用DaemonSet方式在Kubernetes集群上部署Logtail。本文介绍DaemonSet方式采集容器文本日志的工作原理、使用限制、前提条件、操作步骤等信息。工作原理 DaemonSet...
Flink消费
Flink Log Consumer用到的日志服务API接口如下：GetCursorOrData 用于从Shard中获取数据，注意频繁的调用该接口可能会导致数据超过日志服务的Shard限额，可以通过 ConfigConstants.LOG_FETCH_DATA_INTERVAL_MILLIS 和 ConfigConstants.LOG_...
采集-通过WebTracking采集日志
本文档为您介绍如何通过WebTracking采集日志数据到日志服务中，并对采集到的日志数据进行查询和分析。背景信息 当发送重要邮件时为了确认对方已读，都会在邮件中设置 读取回执 标签，可以在对方已读时收到提醒信息。读取回执这种模式用途很...
create_logstore
通过OpenAPI，您无需手动封装请求和签名操作，就可以快速对日志服务API进行调试。更多信息，请参见 OpenAPI开发者门户。关于该API接口的详细信息，请参见 CreateLogStore。日志服务提供基于Java SDK和Python SDK的管理Logstore示例代码。更...
- 产品推荐
- 这些文档可能帮助您