日志投递MaxCompute后，如何检查数据完整性
那么无论该日志是什么时刻写入服务端，这条日志会存入MaxCompute的 2017_05_19_10_00 分区，计算细节参考 投递日志到MaxCompute（旧版）。如果不考虑写入了历史数据等问题，在日志实时写入的情况下，有以下两种方法判断分区数据是否已完整...
术语表
日志（Log）日志是系统运行过程中变化的一种抽象数据，其内容为指定对象的操作和其操作结果按时间的有序集合。更多信息，请参见 日志（Log）。日志组（LogGroup）日志组是一组日志的集合，是写入与读取日志的基本单位。一个日志组中的日志...
常见问题
什么是日志服务？日志服务可以做什么？日志服务能为用户带来哪些价值？日志服务支持采集哪些数据？日志服务支持哪些数据接入方式？阿里云会使用我在日志服务上存储的数据吗？阿里云是否会将自己的数据存储在日志服务上？如果数据量突然激增...
常见问题
如何采集K8s集群的容器日志 SLB访问日志采集不到 日志采集Agent对比 Windows系统的ECS安装Logtail服务日志提示异常信息 如何配置日志服务的时间转换格式 数据存储常见问题 日志服务如何存储、管理用户的日志？删除日志库，日志数据是否丢失...
智能异常分析概述
日志类别 每个日志类别包含表示该类别的日志模板，如果日志内容与该日志模板匹配，那么就认为日志属于该日志类别。使用限制 作业类型 限制项 说明 智能巡检 巡检实体规模 单个任务最多支持1万个巡检实体。如果您需要巡检更大的实体规模，请...
开启网关日志投递
您可以在微服务引擎MSE控制台中，为云原生网关开启日志投递功能，将日志投递到日志服务中。通过分析云原生网关的访问日志了解客户端用户行为、客户端用户的地域分布，方便排查问题。前提条件 已创建云原生网关实例。具体操作，请参见 新建...
产品架构
更多信息，请参见 什么是日志服务告警。消费与投递：日志服务支持数据实时消费，适用于Storm消费、Flume消费、Flink消费等场景；支持数据实时投递，适用于将数据投递至OSS、TSDB等云产品。更多信息，请参见 投递概述 和 消费概述。日志审计...
可观测告警运维系统对比
更多信息，请参见 什么是日志服务告警。新版告警具备如下五大优势：与ELK X-Pack告警（Elasticsearch Watcher、Kibana 7.x+Alert）对比 自建ELK使用开源的Elasticsearch+Logstash+Kibana组合，其不包括告警功能。如果您要为自建ELK配置告警...
使用Web Tracking采集日志
什么是Web Tracking采集？日志服务Web Tracking功能用于在Web应用程序中跟踪用户行为并将行为数据上传到日志服务中，便于您分析用户行为等。您可以通过Web Tracking采集各种浏览器、iOS App或Android App的用户信息，例如：用户使用的浏览...
SDK参考概述
使用日志服务SDK的基本流程是什么？日志服务SDK提供全流程的日志管理，其使用流程和控制台使用流程基本相似。其使用基本流程大致如下：开通日志服务。获取访问密钥。创建项目Project和日志库Logstore。日志采集并存储至Logstore。为日志...
创建索引
全文索引和字段索引配置参数 全文索引 参数 说明 日志聚类 打开 日志聚类 开关后，日志服务在采集文本日志时会自动聚合相似度高的日志，提取共同的日志模式，帮助您快速掌握日志整体情况。更多信息，请参见 日志聚类。大小写敏感 查询时...
快速使用全量日志分析
使用前须知 使用前请您了解什么是全量日志分析、如何计算所需的日志存储容量、日志采样说明等基本信息。详细内容，请参见 概述。前提条件 已购买DDoS高防实例并将网站业务接入DDoS高防进行防护。具体操作，请参见 添加网站。已登录 日志...
Cloud Shell概述
阿里云云命令行Cloud Shell已经集成日志服务CLI，您无需部署配置，可以直接通过Cloud Shell管理日志服务资源和下载日志服务数据。什么是Cloud Shell？Cloud Shell允许您通过命令行管理阿里云资源。通过浏览器启动Cloud Shell时，Cloud ...
日志字段详情
队列消息操作日志 队列消息操作日志是指操作队列消息所产生的日志，例如发送消息、消费消息、删除消息等操作。一条消息操作日志中包含多个字段，每个字段都有自己的含义。根据操作的不同，消息操作日志所包含的字段也不相同。以下分别介绍...
如何设置初始化时间窗口数量？
一般日志是周期性生成的，所以初始化时间需与日志生成的周期长度相当，或者是周期长度的1/2或1/4，保证算法模型可以在初始化阶段遇见到大部分的日志类别。无法确定初始化时间时，您可直接使用 初始化时间窗口数量 的默认值或者任意配置。...
费用优化
如果您收集日志是为了做流计算，建议您只使用LogHub，不创建索引。如果您需要经常查询最近90天的日志数据，偶尔查询90天前的数据，建议您把Logstore 数据保存周期调整到90天，同时把数据导入MaxCompute。查询90天内数据，使用日志服务，...
什么是日志服务
日志（Log）日志是系统运行过程中变化的一种抽象数据，其内容为指定对象的操作和其操作结果按时间的有序集合。更多信息，请参见 日志（Log）。日志组（LogGroup）日志组是一组日志的集合，是写入与读取日志的基本单位。一个日志组中的日志...
日志主题
如果不同的用户或者实例将日志保存在不同目录中，但是下级目录和日志文件名相同，日志服务在采集日志时无法明确区分日志是由哪个用户或实例产生的。提取文件路径中的单个值 您可以在创建Logtail配置时将 Topic生成方式 设置为 文件路径正则...
分析网站日志
背景信息 网站日志是网站运维的重要信息，包含PV、UV、访问地域分布以及访问前十页面等信息。日志服务提供多样化的日志采集方式及一站式分析功能，您可通过 查询+SQL92 语法对日志进行实时分析，并以图表形式直观展示分析结果。日志服务还...
如何解决查询分析与流处理两种场景下的数据口径差异
如果这个时间戳和应用程序日志时间的定义不一样（例如，事务日志是在事件发生之后基于数据库记录创建的，但业务需要定义数据中的create_time字段为日志时间），Logtail支持设置时区偏移，或者通过插件配置将日志行中的时间字段（业务时间）...
分析Apache日志
背景信息 Apache是一款主流的网站服务器，当您选用Apache搭建网站时，Apache日志是运维网站的重要信息。日志服务支持通过数据接入向导一站式采集Apache日志，并为Apache日志创建索引和仪表盘。apache_Apache访问日志仪表盘包括来源IP分布、...
日志库
日志库（Logstore）是日志服务中日志数据的采集、存储和查询单元。命名规则 只能包含小写字母、数字、连字符（-）和下划线（_）。必须以小写字母或者数字开头和结尾。长度为3~63字符。完整资源示例 {"logstoreName":"access_log","ttl":1,...
语法简介
例如：原日志是 {"_time_":"1234567","_topic_":"","k1":"test"}，函数 e_set("f1",200)设置字段 f1 的值为 200，经过这个函数处理后，原日志会变成：{"_time_":"1234567","_topic_":"","k1":"test","f1":"200"}，其中 f1 和 200 都是字符...
基本概念
说明 大部分场景下，日志是实时发送给日志服务的，因此 日志时间 与 日志接收时间 基本相同。如果是导入历史日志的情况，例如通过SDK导入过去30天的日志，那么 日志接收时间 就是当前时间，和 日志时间 不一致。日志标签 日志存在标记，...
Logtail基本问题
如何配置Logtail采集日志 日志服务支持通过Logtail采集文本日志和容器日志，还支持通过Logtail插件采集日志。具体操作，请参见如下文档。采集文本日志 采集容器日志 使用Logtail插件采集日志 Logtail是如何工作的？Logtail采集原理包括监听...
日志管理
日志服务如何存储、管理用户的日志？日志库（Logstore）是日志服务中的日志存储和查询的基本单元，通常用于存储一类日志数据。目前，支持在控制台或者通过API完成对日志库的增删改查操作。日志库创建完成后，用户通过API或SDK向指定日志库...
分析IIS日志
当您选用IIS搭建网站时，IIS日志是运维网站的重要信息。日志服务推荐选用W3C日志格式，W3C配置格式如下所示：logExtFileFlags="Date,Time,ClientIP,UserName,SiteName,ComputerName,ServerIP,Method,UriStem,UriQuery,HttpStatus,Win32...
数据模型
例如：您有一个名为big-game的游戏应用，服务器上有三种日志：操作日志（operation_log）、应用程序日志（application_log）以及访问日志（access_log），您可以首先创建名为big-game的项目，然后在该项目下面为这三种日志创建三个日志库，...
实时计算（Blink）消费
阿里云实时计算通过创建日志服务源表的方式，可以直接消费日志服务中的数据。本文介绍了如何为实时计算创建日志服务源表以及创建过程涉及到的属性字段提取和类型映射。创建日志服务源表 日志服务是实时数据存储，实时计算能将其作为流式...
SLB访问日志采集不到
如果发现无法正常采集SLB访问日志，请按照以下步骤排查。1.确认是否为SLB实例开通了访问日志 每个SLB实例需要单独设置，开通后的产生的访问日志将实时写入您的日志服务Logstore。请登录SLB控制台，在左侧导航栏中单击 日志管理>访问日志，...
日志字段详情
OSS自带日志 是OSS产品自带的访问数据的日志记录和存储功能，同样记录OSS存储空间的访问信息。日志服务提供的日志包含OSS访问记录日志的全部信息，但是日志字段与OSS自带日志字段不同，如下表所示。更多信息，请参见 访问日志。OSS自带日志...
API简介
阿里云日志服务（Log Service，简称SLS）提供数据的采集、加工、查询与分析、可视化、告警、消费与投递等功能。如果您熟悉网络服务协议和一种以上编程语言，您可以通过API接口管理您的数据资源。使用限制 您能创建的Project、Logstore、...
日志主题（Topic）
日志主题（Topic）是日志服务的基础管理单元。您可在采集日志时指定Topic，用于区分日志。Topic可用于区分不同服务、用户、实例等产生的日志。例如系统A由前端HTTP请求处理模块、缓存模块、逻辑处理模块和存储模块组成，您可设置前端HTTP...
日志库（Logstore）
日志库（Logstore）是日志服务中日志数据的采集、存储和查询单元。日志服务提供标准型（Standard）和查询型（Query）两种类型的Logstore。标准型Logstore：支持日志服务一站式数据分析功能，适用于实时监控、交互式分析以及构建完整的可...
GetContextLogs
System.out.println("起始日志的pack信息不完整，请确保该日志是通过logtail写入。System.exit(1);}/使用得到的pack信息进行上下文查询（双向查询）。GetContextLogsResponse contextRes=client.getContextLogs(project,logstore,info....
项目（Project）
项目（Project）是日志服务的资源管理单元，是进行多用户隔离与访问控制的主要边界。Project中包含Logstore、MetricStore和机器组等资源，同时它也是您访问日志服务资源的入口。建议使用不同的Project管理不同的应用、产品或项目中的数据。...
常见问题
一般常见问题 日志服务告警能做什么？日志服务告警是日志服务提供的一站式智能运维告警系统。用于监控日志服务中的日志和时序数据，及时发现异常并触发告警。支持告警降噪、告警事务管理、告警通知等；支持40多个功能场景，充分满足研发、...
分析Nginx访问日志
背景信息 Nginx是一款主流的网站服务器，当您选用Nginx搭建网站时，Nginx日志是运维网站的重要信息。传统模式下，需使用CNZZ等方式，在前端页面插入JS，记录访问请求。或者利用流计算、离线计算分析Nginx访问日志，此方式还需要搭建环境，...
阿里云日志服务Splunk Add-on
本文介绍如何通过阿里云日志服务Splunk Add-on将日志服务上的日志投递到Splunk。架构 Splunk Add-on架构：通过Splunk Data Input创建日志服务消费组，并从日志服务进行实时日志消费。将采集到的日志通过Splunk私有协议（Private Protocol）...
使用Loggie上传日志
Loggie是一个基于Golang的轻量级、高性能的云原生日志采集Agent。您可以使用Loggie的Sink配置，将采集到的日志上传到日志服务。本文介绍通过Loggie上传日志到日志服务的操作步骤。前提条件 已创建Project和Logstore。具体操作，请参见 创建...
- 产品推荐
- 这些文档可能帮助您