代码开发概述
函数计算运行时 Node.js 环境说明 请求处理程序（Handler）事件请求处理程序（Event Handler）HTTP请求处理程序（HTTP Handler）上下文 部署代码包 日志 错误处理 函数实例生命周期回调方法 链路追踪 Python 环境说明 请求处理程序...
通过Unity Plugin接入数据
本文介绍如何通过Unity Plugin将Unity平台的移动端游戏App的崩溃数据、应用数据接入到日志服务移动运维监控中。移动运维监控用于实时监控游戏崩溃、ANR等问题，并且支持智能分析，帮助您低成本、高效率地发现App中的各类隐患。前提条件 已...
最佳实践
分析Nginx访问日志 分析Apache日志 分析IIS日志 分析Log4j日志 分析网站日志 查询分析程序日志 分析负载均衡7层访问日志 分页显示查询分析结果 分析行车轨迹日志 分析销售系统日志 数据加工 调用函数清洗数据 事件判断 处理日期时间 数据...
实时消费概述
实时消费支持传入日志服务数据处理SPL语句，服务端返回处理结果，详情请参见 SPL概述。说明 目前，实时消费中使用 数据处理SPL 功能处于公测阶段，公测期间免费。说明 实时消费和查询与分析都是读取数据。关于两者的区别，请参见 日志消费...
数据模型
日志（Log）日志为日志服务中处理的最小数据单元。日志服务采用半结构数据模式定义一条日志，具体数据模型如下：数据域 描述 要求 time 日志中保留字段，用以表示日志产生的时间，一般由日志中的时间直接生成。整型，Unix标准时间格式。...
过滤VPC流日志公网流量
srcport":"59986","action":"ACCEPT","end":"1650862391","log-status":"OK","direction":"out"} 在对流日志查询和分析过程中，为便于分析公网流量，您需要对原始日志做以下处理：如果srcaddr和dstaddr字段不存在，则丢弃该日志。...
查询MNS日志
阿里云消息服务（MNS）日志推送到日志服务后，可进行实时查询，本文介绍实时查询的常用场景及操作步骤，您也可以通过多个关键字组合方式实现更加复杂的查询。前提条件 已采集到MNS日志。具体操作，请参见 MNS日志。已配置索引。具体操作，...
通过函数计算消费日志数据
依托阿里云函数计算服务，日志服务提供流式数据加工服务。您可以通过配置一个函数...触发发生延迟（当前处理到的日志服务Shard位置落后于最新写入数据超过10秒）：触发器会进行追赶，可能缩短到2秒触发一次，每次处理的数据范围仍是60秒窗口。
告警对接函数计算实现自动响应
本文介绍日志服务告警系统对接函数计算，实现告警自动化处理的实践方案。背景信息 函数计算支持以事件驱动方式连接其他服务。当事件源触发事件时，函数计算会自动调用函数处理事件。日志服务告警支持对接函数计算，在某些场景中，发送告警...
普通消费
日志服务提供多语言SDK，而且都支持日志服务消费接口。本文介绍普通消费日志的SDK示例及控制台的消费预览功能。使用SDK消费 SDK消费 前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户及授权。已配置环境变量 ALIBABA_...
Spark Streaming消费
日志服务采集到日志数据后，您可以通过运行Spark Streaming任务消费日志数据。日志服务提供的Spark SDK实现了Receiver模式和Direct模式两种消费模式。Maven依赖如下：<dependency><groupId>...
流程控制函数
返回结果 返回加工处理后的日志。函数示例 示例1：字段值匹配后再进行操作。result 字段值为 failed 或 failure 时，设置_topic_字段的值为 login_failed_event。e_if(e_match("result",r"failed|failure"),e_set("_topic_","login_failed_...
目标Logstore输出错误
LOG DSL引擎每次读取一个批次的源日志（从1条到近万条不等），数据加工后，并不是加工一条日志就输出一条，而是会先将加工好的数据存放在一个缓存池中，等源数据批次处理完，再一起输出。该环节产生错误主要是由于对目标Logstore的访问异常...
数据加工
本文介绍日志服务数据加工的使用限制。任务配置 限制项 说明 任务数 1个Project中最多可创建100个数据加工任务。重要 数据加工任务处于停止或者运行完成状态时，依然会占用配额，建议及时清理停止或者运行完成状态、并且确认不再使用的数据...
使用限制
本文介绍日志服务数据加工的使用限制。任务配置 限制项 说明 任务数 1个Project中最多可创建100个数据加工任务。重要 数据加工任务处于停止或者运行完成状态时，依然会占用配额，建议及时清理停止或者运行完成状态、并且确认不再使用的数据...
应用路由选型
同时，通过扩展Lua插件或注解配置Snippet，Nginx能够支持网关定制化请求方向转发规则或响应方向转发规则。在EDAS中使用Nginx Ingress，您可以轻松提供EDAS应用对外访问能力。面对高QPS场景，通过为Nginx Ingress Controller配置多个...
游戏日志的全球日志规划
本视频介绍通过日志服务对游戏日志进行中心化处理的解决方案。
日志数据预处理与投递
本视频介绍如何对日志数据进行预处理与投递。
加工原理
日志服务提供的数据加工功能，通过编排内置的两百多个函数，使用协同消费组对日志数据进行消费，实现对日志数据的加工处理。本文档主要介绍进行数据加工时日志数据的调度原理，以及加工规则引擎的工作原理。调度原理 日志服务的数据加工...
如何解决查询分析与流处理两种场景下的数据口径差异
您在使用阿里云日志服务（SLS）查询分析和和流处理时，难免会碰到数据口径差异，您可以使用两种时间戳（_time_和_receive_time_）解决。问题现象 在使用日志服务查询分析时，难免会碰到源端时间字段同步到目标端之后，发生时间不一致的问题...
解析Java报错日志
该企业需要使用日志服务定期分析调用接口发生的Java报错日志，便于制定Java报错处理措施。为实现以上需求，您需要解析日志中的时间、错误码、状态码、产品信息、错误码信息、请求方法和出错行号，存储到各产品的Logstore中，用于错误日志...
采集标准Docker容器日志
本文介绍如何部署Logtail容器以及创建Logtail配置，用于采集标准Docker容器日志（文本日志和标准输出）。前提条件 已创建Project和Logstore。更多信息，请参见 创建项目Project 和 创建Logstore。目标容器持续产生日志。重要 Logtail只采集...
加工规则错误
加工规则样例：e_set("a",10)e_set("b",10)e_set("c",op_mul(v("a"),v("b")))错误日志：{"reason":"error when calling:mul Detail:can't mulltiply sequence by non-int of type' str'",} 原因分析：LOG DSL处理过程中，日志事件中的各个...
如何通过完整正则模式采集多种格式日志
完整正则模式要求日志必须采用统一的格式，但有些时候日志中可能会包含多种格式，您可以采用Schema-On-Write和Schema-On-Read两种模式处理。以 Java 日志为例，作为一个程序日志，它一般既包含正常信息，也会包含异常栈等错误信息。WARNING...
全局参数
日志服务CLI默认使用全局参数进行请求处理。本文介绍日志服务CLI的常用全局参数。参数名称 数值类型 是否必选 示例值 描述-access-id String 否 LTAI4G243ui*pLMZ 阿里云访问密钥中的AccessKey ID，请根据实际情况替换。如何获取AccessKey ...
对接JDBC
使用Java的JDBC、Python的MySQLdb等库在程序中访问日志服务，在程序中处理查询结果。日志示例 以共享单车日志为例，共享单车日志内容包括用户年龄、性别、电量使用量、车辆ID、操作延时、纬度、锁类型、经度、操作类型、操作结果和开锁方式...
米哈游
在性能方面，日志服务支持秒级处理十亿级数据，支持几十PB吞吐量，稳定性SLA达到99.95%。日志服务能够提供各种异构数据提取、聚合、可视化、告警、AI异常检测等功能，满足《原神》实际业务场景下需要采集分析包括业务服务监控日志，云产品...
GetLogs-查询日志库日志
例如，日志时间为 UTC 2014-09-25 12:03:00，服务器收到时为 UTC 2014-09-25 12:05:00，则该日志被作为实时数据处理，一般出现在正常场景下。历史数据：日志中时间点为服务器当前时间点[-7x86400 秒，-180 秒）。例如，日志时间为 UTC 2014...
扫描（Scan）查询概述
日志服务扫描（Scan）查询功能支持免配置索引进行目标字段的扫描，用于查询相关日志，并且支持通过SPL语句对查询结果进行进一步的过滤、转换、解析等操作。本文介绍扫描查询功能的相关信息。背景信息 日志服务基于索引技术，提供快速查询...
GetHistograms-查询日志分布情况
例如，日志时间为 UTC 2014-09-25 12:03:00，服务器收到时为 UTC 2014-09-25 12:05:00，则该日志被视作实时数据处理。实时数据从写入到在日志查询界面查询到该数据的延迟为 3 秒。历史数据：日志中时间点为服务器当前时间点[-7x86400 秒，-...
GetHistograms
调用GetHistograms接口查询指定Logstore中满足查询语法条件的日志分布情况，返回结果显示某时间区间中的日志条数（数量）。接口说明 请求语法中Host由Project名称和日志服务Endpoint构成，您需要在Host中指定Project。已创建并获取...
云产品侧额外费用须知
本文介绍在日志审计服务中开启云产品日志采集后，部分云产品侧额外的费用说明。VPC 费用说明 自2022年09月01日起，阿里云流日志功能结束公测，正式商业化并开始收费。更多信息，请参见【变更】流日志商业化公告。流日志的总费用=流日志生成...
使用前须知
Web应用防火墙（WAF）的日志服务功能帮助您采集并存储WAF防护对象（云产品实例、域名）的Web访问及攻击防护日志，并基于阿里云日志服务，提供查询分析、统计图表、报警服务、下游计算对接与投递等能力，帮助您专注于分析，远离琐碎的查询和...
GetLogs
调用GetLogs接口查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志。接口说明 说明 日志服务支持创建定时SQL任务。具体操作，请参见 创建定时SQL任务。请求语法中Host由Project名称和日志服务Endpoint...
使用前须知
阿里云Web应用防火墙（WAF）联合日志服务推出WAF日志服务功能，提供网站域名访问日志、攻击防护日志的实时采集、查询、分析、加工、消费等一站式服务，满足等保合规要求和您的网站业务防护和运营需求。本文介绍WAF日志服务功能相关的资产...
智能异常分析概述
处理非结构化的日志数据时，需要对文本日志中的模式进行挖掘。在Trace场景中，有明确的服务拓扑。存在自定义的服务拓扑。核心名词 基本概念 说明 时序序列 在时序巡检任务的配置过程中，需要给算法提供标准的时间序列，即为Unix时间戳形式...
接入数据
您需要按照如下的指标数据规范，对数据进行预处理加工，然后遵循日志服务时序存储要求，将数据接入到指定Project下名为sw_node_metrics的Metricstore中。标签配置 标签名称 数据类型 说明 cluster string 集群名称。hostname string 节点...
Logtail配置
Logtail本地会进行随机化处理，即使此参数值小于日志服务端的Shard数量，也能保证写入均衡，不需要完全对齐。配置该参数后，只对新文件生效。仅支持Logtail 1.0.21及以上版本。enable_log_position_meta boolean 否 true 是否在日志中添加...
日志管理概述
Web应用防火墙（WAF）日志服务帮助您采集并存储WAF防护对象（云产品实例、域名）的Web访问及攻击防护日志，并基于阿里云日志服务，输出查询分析、统计图表、报警服务、下游计算对接与投递等能力，帮助您专注于分析，远离琐碎的查询和整理...
导入Kafka数据
本文介绍导入Kafka数据到日志服务所涉及的使用限制。采集限制 限制项 说明 压缩格式 Kafka Producer采用的压缩格式需被限制为gzip、zstd、lz4或snappy。其他压缩格式的Kafka数据会被丢弃。数据处理流量观测 仪表盘中的写失败条数代表被丢弃...
- 产品推荐
- 这些文档可能帮助您