监控日志服务
日志服务提供服务日志功能，用于记录操作日志、消费组延迟日志、Logtail告警日志、Logtail采集日志和Logtail状态日志，帮助您实时掌握日志服务的使用状况，提高运维效率。前提条件 已开通服务日志。更多信息，请参见 开通服务日志。背景...
导入Kafka数据
本文介绍导入Kafka数据到日志服务所涉及的使用限制。采集限制 限制项 说明 压缩格式 Kafka Producer采用的压缩格式需被限制为gzip、zstd、lz4或snappy。其他压缩格式的Kafka数据会被丢弃。数据处理流量观测 仪表盘中的写失败条数代表被丢弃...
导入Amazon S3文件
权限错误 从S3 Bucket读取数据或者写数据到日志服务Logstore存在权限错误时，导入任务会定期重试，即修复权限问题后，导入任务会自动恢复。遇到权限错误时，导入任务不会跳过任何文件，因此修复权限问题后，导入任务会自动将Bucket中还未被...
过滤VPC流日志公网流量
在专有网络VPC控制台上开通流日志功能后，流日志将被采集到日志服务中，您可以通过日志服务对流日志进行查询、分析和排查网络故障。本文介绍通过日志服务数据加工对流日志进行公网流量过滤的操作方法。前提条件 已开通VPC流日志功能。具体...
监控与日志
监控与日志可有效保障您部署在专有网络VPC中的资源的可用性、业务的正常运行和健康度。您可通过对应的监控能力，持续收集监控数据。阿里云提供了各种监控与日志审计相关的服务，例如云监控、配置审计等，帮助您实时监控云资源的使用情况和...
导入OSS数据
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
导入OSS数据
本文介绍导入OSS数据到日志服务所涉及的使用限制。采集限制 限制项 说明 单个文件大小 如果是Snappy压缩格式的文件（非Framing-format格式），最大支持350 MB。如果是其他格式的文件，最大支持5 GB。单个文件大小超过限制时，导入任务会...
使用前须知
阿里云对象存储（OSS）联合日志服务推出OSS访问日志实时查询功能，帮助您完成OSS的操作审计、访问统计、异常事件回溯和问题定位等工作。本文介绍OSS日志实时查询功能相关的功能优势、资产详情、费用说明以及使用限制。重要 日志服务还联合...
计费项
日志服务的所有计费项都是单独计费的，例如您存储日志会产生日志存储费用，您采集日志会产生写流量费用等。本文介绍日志服务费用的组成及付费方式。
HarmonyOS SDK快速入门
本文介绍如何快速使用日志服务HarmonyOS SDK采集鸿蒙设备日志数据。前提条件 已完成日志服务HarmonyOS SDK安装。更多信息，请参见 安装HarmonyOS SDK。初始化SDK 您可以参考以下代码进行SDK初始化。import { AliyunLog,LogCallback } from...
资源包抵扣规则
一种类型的资源包只能抵扣该资源包对应计费项产生的费用，不能抵扣其他计费项产生的费用。例如您购买了日志服务存储包，只能抵扣 日志空间-日志存储 计费项产生的费用。抵扣顺序 当您拥有新版资源包和旧版资源包时，优先抵扣旧版资源包...
Logtail采集详情
本文介绍Logtail的采集过程，包括监听日志、读取日志、处理日志、过滤日志、聚合日志和发送日志。采集过程 Logtail采集数据的过程如下：监听日志 读取日志 处理日志 过滤日志 聚合日志 发送日志 说明 更多关于Logtail采集原理的介绍，请...
管理MetricStore
删除MetricStore必须提前删除所有Logtail配置，通过减少数据保存时间，实现日志的自动删除。本文介绍如何在日志服务控制台上创建、修改、删除MetricStore与时序数据等操作。基本概念 时序库（MetricStore）是日志服务中时序数据的采集、...
管理Shard
您可以通过分裂、合并操作控制活跃的Shard数量来调整日志服务Logstore可以提供的最大读写能力。分裂Shard可以自动触发，但合并Shard必须手动执行。本文为您介绍如何分裂、合并、删除Shard以及设置自动分裂Shard。基本概念 日志服务中的数据...
监控与日志
监控与日志可有效保障您网络智能服务资源的可用性、业务的正常运行和健康度。您可通过对应的监控能力，持续收集监控数据。阿里云提供了各种监控，帮助您实时监控云资源的使用情况和业务运行状况，并在收到异常报警时及时响应。事件中心功能...
采集-多渠道数据
2016/04/18 18:59:01:/var/www/html/SCMC/routes/example.php:329 [thread:1]errorcode:20045 message:extractFuncDetail failed:account_hsf_service_log 实施方法 日志写到本地文件，通过Logtail配置正则表达式写到指定Logstore中。...
使用前须知
本日志应用由阿里云日志服务SLS提供，支持用户导入AWS CloudTrail日志，提供存储、查询、分析以及可视化服务。本文介绍该应用的功能、工作原理、资产、费用等信息。重要 本文档为阿里云原创文档，知识产权归阿里云所有，由于本文档旨在介绍...
任务监控大盘异常处理
当internal-diagnostic_log中的索引被删除或者未及时更新时，日志服务将不能对目标Project进行有效的任务监控。解决方案 您可以在 CloudLens for SLS 应用中，找到任务运行日志所在Project下的任务监控大盘，然后重置索引。如何确认任务...
PostLogStoreLogs
日志数据写入时有两种模式：负载均衡模式（LoadBalance）：自动根据Logstore下所有可写的Shard进行负载均衡写入。该方法写入可用性较高，适合不保证顺序的数据消费场景。Key路由Shard模式（KeyHash）：在URL参数中增加Key字段，用来判断...
管理EventStore
删除EventStore会永久删除事件数据，删除日志可以通过设置更短的保存时间。本文介绍如何在日志服务控制台上创建、修改和删除EventStore与事件数据等操作。基本概念 事件库（EventStore）是日志服务中事件数据的采集、存储和查询单元。每个...
Flutter SDK快速入门
本文介绍如何快速使用日志服务Flutter SDK采集日志数据。前提条件 已安装日志服务Flutter SDK。具体操作，请参见 安装Flutter SDK。初始化 SDK 一般场景下，您可以参考以下代码进行初始化。若您需要配置 LogProducerConfiguration 类，例如...
资源包介绍
日志索引-查询型（每GB）0.1 CU 0.19 CU 存储空间-日志热存储（每GB/天）0.0115 CU 0.02185 CU 存储空间-日志低频存储（每GB/天）0.005 CU 0.0095 CU 存储空间-日志归档存储（每GB/天）0.0017CU 0.00323 CU 索引流量-时序索引（每GB）0.2 ...
日志查询常见问题
但是目前尚不支持部分匹配的方式检索，即不能直接搜索IP地址的一部分，因为小数点（.）不是日志服务默认的分词项。如果需要部分匹配，建议自行过滤，例如使用SDK先下载数据后，在代码里使用正则表达式或者用string.indexof等方法搜索。例如...
加工引擎启动错误
数值运算、大小比较等操作都需要通过op_*函数完成，而不能直接使用运算符。错误日志 {"errorMessage":"ETL config doesn't pass security check,detail:invalid type detected:<class `_ast.BinOp`>"} 排查方法 检查SLS DSL规则，确保所有的...
新功能发布记录
创建和管理交换机 流日志 新增 专有网络VPC提供流日志功能，可以记录VPC网络中弹性网卡ENI（Elastic Network Interface）传入和传出的流量信息，帮助您检查访问控制规则、监控网络流量和排查网络故障。流日志概述 流日志计费说明 创建和...
语法简介
两类函数功能对比：函数类型 全局步骤 接收 返回 修改日志 组合调用 全局操作函数 支持 自动接收日志 0到多条日志 支持大部分情况 支持 表达式函数 不支持 除个别函数支持，大部分不直接处理日志。特定数据结构 不支持 支持 全局操作函数 ...
错误排查概述
如果时间配置没有设置结束时间，检查源Logstore是否有新日志产生，如果没有新日志产生，且特定时间范围内没有日志而且没有历史日志存在，加工任务无法进行。如果选择的是历史时间，确认历史特定时间范围内源Logstore是否有日志。单击加工...
Logtail限制说明
日志上传策略 Logtail会将同一文件的日志自动聚合上传，聚合条件为日志超过4000条、日志总大小超过512 KB或者日志采集时间超过3秒。任一条件满足则触发上传行为 错误处理 限制项 限制说明 网络错误处理 在出现网络异常时会主动重试并自动...
机器组简介
机器组是包含多台服务器的虚拟分组，日志服务通过机器组的方式管理所有需要通过Logtail采集日志的服务器。本文介绍机器组的概念和类型、配置机器组的步骤。背景信息 日志服务支持通过一个 Logtail采集配置 来采集多台服务器上的数据，这些...
开启日志采集功能
日志审计服务支持快速开启日志采集功能，本文介绍开启日志采集功能以及相关操作的步骤。前提条件 已注册阿里云账号。建议使用阿里云RAM用户，该RAM用户需具备RAM读权限（例如已被授权AliyunRAMReadOnlyAccess策略），且对日志服务有读写...
创建OSS-HDFS投递任务
支持的地域说明 日志服务投递数据到OSS-HDFS为同地域投递，即日志服务Project所在的地域和OSS Bucket所在地域相同。目前仅德国（法兰克福）地域支持创建OSS-HDFS投递任务。创建投递任务 登录 日志服务控制台。在Project列表区域，单击目标...
转换Log为Metric
如果您需要监控Log中某字段的指标变化趋势，可以使用日志服务数据加工函数e_to_metric将Log字段转换为Metric，通过时序库查看该指标的变化趋势。本文以Nginx访问日志为例说明如何将Log转化为Metric。前提条件 已采集到日志数据。更多信息，...
数据加工快速入门
本文以网站访问日志为例，为您介绍完整的数据加工流程，帮助您快速熟悉数据加工功能及其操作。前提条件 已创建名为web-project的Project。具体操作，请参见 创建Project。在Project（web-project）中创建名为website_log的源Logstore。具体...
使用前须知
全栈可观测应用是日志服务提供的一站式IT系统可观测方案，包含IT系统监控、全链路Trace、智能告警等功能。本文介绍全栈可观测功能的相关信息。产品试用 SLS Playground中的全栈可观测Demo，内置了实例、演示数据、可视化图表等资源，提供了...
Logtail
日志上传策略 Logtail会将同一文件的日志自动聚合上传，聚合条件为日志超过4000条、日志总大小超过512 KB或者日志采集时间超过3秒。任一条件满足则触发上传行为 错误处理 限制项 限制说明 网络错误处理 在出现网络异常时会主动重试并自动...
创建数据加工任务
日志服务支持您使用数据加工读取源Logstore中的数据，对数据进行加工处理后，写入到不同的目标Logstore中。您也可以对加工后的数据进行查询和分析，进一步发掘数据价值。本文介绍如何在日志服务控制台上创建数据加工任务。前提条件 已采集...
使用前须知
阿里云DDoS高防（新BGP）、DDoS高防（国际）联合日志服务推出全量日志分析功能，提供网站访问日志、CC攻击日志的实时采集、查询、分析、加工、消费等一站式服务，帮助您排查网站访问异常、追踪CC攻击者来源、分析网站运营情况等。...
安装Logtail（Windows系统）
根据网络类型和日志服务Project所在地域选择并执行安装命令。网络类型 适用场景 阿里云内网 云服务器ECS实例和日志服务Project属于同一地域。公网 云服务器ECS实例和日志服务Project属于不同地域。服务器为其他云厂商服务器或自建IDC。全球...
对接JDBC
本文以实际案例演示如何使用JDBC连接日志服务、读取日志数据，及使用MySQL协议和SQL语法来计算日志。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_...
简介
日志服务支持将日志投递到SIEM，以确保阿里云上的所有法规、审计与其他相关日志能够导入到您的安全运维中心（SOC）中。名词解释 SIEM：安全信息与事件管理系统（Security Information and Event Management），如Splunk，IBM QRadar等。...
- 产品推荐
- 这些文档可能帮助您