备份操作
保留天数为0时，表示不保留日志备份，即关闭日志备份功能。单击 确定 即可。说明 自动备份默认为开启状态。超过保留天数的备份会被自动删除。出于安全考虑，建议自动备份的频率为每周至少2次。本地日志备份设置 登录 PolarDB分布式版控制台...
使用前须知
说明 当前暂不收取网络日志提取费，收费时间将另行通知。日志服务的服务费 当涉及的Logstore的计费模式为按使用功能计费时，流日志捕获的流量信息存储在日志服务中，您可以在日志服务中查看和分析相关数据，日志服务收取相应的存储和索引...
日志类别及字段说明
防病毒版和高级版仅支持主机和安全两大类日志，不支持网络日志。说明 全球（不含中国）区域不支持查看网络日志。网络日志 日志类型_topic_描述 采集周期 Web访问日志 sas-log-http 记录用户请求Web服务器和Web服务器响应的日志，包括HTTP...
计费案例
31个*天 免费 读写流量 上传日志时的网络流量：10 MB/天×20%×31天=62 MB 通过Java订阅日志时的网络流量：10 MB/天×20%×31天=62 MB 124 MB 免费 存储空间-日志存储 日志存储量：10 MB/天×20%×31天=62 MB 被构建索引的日志存储量：10 ...
导入Elasticsearch数据
本文介绍如何将Elasticsearch数据导入到日志服务，实现数据的查询分析、加工等操作。前提条件 已有可用的Elasticsearch集群。已创建Project和Logstore。具体操作，请参见 创建项目Project 和 创建Logstore。创建数据导入配置 登录 日志服务...
日志备份
需注意，日志备份保留时长不能大于数据备份保留时长。日志备份关闭后，系统将在1~3分钟内自动删除现有的历史日志备份集，已删除的日志备份集不可恢复，请谨慎操作。MySQL 5.7基础系列日志备份保留时长固定为7天。查看日志备份 访问 RDS实例...
事件检查函数
函数示例 判断日志是否存在 content 字段，不存在则保留该日志，否则丢弃该日志。原始日志 content:123 加工规则 e_if_else(e_not_has("content"),KEEP,DROP)加工结果 日志被丢弃。更多参考 支持和其他函数组合使用。相关示例，请参见 调用...
如何在日志样例中设置不可见字符
在某些场景下，需要使用不可见字符作为日志的 分隔符 或 引用符，本文档主要介绍如何在日志样例中填写不可见字符。背景信息 如果需要保留日志的原始格式，而且日志内容中本身存在逗号（,）、分号;等字符，使用这些字符作为 分隔符 或 引用...
投递日志到MaxCompute（旧版）
投递不支持日志时间（对应保留字段_time_）距离当前时间14天以前的数据，在投递过程中自动丢弃超过14天的数据。通过日志服务投递日志到MaxCompute，暂不支持DECIMAL、DATETIME、DATE、TIMESTAMP数据类型。更多信息，请参见 2.0数据类型版本...
使用前须知
单用户网络问题诊断 网络质量分析器会上传所有在线终端用户访问服务端时的网络日志，帮助您还原具体单个用户在不同时期的网络访问质量情况。网络质量分析器可用于单个特定用户的网络问题诊断排查。产品优势 跨平台、适配性强 提供Android、...
日志审计
流量日志：记录了通过云防火墙的所有正常网络流量的细节，包括但不限于源和目的IP、端口号、传输协议以及流量大小等。流量日志对于理解网络使用模式和进行网络行为分析具有重要价值。操作日志：记录了用户对云防火墙控制台的所有操作行为，...
全局操作函数概览
本文介绍日志服务提供的全局操作函数清单。日志服务LOG DSL（Domain Specific Language）提供近三十种全局操作函数，您可以在数据加工中通过全局操作函数控制加工逻辑。全局操作函数列表如下表所示。函数类型 函数 操作说明 流程控制函数 e...
任务监控大盘异常处理
准备工作 Project A中的任务监控大盘展示依赖于任务运行日志，但该日志不一定存储在Project A中。在进行异常处理前，您需要确认任务运行日志存储位置，操作步骤如下所示。登录 日志服务控制台。在Project列表区域，单击Project A。在页面...
开通日志审计功能
云数据库Redis版 基于阿里云日志服务SLS（Log Service），推出审计日志功能，为您提供日志的查询、在线分析、导出等功能，既可以帮助安全审计人员及时发现数据异常操作的行为，快速定位修改数据的用户身份与时间点，又可以助力业务系统满足...
PostLogStoreLogs
服务端会对每次PostLogStoreLogs写入的日志数据做格式检查，只要日志数据中有任何一条日志不符合规范，则整个请求失败且无任何日志数据成功写入。目前仅支持写入 PB格式 的日志数据，日志数据以LogGroup的形式展示。日志数据写入时有两种...
提取日志时间
true（默认值）：保留 false：不保留 NoKeyError Boolean 否 原始日志中无您所指定的原始字段时，系统是否报错。true（默认值）：报错 false：不报错 AlarmIfFail Boolean 否 提取日志时间失败，系统是否报错。true（默认值）：报错 false...
日志索引表
云产品分类 CloudLens应用 日志类型 存储 CloudLens for SLS 重要日志（消费组延迟日志、Logtail告警日志、Logtail采集日志、Logtail状态日志）详细日志 任务运行日志（定时SQL任务运行日志、数据导入、投递等任务的运行日志）错误日志 ...
监控日志服务
topic_:consumergroup_log and consumer_group:consumerGroupX|SELECT max_by(fallbehind,_time_)as fallbehind 监控Logtail异常情况 您可以通过Logtail告警日志，及时发现Logtail异常状况，调整Logtail配置，确保日志不丢失。在 internal-...
开启控制平面日志和日志告警功能
本文介绍如何在服务网格ASM控制台中配置控制平面日志采集和告警，将日志推送到日志服务的LogStore中进行存储、查询分析并配置日志告警。前提条件 阿里云账号已开通阿里云日志服务SLS。具体操作，请参见 开通日志服务。重要 将日志采集到ASM...
日志常见问题
包年包月版本不保留，按量版保留。释放云防火墙后，云防火墙的配置数据（例如访问控制策略、攻击防护策略、流量分析策略配置等）将保留 7 天。如果您需要保留包年包月版日志分析数据，请在释放云防火墙之前，将日志导出到本地或投递到第三...
开启GitOps控制面日志与审计日志功能
本文介绍如何通过CLI开启GitOps控制面日志与审计日志功能，将相关日志投递到日志服务中。前提条件 已在ACK One主控实例中开启GitOps。具体操作，请参见 在ACK One主控实例中开启GitOps。已开启ACK One主控实例控制平面组件日志及审计日志。...
通过DaemonSet-控制台方式采集Kubernetes容器标准输出
多行日志限制：为保证多行组成的一条日志不因为输出延迟而被分割成多条，多行日志情况下，采集的最后一条日志默认都会缓存一段时间。默认缓存时间为3秒，可通过 BeginLineTimeoutMs 参数修改，但此值不能低于1000（毫秒），否则容易出现...
过滤VPC流日志公网流量
在专有网络VPC控制台上开通流日志功能后，流日志将被采集到日志服务中，您可以通过日志服务对流日志进行查询、分析和排查网络故障。本文介绍通过日志服务数据加工对流日志进行公网流量过滤的操作方法。前提条件 已开通VPC流日志功能。具体...
通过DaemonSet方式采集Kubernetes容器文本日志
如果需要只使用一个Logtail实例收集Kubernetes节点上所有容器的日志，可以使用DaemonSet方式在Kubernetes集群上部署Logtail。本文介绍DaemonSet方式采集容器文本日志的工作原理、使用限制、前提条件、操作步骤等信息。工作原理 DaemonSet...
提取字段
您在使用Logtail采集日志时，可以添加Logtail插件，通过正则模式、标定模式、CSV模式、单字符分隔符模式、多字符分隔符模式、键值对模式、Grok模式提取日志字段。本文介绍各个插件的参数说明和配置示例。使用限制 文本日志和容器标准输出只...
打包字段
false：不保留。AlarmIfIncomplete Boolean 否 原始日志中无您所指定的原始字段时，系统是否报错。true（默认值）：报错。false：不报错。配置示例 将指定的 a 字段和 b 字段打包成JSON字段 d_key，配置示例如下：原始日志"a":"1""b":"2...
日志服务采集数据常见的错误类型
单击错误查看详细报错，检查是否存在SourceKey配置错误或日志不合法的情况。STAT_FILE_ALARM 通过LogFileReader对象进行文件采集时发生错误。单击错误查看详细报错，根据其中的文件路径、错误信息进行进一步排查。SERVICE_SYSLOG_INIT_...
Logtail发布历史
原生解析失败并选择保留原始日志，原始日志将仅保留在_raw_log_而不再保留在content字段以避免数据重复 修复K8s集群Pod网络为HostNetwork时获取到的容器IP有时为空的问题 1.8.3 修复 解决因容器内存修复引入的日志重复采集问题 修复...
查询语法
日志服务提供一套查询语法，用于指定日志查询时的过滤规则，从而筛选日志中满足条件的记录，筛选结果可以用于分析语句，进行更复杂的分析处理。查询语法 重要 日志服务查询语句和分析语句（SELECT语句）以竖线（|）分割。基础语法：查询...
通过Sidecar方式采集Kubernetes容器文本日志
如果需要每个Pod使用单独的Logtail实例来收集Pod内所有容器的日志，可以使用Sidecar方式在Kubernetes集群上部署Logtail。本文介绍Sidecar方式采集容器文本日志的工作原理、使用限制、前提条件、操作步骤等信息。工作原理 Sidecar模式 在...
Logtail
日志采集延迟 正常情况下从日志写入磁盘到Logtail采集到日志的延迟不超过1秒。日志上传策略 Logtail会将同一文件的日志自动聚合上传，聚合条件为日志超过4000条、日志总大小超过512 KB或者日志采集时间超过3秒。任一条件满足则触发上传行为...
Logtail限制说明
日志采集延迟 正常情况下从日志写入磁盘到Logtail采集到日志的延迟不超过1秒。日志上传策略 Logtail会将同一文件的日志自动聚合上传，聚合条件为日志超过4000条、日志总大小超过512 KB或者日志采集时间超过3秒。任一条件满足则触发上传行为...
稳定性说明与使用限制
说明 OSS投递功能为了保证Exactly-once，在少数情况下（如网络抖动等）会修改Bucket中已存在的文件，如果Bucket开启了WORM策略，为了保证投递功能正常执行不被阻塞，会尝试将数据写入新命名后的文件，尝试次数为5次，新命名的文件规则为：...
展开JSON字段
false：不保留。UseSourceKeyAsPrefix Boolean 否 是否将原始字段名作为所有JSON展开字段名的前缀。KeepSourceIfParseError Boolean 否 解析日志失败时，是否保留原始日志。true（默认值）：保留。false：不保留。ExpandArray Boolean 否 ...
分隔符模式解析
允许部分字段 如果日志中实际提取出的Value数量少于Key数量，是否上传日志到 日志服务。选中 允许部分字段 表示上传。例如日志为 11|22|33|44，分隔符为竖线（|），Key为 A、B、C、D 和 E。如果选中 允许部分字段，则 E 字段的Value为空，...
导入Amazon S3文件
阿里云日志服务SLS支持导入Amazon S3中的日志文件。您可以通过数据导入的方式将Amazon S3的日志文件导入到阿里云的日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5GB以内的S3文件，压缩文件大小按照压缩后的大小计算。...
导入Kafka数据
本文介绍如何将Kafka数据导入到日志服务，实现数据的查询分析、加工等操作。前提条件 已有可用的Kafka集群。已创建Project和Logstore。具体操作，请参见 创建项目Project 和 创建Logstore。版本说明 目前，只支持Kafka 2.2.0及以上版本。...
设置任意时间点保护策略
功能说明 传统备份逻辑按备份周期保留备份集，即使备份过程和备份集保留均无异常，可任意时间点恢复范围仍会短于日志保留天数，并且该范围会随着全量备份之间的间隔天数和备份集保留天数而变化。同时，如果出现备份延迟、备份失败等情况时...
采集策略
不满足则拒绝采集日志，不再做后续策略判断。拒绝（drop）：当采集对象满足采集策略时拒绝采集日志，不再执行下一条策略。不满足则继续执行下一条策略，由后续策略判断是否采集。接受（accept）：当采集对象满足采集策略时采集日志，不再...
导入OSS数据
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
- 产品推荐
- 这些文档可能帮助您