CSV格式
日志服务将日志投递到OSS后，支持存储为不同的文件格式。本文介绍CSV格式。参数配置 在 配置投递规则 时，如果选择 存储格式 为 csv，对应的参数配置如下所示。参数说明如下所示。更多信息，请参见 CSV标准 和 postgresql CSV说明。参数 ...
数据脱敏
数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露，降低敏感数据泄露的风险，保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP...
日志字段详情
本文介绍云资源配置变更历史、资源不合规事件和资源定时快照等日志的字段详情。配置变更记录 日志字段 说明 accountId 资源归属的阿里云账号ID。arn RAM角色标识。availabilityZone 资源可用区。captureTime 记录资源合规评估的时间戳。...
查询和分析
无 单条日志内容显示 由于网页浏览器性能原因，对于超过10,000个字符的日志，日志服务只会对前10,000个字符进行DOM切词处理。如果超出10,000个字符，控制台会提示“该日志存在超过10,000个字符的日志数据，部分显示上会有降级处理”。模糊...
配置审计
主要介绍配置审计的配置变更记录详情和资源不合规事件详情。配置变更记录 日志字段 说明 accountId 资源归属的阿里云账号ID。arn RAM角色标识。availabilityZone 资源可用区。captureTime 记录资源合规评估的时间戳。单位：毫秒。...
从OSS获取数据出错
此类日志只会在后台日志记录中出现，以下介绍三种定时更新中出错说明。如下日志表示第一次可能因为网络问题获取资源失败，准备重试。{"reason":"Failed to pull data from oss for the first time and it is preparing to re-pull."} 如下...
GetContextLogs
logs中的每一项都是该日志的内容（键值对），除用户日志内容外，还包含三个字段，具体如下：参数名称 数据类型 示例值 描述_index_number_String-100 该日志在本次查询结果中相对上下文的位置，负数表示上文，0表示起始日志，正数表示下文...
GetContextLogs-查询上下文日志
{"_index_number_":"-100","_tag_:_pack_id_":"895CEA449A52FE-8c8","_pack_meta_":"0|MTU1OTI4NTExMjg3NTQ2NDU1OA=|4|1"} logs 中的每一项都是该日志的内容（键值对），除用户日志内容外，还包含三个字段，具体如下：参数名称 数据类型 ...
通过DaemonSet-控制台方式采集Kubernetes容器标准输出
多行日志限制：为保证多行组成的一条日志不因为输出延迟而被分割成多条，多行日志情况下，采集的最后一条日志默认都会缓存一段时间。默认缓存时间为3秒，可通过 BeginLineTimeoutMs 参数修改，但此值不能低于1000（毫秒），否则容易出现...
正则解析
Logtail正则解析插件支持通过正则表达式提取日志字段，并将日志解析为键值对形式。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始字段 ...
IIS模式解析
Logtail IIS模式插件支持根据IIS日志格式定义将日志内容结构化，解析为多个键值对形式。IIS日志简介 Windows服务器会根据您所选择的日志格式（IIS、NCSA和W3C）生成IIS日志。日志格式#Fields:date time s-sitename s-ip cs-method cs-uri-...
提取字符串动态键值对
content:rats eat rice|chicks eat bugs|kittens eat fish|kittens:fish by kittens chicks:bugs by chicks rats:rice by rats 客户案例 例如某网站日志中有一个URL数据，针对这条数据有提取需求，按照需求设计加工规则处理日志内容。...
时间解析
Logtail时间解析处理插件用于解析日志的时间字段，并将解析结果设置为日志的_time_字段。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始...
分隔符模式解析
Logtail分隔符模式解析插件支持通过分隔符将日志内容结构化，解析为多个键值对形式。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数 描述 原始字段 解析...
Nginx模式解析
Logtail Nginx模式插件支持根据log_format中的定义将日志内容结构化，解析为多个键值对形式。Nginx日志简介 Nginx服务器会根据log_format和access_log配置输出对应的Nginx访问日志，log_format和access_log的默认值如下所示。log_format ...
过滤处理
Logtail过滤处理插件支持根据日志字段值来进行日志过滤。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始字段 解析日志前，用于存放日志...
常见问题
例如执行SQL分析的权限，读取日志库数据的权限。确保已提供足够的计算资源。资源限制说明请参见 查询与分析的使用限制。避免使用逻辑过于复杂的SQL语句以及SQL时间窗口设置过大，否则将导致计算超时（服务端超时时间为10分钟）。通过定时...
JSON解析
Logtail JSON解析插件支持将Object类型的JSON日志结构化，解析为键值对形式。使用限制 JSON日志构建于两种结构，包括Object类型（键值对的集合）和Array类型（值的有序列表）。Logtail JSON解析插件是原生插件，支持解析Object类型的JSON...
Apache模式解析
Logtail Apache模式解析插件支持根据Apache日志配置文件中的定义将日志内容结构化，解析为多个键值对形式。Apache日志简介 Apache服务器会根据Apache日志配置文件中指定的日志打印格式、日志文件路径和名称输出Apache日志。例如 CustomLog...
产品架构
日志服务的架构如下图所示：数据来源 日志服务支持采集开源软件、服务器与应用、阿里云产品、标准协议、移动端、物联网等多种来源的数据。日志服务 数据类型 日志服务为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。更...
GetLogs
调用GetLogs接口查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志。接口说明 说明 日志服务支持创建定时SQL任务。具体操作，请参见 创建定时SQL任务。请求语法中Host由Project名称和日志服务Endpoint...
审计配置
下述内容以RDS数据库为例，介绍原生日志采集模式下RDS和SLS产品产生相关费用的模式，其他类型数据库开启原生日志采集模式后存在类似计费，例如：RDS数据库开启原生日志采集模式后，DSC会自动为该数据库开启SQL洞察功能。SQL洞察产生的费用...
脱敏处理
Logtail脱敏处理插件，用于脱敏日志。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始字段 解析日志前，用于存放日志内容的原始字段。脱敏...
使用前须知
日志服务联合云数据库Redis推出CloudLens for Redis，用于集中管理Redis实例以及采集Redis运行日志、慢日志和审计日志。本文介绍CloudLens for Redis的功能、资产、费用、使用限制等相关信息。功能说明 CloudLens for Redis支持如下功能：...
通过JDBC协议分析日志
日志服务支持您在数据库（例如MySQL）中使用JDBC协议连接日志服务，并通过标准的SQL92语法查询和分析日志。前提条件 已创建阿里云账号或RAM用户的AccessKey。具体操作，请参见 访问密钥。如果使用RAM用户的AccessKey，则RAM用户必须是当前...
日志说明
客户端日志 数据访问代理连接器 dbp-connetor 是一个标准的 JDBC 实现，为用户提供了丰富的客户端扩展功能，例如 traceId 透传、SQL 链路追踪、数据库加密解密等功能。结合 dbp-connector，即可在 logs/dbp-connector-digest.log 日志中，...
堡垒机
本文介绍堡垒机操作日志的字段详情。日志字段 说明_topic_日志主题 owner_id 阿里云账号ID content 日志内容 event_type 事件类型。更多信息，请参见 表 1。instance_id 堡垒机实例ID log_level 日志级别 resource_address 资源地址 ...
常见问题
存储与分析：存储与分析基础设施日志、应用日志、网站访问日志、容器日志、云产品日志、时序数据和链路数据等。智能运维：提供智能聚类、异常检测和异常预测能力。告警监控：监控应用业务、用户体验等数据，具备可视化分析与告警能力。问题...
如何在日志中搜索包含空格的关键字
建议您在查询包含空格关键字时，将关键字使用双引号包裹起来，将引号中的内容作为一个关键字进行搜索，搜索结果就是符合条件的日志内容。例如，当您搜索POS version时，会得到包含POS或者version的所有日志，不符合搜索要求。如果使用双...
查看会话日志
在数据库审计系统查看到的会话日志来源是日志服务，您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。操作步骤 登录 日志服务控制台。在Project列表处，查看数据库审计相关的Project，单击...
如何在查询和分析语句中使用引号？
说明 在日志服务的查询和分析语句（查询语句|分析语句）中，引号具有不同的用法。具体说明如下表所示。引号类型 查询语句 分析语句（SQL语句）单引号（'')不支持使用。表示字符串的字符必须使用单引号（''）包裹。双引号（""）当字段名或...
查看会话日志
在日志服务控制台查看会话日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的会话日志来源是日志服务，您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。...
接入Redis监控数据
您可使用Telegraf采集Redis监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建Redis可视化监控方案。本文介绍如何通过日志服务来完成Redis监控数据的采集和可视化。前提条件 Telegraf所在的服务器可通过内网连接...
接入MongoDB监控数据
您可使用Telegraf采集MongoDB监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建MongoDB可视化监控方案。本文介绍如何通过日志服务来完成MongoDB监控数据的采集和可视化。前提条件 已创建Project和MetricStore。具体...
接入MySQL监控数据
您可使用Telegraf采集MySQL监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建MySQL可视化监控方案。本文介绍如何通过日志服务来完成MySQL监控数据的采集和可视化。前提条件 Telegraf所在的服务器可通过内网连接...
分析负载均衡7层访问日志
本文基于日志服务的可视化和实时查询分析能力，为您介绍负载均衡（SLB）7层访问日志查询分析的典型案例。前提条件 已采集到SLB 7层负载均衡日志。具体操作，请参见 开通访问日志功能。背景信息 对于大部分云上架构而言，负载均衡是基础设施...
资源函数
base_retry_back_off=1,max_retry_back_off=60,primary_keys=None,use_ssl=false,update_time_key=None,deleted_flag_key=None)说明 日志服务还支持通过res_rds_mysql函数从AnalyticDB MySQL数据库、PolarDB MySQL数据库拉取数据，您只需将...
常见问题
售前常见问题 产品计费常见问题 数据采集常见问题 数据存储常见问题 查询与分析常见问题 数据加工常见问题 消费与投递常见问题 售前常见问题 什么是日志服务？日志服务可以做什么？日志服务能为用户带来哪些价值？日志服务支持采集哪些数据...
加工原理
日志服务提供的数据加工功能，通过编排内置的两百多个函数，使用协同消费组对日志数据进行消费，实现对日志数据的加工处理。本文档主要介绍进行数据加工时日志数据的调度原理，以及加工规则引擎的工作原理。调度原理 日志服务的数据加工...
接入Clickhouse监控数据
您可使用Telegraf采集Clickhouse监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建Clickhouse可视化监控方案。本文介绍如何通过日志服务来完成Clickhouse监控数据的采集和可视化。前提条件 Telegraf所在的服务器可...
- 产品推荐
- 这些文档可能帮助您