如何配置日志服务的时间转换格式
本文主要介绍如何配置日志服务的时间转换格式。登录 日志服务控制台。在Project列表区域，单击目标Project。单击 资源>机器组，在目标机器组的名称后，选择>详情。在 已生效Logtail配置 区域，单击Logtail采集配置名称。进入 Logtail配置 ...
使用Cloud Shell下载日志数据
通过Cloud Shell可以快速下载较大数量的日志文件，并快速上传至OSS。本文介绍使用Cloud Shell下载日志数据。前提条件 如果您使用RAM用户下载日志，则需要先给RAM用户授予以下权限：只读访问日志服务的权限（AliyunLogReadOnlyAccess）。...
SDK参考概述
日志服务Java SDK：使用GetLogs接口查询日志 使用Java SDK管理日志库Logstore 通过消费组消费数据 使用Aliyun Log Java Producer写入日志数据 日志服务Python SDK：使用GetLogs接口查询日志 使用Python SDK管理日志库Logstore 使用...
上下文查询
应用场景 例如，O2O外卖网站在服务器上的程序日志里会记录一次订单成交的轨迹：用户登录>浏览商品>选择物品>加入购物车>下单>订单支付>支付扣款>生成订单。如果客户下单失败，运维人员需要快速定位问题原因。传统的上下文查询中，需要管理...
查询和分析网站日志
本文以查询和分析网站日志为例，帮助您快速上手查询和分析操作。前提条件 已采集到网站访问日志。具体操作，请参见 使用完整正则模式采集日志。步骤一：创建索引 登录 日志服务控制台。在Project列表区域，单击目标Project。在 日志存储>...
日志字段详情
字段名称 字段值类型 字段说明_topic_string 日志主题，格式为 polardbx_sqlaudit。affect_rows int 若执行的是DML，表示受影响的行数。若执行的是查询语句，表示返回结果的行数。autocommit int SQL执行时 autocommit 是否打开，取值范围...
管理日志存储空间
背景信息 如果您因网站业务调整，导致所需要的日志存储容量发生变化，您可以通过 升级 增加日志存储容量、通过 降配 减小日志存储容量。例如，如果您为新的网站开启了日志采集，则日志存储容量需求会增大；如果您减少了日志存储时长，则...
日志字段详情
字段名称 字段说明_topic_日志主题，格式为 drds_audit_log_{instance_id}_{db_name}，例如 drds_audit_log_drdsxyzabcd_demo_drds_db。autocommit SQL执行时 autocommit 是否打开，取值范围如下：0：未打开 1或NULL：打开 instance_id ...
采集-IoT/嵌入式日志
C Producer方案与其他嵌入式采集方案对比如下：类别 C Producer 其他方案 编程 平台 移动端+嵌入式 移动端为主 上下文 支持 不支持 多日志 支持 不支持（一种日志）自定义格式 支持 不支持（提供若干个有限字段）优先级 支持 不支持 环境...
采集Syslog
本文介绍如何通过日志服务控制台创建Logtail配置来采集Syslog。前提条件 已在服务器上安装Linux Logtail 0.16.13及以上版本或Windows Logtail 1.0.0.8及以上版本。具体操作，请参见 安装Logtail（Linux系统）或 安装Logtail（Windows系统）...
日志管理概述
Web应用防火墙（WAF）日志服务帮助您采集并存储WAF防护对象（云产品实例、域名）的Web访问及攻击防护日志，并基于阿里云日志服务，输出查询分析、统计图表、报警服务、下游计算对接与投递等能力，帮助您专注于分析，远离琐碎的查询和整理...
日志类别及字段说明
Web访问日志通常用于分析Web流量和用户行为、识别访问模式和异常情况、优化网站性能等。数据延迟采集，延迟时间一般为：1~12小时 DNS解析日志 sas-log-dns 记录DNS解析过程详细信息的日志，包括请求域名、查询类型、客户端IP地址、响应值等...
常见问题
本文介绍日志服务CLI工具使用过程中的常见问题。安装时报TLSV1_ALERT_PROTOCOL_VERSION错误 请执行以下命令升级pip后重试。pip3 install pip-U 如何查看CLI使用过程中的日志？生成的警告和错误信息默认保存在~/aliyunlogcli.log 文件。您...
快速使用全量日志分析
将网站接入DDoS高防后，您可以通过全量日志分析采集和存储网站的日志数据，并对采集到的日志数据进行查询与分析。本文介绍如何快速使用全量日志分析功能。使用前须知 使用前请您了解什么是全量日志分析、如何计算所需的日志存储容量、日志...
编码解码函数
函数示例 示例1 原始日志 test:asewds 加工规则 e_set("f1",str_decode(str_encode("你好","utf8"),"utf8"))加工结果 test:asewds f1:你好 示例2 原始日志 f2:test 测试数据 加工规则 e_set("f1",str_encode(v("f2"),"ascii",errors=...
时序模式
time_字段是日志服务中每条日志默认自带的属性，表示写入日志到日志服务时，指定的日志时间。time_字段为Unix时间戳格式，单位为秒。您可以通过_time_字段构建时序模式的统计图表，避免复杂的时间函数操作。非时序模式和时序模式的主要区别...
日志字段详情
本文介绍OSS日志类型及相关的日志字段详情。OSS日志类型 日志类型 说明 访问日志 记录相关OSS Bucket的所有访问日志，实时采集。批量删除日志 记录批量删除日志时具体的删除信息，实时采集。说明 当您调用DeleteObjects接口时，访问日志中...
全量日志字段说明
本文介绍了DDoS高防全量日志包含的日志字段。字段 说明 示例_topic_日志主题，取值固定为ddos_access_log，表示DDoS高防日志。ddos_access_log body_bytes_sent 请求发送Body的大小，单位为字节。2 content_type 内容类型。application/x-...
DDoS防护
本文介绍DDoS防护访问日志的字段详情。DDoS高防（新BGP）日志字段 说明_topic_日志主题，固定为ddoscoo_access_log。owner_id 阿里云账号ID body_bytes_sent 请求Body的大小，单位：字节。cc_action CC防护策略行为，例如none、challenge、...
日志字段详情
本文介绍互联网流量日志的字段详情。日志字段说明 字段名称 字段说明 示例值_time_在Logstore写入日志数据时的日志时间。1703483369_topic_日志的主题。取值固定为 cloudfirewall_access_log，表示云防火墙的流量日志。cloudfirewall_...
下载日志
日志服务支持将日志或查询分析结果下载到本地，本文介绍下载方式及操作步骤。下载方式说明 日志服务提供控制台、Cloud Shell、日志服务CLI或SDK下载方式下载日志或查询分析结果。重要 日志服务CLI或SDK下载方式无数量限制，但可能由于网络...
分析Apache日志
背景信息 Apache是一款主流的网站服务器，当您选用Apache搭建网站时，Apache日志是运维网站的重要信息。日志服务支持通过数据接入向导一站式采集Apache日志，并为Apache日志创建索引和仪表盘。apache_Apache访问日志仪表盘包括来源IP分布、...
字段操作函数
函数格式 e_drop_fields(key1,key2,.,regex=False)参数说明 参数 参数类型 是否必填 说明 key String 是 日志字段名，可以为正则表达式。当字段名完全满足条件时删除该字段，保留不满足条件的字段。关于正则表达式的更多信息，请参见 正则...
采集主机文本日志
本文介绍如何使用Logtail采集主机文本日志。前提条件 已创建Logtail机器组并添加相应服务器，创建机器组的步骤，请参见 创建用户自定义标识机器组（推荐）或 创建IP地址机器组。安装Logtail的主机需开放80（HTTP）端口和443（HTTPS）端口。...
使用Syslog协议上传日志
您可以使用Rsyslog、Syslog-ng采集日志并通过Syslog协议上传到日志服务。本文介绍通过Syslog协议将日志上传到日志服务的操作步骤。相关限制 Syslog协议必须为标准的 RFC5424 协议。每条日志最大支持64 KB。为保证数据传输安全性，数据传输...
使用前须知
遵循OpenTelemetry Trace 1.0标准规范 日志服务Trace数据格式遵循OpenTelemetry Trace 1.0格式，符合云原生、微服务背景下的Trace数据格式需求。高性能 支持日PB级数据接入，支持提取与分析相关指标，提供预计算能力，具备海量场景下Trace...
直方图
在时序模式下，日志服务会自动格式化时间，并展示数据在时间维度上的分布情况。关于时序模式的更多信息，请参见 时序模式。与柱状图相比，直方图更具有统计学意义。直方图和柱状图的主要区别如下：直方图X轴是数值类型的数据，例如长度、...
多目标Logstore数据分发
背景信息 日志服务数据加工功能支持将加工结果分发到多个目标Logstore中。您可以在保存数据加工结果时，设置不同账号的AccessKey信息，将加工结果分发到不同账号的Logstore中；您也可以使用e_output函数、e_coutput函数动态获取目标Project...
分析Nginx访问日志
背景信息 Nginx是一款主流的网站服务器，当您选用Nginx搭建网站时，Nginx日志是运维网站的重要信息。传统模式下，需使用CNZZ等方式，在前端页面插入JS，记录访问请求。或者利用流计算、离线计算分析Nginx访问日志，此方式还需要搭建环境，...
通过DaemonSet方式采集Kubernetes容器文本日志
如果需要只使用一个Logtail实例收集Kubernetes节点上所有容器的日志，可以使用DaemonSet方式在Kubernetes集群上部署Logtail。本文介绍DaemonSet方式采集容器文本日志的工作原理、使用限制、前提条件、操作步骤等信息。工作原理 DaemonSet...
Flink消费
将模拟产生的字符串写入日志服务，示例如下：/将数据序列化成日志服务的数据格式。class SimpleLogSerializer implements LogSerializationSchema<String>{ public RawLogGroup serialize(String element){ RawLogGroup rlg=new ...
IP解析函数
原始日志 ip:203.0.113.1 加工规则 e_set("geo",geo_parse(v("ip")))加工结果 ip:203.0.113.1 geo:{"city":"杭州","province":"浙江省","country":"中国","isp":"移动","lat":30.16,"lon":120.12} 示例2：使用SLS内置IP库查询，解析包含多...
日期时间函数
日志中时间主要有以下三种数据类型，您可以根据本文提供的日期时间函数进行日期时间格式转换。字符串 例如2022/07/03 02-41-26。Unix时间戳 例如1559500886。日期时间对象 例如2022-07-01 10:10:10+08:00或者2022-07-01 10:10:10。说明 ...
如何通过完整正则模式采集多种格式日志
完整正则模式要求日志必须采用统一的格式，但有些时候日志中可能会包含多种格式，您可以采用Schema-On-Write和Schema-On-Read两种模式处理。以 Java 日志为例，作为一个程序日志，它一般既包含正常信息，也会包含异常栈等错误信息。WARNING...
通知内容常见问题
方式 说明 直接以JSON字符串形式展示 {{ alert.fire_results|to_json }} 遍历格式化展示，已知具体的字段 {%-for result in alert.fire_results%}-{{ result.field1 }}-{{ result.field2 }}-{{ result['_tag_:_field3_']}} {%-endfor%} 遍...
日志字段详情
此时间可作为日志时间直接使用，格式和MaxCompute 有差异，这里为 timestamp,精确到毫秒 event_id string 埋点的事件ID，事件ID为2001，page是表示当前页面，arg1表示上一个页面；事件ID为19999，page是默认page_extend,可埋点重写，arg1...
使用Cloud Shell管理日志服务资源
您可以通过Cloud Shell统一的命令格式，管理您在日志服务中的资源。背景信息 您可以通过使用本教程来管理您日志服务中的如下资源：管理项目（Project）。例如：创建、查询或删除Project等。管理日志库（Logstore）。例如：创建、查询、修改...
create_savedsearch
命令格式 aliyunlog log create_savedsearch-project=<value>-detail=[-access-id=][-access-key=][-sts-token=][-region-endpoint=][-client-name=][-jmes-filter=][-format-output=][-decode-output=][-profile=]命令参数 该命令的必选和...
调用函数清洗数据
您可以通过日志服务数据加工函数清洗您所采集的海量日志数据，实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。场景1：过滤日志（e_keep函数和e_drop函数）您可以使用 e_drop 函数或 e_keep 函数过滤日志，也可以使用 ...
update_savedsearch
命令格式 aliyunlog log update_savedsearch-project=<value>-detail=[-access-id=][-access-key=][-sts-token=][-region-endpoint=][-client-name=][-jmes-filter=][-format-output=][-decode-output=][-profile=]命令参数 该命令的必选和...
- 产品推荐
- 这些文档可能帮助您