增值内容函数
函数列表 类型 函数 说明 威胁情报 e_threat_intelligence 获取日志字段中IP地址或域名的威胁情报信息并输出到指定字段。风险识别 e_saf 获取日志字段中IP地址的风险识别信息，并输出到指定字段。e_threat_intelligence 调用e_threat_...
CLI概述
get_histograms 获取日志分布情况。pull_log 获取日志。pull_logs 获取大量的日志。pull_log_dump 并发下载大量日志到本地文件。消费组管理 create_consumer_group 在指定的Logstore上创建一个消费组。delete_consumer_group 删除一个指定...
分析网站日志
本文介绍如何在日志服务控制台上分析网站日志，并通过合适的统计图表可视化展示分析结果。前提条件 已采集网站日志。具体操作，请参见 数据采集。已创建索引。具体操作，请参见 创建索引。背景信息 网站日志是网站运维的重要信息，包含PV、...
Node.js SDK概述
示例代码包括以下内容：GitHub源码 说明 All.js 写入日志、查询日志、查询Logstore、获取日志分布情况等相关示例。BatchGetLogs.js 批量查询日志相关示例。CreateLogStore.js 创建和修改日志库信息的相关示例。GetLogs.js 使用GetLogs查询...
Java SDK概述
说明 建议您获取日志服务Java SDK的最新版本进行调试，避免报错。更多信息，请参见 Aliyun Log Java SDK。GitHub 用于记录GitHub源码发布版本的标签信息。您可以在GitHub上浏览源代码并查看丰富的代码示例。更多信息，请参见 Aliyun Log ...
日志服务监控审计
云监控 您可以通过阿里云云监控服务来监控日志服务的写入流量、总体QPS、服务状态等指标，获取日志服务的使用情况。同时您可以通过创建报警规则，对日志采集、Shard资源使用等异常进行监控。更多信息，请参见 云监控。
Python SDK概述
示例代码包括以下内容：GitH ub源码 说明 sample.py 写入日志、查询日志、查询Logstore、获取日志分布情况、机器组管理等相关示例。sample2.py 写入日志、按照Shard查询日志、Shard管理等相关示例。Sample3.py 写入日志、按照Shard查询日志...
pull_logs
该命令迭代式获取日志数据并返回输出结果，适用于获取大量日志数据的场景。请求语法 aliyunlog log pull_logs-project_name=<value>-logstore_name=<value>-shard_id=<value>-cursor=[-count=][-end_cursor=][-compress=][-access-id=][-...
日志聚类
获取日志聚类结果 查询分析语句*|select a.pattern,a.count,a.signature,a.origin_signatures from(select log_reduce(3)as a from log)limit 1000 说明 查看聚类结果时，您可以单击 复制查询语句 获取日志聚类结果所对应的查询分析语句。...
配置用户标识
执行以下命令，获取日志服务Project所属的阿里云账号ID。echo$ALIBABA_CLOUD_ACCOUNT_ID 步骤二：配置用户标识 使用服务器所属的阿里云账号登录服务器。配置用户标识。重要 如果/etc/ilogtail/users 目录不存在，请手动创建目录。新增、...
使用日志服务
前提条件 若您选择使用Argo CLI方式开启日志服务和获取日志，您需要提前完成以下操作：下载并安装v3.4.12或以上版本的阿里云Argo CLI。具体操作，请参见 阿里云Argo CLI。若您使用的账号为RAM用户，则需要为RAM用户授予日志服务SLS的只读...
查询和分析JSON日志
本文以查询和分析JSON类型的网站日志为例，为您介绍查询和分析JSON日志的步骤，并提供SQL语句示例。前提条件 已采集JSON日志。具体操作，请参见 使用极简模式采集日志。步骤一：创建索引 登录 日志服务控制台。在Project列表区域，单击目标...
API概览
GetQuickQuery 获取快速查询的SQL语句 根据自定义的快速查询名字，获取日志分析中存储的快速查询分析SQL语句。SaveQuickQuery 保存当前查询分析语句为快速查询 将日志分析中的查询分析SQL语句保存为快速查询，节省SQL书写时间。...
日志字段详情
目前友盟实时日志订阅功能支持U-App（App日志）、U-MiniProgram（小程序日志）和U-Web（网站日志）三类数据，本文介绍这三类日志的字段详情。U-App日志 U-App日志记录用户启动App、使用App功能和App发生异常的相关数据。字段 说明 app_key ...
全局操作函数概览
本文介绍日志服务提供的全局操作函数清单。日志服务LOG DSL（Domain Specific Language）提供近三十种全局操作函数，您可以在数据加工中...增值内容函数 e_threat_intelligence 获取日志字段中IP地址或域名的威胁情报信息并输出到指定字段。
创建索引
倒排索引是一种数据存储结构，由关键词...查询和分析的示例，请参见 查询和分析网站日志、查询和分析JSON日志、采集及分析Nginx监控日志、分析负载均衡7层访问日志。设置字段的最大长度 分析时，日志服务默认支持的字段值最大长度为2048字节，...
普通消费
} try { while(true){/从每个Shard中获取日志 for(Shard shard:resp.GetShards()){ int shardId=shard.getShardId();PullLogsRequest request=new PullLogsRequest(project,logStore,shardId,1000,cursorMap.get(shardId));...
使用云监控监测日志服务的使用情况
您可以通过阿里云云监控服务来监控日志服务的写入流量、总体QPS、服务状态等指标，获取日志服务的使用情况。同时您可以通过创建报警规则，对日志采集、Shard资源使用等异常进行监控。前提条件 RAM用户查看云监控指标，需要主账户为其授予云...
Logstash消费
日志服务 支持通过Logstash消费数据，您可以通过配置 日志服务 的Input插件对接Logstash获取 日志服务 中的数据并写入到其他系统中，例如Kafka、HDFS等。功能特性 分布式协同消费：可配置多台服务器同时消费某一个Logstore。高性能：基于...
PullData
接口说明 获取日志时必须指定Shard。目前仅支持读取 Protocol Buffer 格式数据。请求语法中Host由Project名称和日志服务Endpoint构成，您需要在Host中指定Project。已创建并获取AccessKey。更多信息，请参见 访问密钥。阿里云账号AccessKey...
GetLogs
如果不需要获取日志总条数，可修改接口中offset后多次执行查询，当状态为Complete且返回的行数小于请求的行数时，表示已读完全部数据。x-log-count Long 100 本次查询请求返回的日志行数。说明 返回参数中不支持查询满足条件的日志总条数。...
采集Syslog
Address string 否 指定Logtail监听的协议、地址和端口，Logtail会根据Logtail配置进行监听并获取日志数据。格式为[tcp/udp]:/[ip]:[port]。不配置时，默认为 tcp:/127.0.0.1:9999，即表示（只能接收本地转发的日志。说明 Logtail配置中...
阿里云日志服务Splunk Add-on
您可以通过阿里云RAM获取日志服务Project的AccessKey。更多信息，请参见 访问密钥 和 通过访问密钥访问数据。您可以通过权限助手配置RAM权限。更多信息，请参见 配置权限助手。常用的RAM配置如下：说明为您的日志服务Project名称，为您的...
采集标准Docker容器日志
获取方法，请参见 获取日志服务所在的阿里云账号（主账号）ID。{your_machine_group_user_defined_id} 设置机器组的用户自定义标识，例如log-docker-demo。重要 请确保该标识在您的Project所在地域内唯一。在 步骤二 中创建机器组时，您...
查询语法
日志服务提供一套查询语法，用于指定日志查询时的过滤规则，从而筛选日志中满足条件的记录，筛选结果可以用于分析语句，进行更复杂的分析处理。查询语法 重要 日志服务查询语句和分析语句（SELECT语句）以竖线（|）分割。基础语法：查询...
通过Sidecar-控制台方式采集容器文本日志
更多信息，请参见 步骤一：获取日志服务所在的阿里云账号（主账号）ID。{your_machine_group_user_defined_id} 自定义设置机器组的自定义标识，例如nginx-log-sidecar。重要 请确保该标识在您的Project所在地域内唯一。{your_region_config...
函数总览
增值内容函数 e_threat_intelligence 获取日志字段中IP地址或域名的威胁情报信息并输出到指定字段。表达式函数 函数分类 函数名称 说明 事件检查函数 e_has 判断日志字段是否存在。e_not_has 判断日志字段是否不存在。e_search 提供一种...
提取字符串动态键值对
r"\b(\w+)eat([^\|]+)",{r"\1":r"\2 by \1"})加工结果 处理后日志为：content:rats eat rice|chicks eat bugs|kittens eat fish|kittens:fish by kittens chicks:bugs by chicks rats:rice by rats 客户案例 例如某网站日志中有一个URL数据...
安装Logtail组件（自建Kubernetes集群）
如何获取，请参见 获取日志服务所在的阿里云账号（主账号）ID。AccessKeyID 您的阿里云账号的AccessKey ID。推荐使用RAM用户的AccessKey，并授予RAM用户AliyunLogFullAccess权限。相关操作，请参见 创建RAM用户及授权。AccessKeySercret 您...
通过Sidecar-CRD方式采集容器文本日志
更多信息，请参见 步骤一：获取日志服务所在的阿里云账号（主账号）ID。{your_machine_group_user_defined_id} 自定义设置机器组的自定义标识，例如nginx-log-sidecar。重要 请确保该标识在您的Project所在地域内唯一。{your_region_config...
查看实例的系统日志和屏幕截图
但是ECS缓存了实例最近一次启动、重启或者关机时的系统日志，并且支持实时获取实例屏幕截图。您可以利用这些功能分析排查实例故障，例如诊断操作系统无响应、异常重启或者无法连接实例等。前提条件 实例必须处于 运行中（Running）状态才能...
pull_log_dump
batch_size String 否 1000 每个查询迭代获取的日志数据数量。compress Boolean 否 true 是否压缩返回日志数据。true（默认值）：压缩后返回日志数据。false：不压缩直接返回。关于该命令的全局参数，请参见 全局参数。示例 请求示例 使用...
分析Nginx访问日志
背景信息 Nginx是一款主流的网站服务器，当您选用Nginx搭建网站时，Nginx日志是运维网站的重要信息。传统模式下，需使用CNZZ等方式，在前端页面插入JS，记录访问请求。或者利用流计算、离线计算分析Nginx访问日志，此方式还需要搭建环境，...
CreateMachineGroup
已获取采集日志的机器IP地址或者自定义标识机器组。更多信息，请参见 创建IP地址机器组 和 创建用户自定义标识机器组。鉴权资源 下表列出了API对应的授权信息。您可以在RAM权限策略语句的Action元素中添加该信息，用于为RAM用户或RAM角色...
告警对接函数计算实现自动响应
bucket)} callback(null,'')} 步骤二：采集OSS审计日志 ActionTrail操作日志包括OSS审计日志，因此您可以在日志审计服务中，开启ActionTrail操作日志的采集，从而采集OSS审计日志。登录 日志服务控制台。在 日志应用 区域的 审计与安全 页...
内容分发网络CDN的审计事件
DescribeCdnDomainLogs 获取指定域名的原始访问日志的下载地址。DescribeCdnDomainStagingConfig 查询灰度环境域名配置。DescribeCdnHttpsDomainList 获取用户所有证书信息。DescribeCdnMonitorData 查询CDN监控数据。...
下载日志
日志服务支持将日志或查询分析结果下载到本地，本文介绍下载方式及操作步骤。下载方式说明 日志服务提供控制台、Cloud Shell、日志服务CLI或SDK下载方式下载日志或查询分析结果。重要 日志服务CLI或SDK下载方式无数量限制，但可能由于网络...
pull_log
调用CLI命令获取指定时间段的日志详细信息。请求语法 aliyunlog log pull_log-project_name=<value>-logstore_name=<value>-shard_id=<value>-from_time=<value>-to_time=[-batch_size=][-compress=][-access-id=][-access-key=][-sts-...
get_log_all
该命令适用于获取大量日志数据的场景。请求语法 aliyunlog log get_log_all-project=<value>-logstore=<value>-from_time=<value>-to_time=[-topic=][-query=][-reverse=][-offset=][-access-id=][-access-key=][-sts-token=][-region-...
使用前须知
阿里云DDoS高防（新BGP）、DDoS高防（国际）联合日志服务推出全量日志分析功能，提供网站访问日志、CC攻击日志的实时采集、查询、分析、加工、消费等一站式服务，帮助您排查网站访问异常、追踪CC攻击者来源、分析网站运营情况等。...
- 产品推荐
- 这些文档可能帮助您