快速使用全量日志分析
将网站接入DDoS高防后，您可以通过全量日志分析采集和存储网站的日志数据，并对采集到的日志数据进行查询与分析。本文介绍如何快速使用全量日志分析功能。使用前须知 使用前请您了解什么是全量日志分析、如何计算所需的日志存储容量、日志...
开通实时日志订阅功能
本文介绍如何在友盟控制台上开通实时日志订阅功能，将U-App、U-MiniProgram和U-Web日志推送至日志服务。前提条件 已使用友盟U-App、U-MiniProgram或者U-Web产品完成数据采集。已创建Project和Logstore。更多信息，请参见 创建项目Project ...
Kafka消费概述
使用Java实现Kafka消费 使用Confluent-Kafka-Go实现Kafka消费 使用Franz-Kafka-Go实现Kafka的消费 使用Sarama-Kafka-Go实现Kafka消费 使用Confluent-Kafka-Python实现Kafka消费 使用Confluent-Kafka-C#实现Kafka消费 消费字段格式说明 场景...
设置CC安全防护
yunpk=177699790*Referer 访问请求的来源网址，即该访问请求是从哪个页面跳转产生的。包含、不包含、等于、不等于、长度小于、长度等于、长度大于、不存在 https://example.aliyundoc.com/ Content-Type 访问请求指定的响应HTTP内容类型，...
新功能发布记录
全部地域 通过DaemonSet方式采集Kubernetes容器文本日志 通过Sidecar方式采集Kubernetes容器文本日志 使用Terraform配置Logtail采集配置 Terraform是一种开源工具，用于安全高效地预览、配置和管理云基础架构和资源。用户可以使用Terraform...
使用前须知
日志服务联合传统型负载均衡CLB推出7层访问日志功能，用于记录所有发送到CLB的请求的详细信息，包括请求时间、客户端IP地址、延迟、请求路径和服务器响应等。您可以通过7层访问日志分析了解客户端用户行为、客户端用户地域分布和进行问题...
开启秒级监控
本文介绍如何在VPC控制台上开启弹性公网IP的秒级监控功能，以日志形式将监控数据采集到日志服务中。前提条件 已购买弹性公网IP。具体操作，请参见 申请EIP。已在弹性公网IP实例所在地域，创建日志服务Project和Logstore。具体操作，请参见 ...
GetLogs
更多信息，请参见 查询日志使用限制 和 分析日志使用限制。查询日志前，已配置索引。具体操作，请参见 创建索引。当查询涉及的日志数量变化非常大时，日志服务API无法预测需要调用多少次该接口来获取完整结果。所以需要您查看每次请求返回...
创建实时日志推送服务
本文介绍如何在视频点播控制台中创建实时日志推送服务，将指定域名的CDN原始访问日志推送到日志服务进行存储、查询和分析等操作。前提条件 已添加加速域名。具体操作，请参见 添加加速域名。操作步骤 登录 点播控制台。在左侧导航栏中，...
Nginx Ingress异常问题排查
因为SLB的地址是集群外使用，如果集群节点和Pod不能直接访问，请求不会到SLB，会被当作Service的扩展IP地址，被kube-proxy的iptables或ipvs转发。如果刚好集群节点或者Pod所在的节点上没有相应的后端服务Pod，就会发生网络不通的问题，而...
Nginx Ingress异常问题排查
因为SLB的地址是集群外使用，如果集群节点和Pod不能直接访问，请求不会到SLB，会被当作Service的扩展IP地址，被kube-proxy的iptables或ipvs转发。如果刚好集群节点或者Pod所在的节点上没有相应的后端服务Pod，就会发生网络不通的问题，而...
消费-计量计费日志
例如如下原始访问日志记录了项目（Project）使用情况：microtime:1457517269818107 Method:PostLogStoreLogs Status:200 Source:203.0.113.10 ClientIP:198.51.100.10 Latency:1968 InFlow:1409 NetFlow:474 OutFlow:0 UserId:44 AliUid:...
创建实时日志推送服务
本文介绍如何在视频直播控制台中创建实时日志推送服务，将指定域名的CDN原始访问日志推送到日志服务进行存储、查询和分析等操作。前提条件 已添加域名。具体操作，请参见 添加域名。说明 目前仅支持推送播流域名的实时日志，如需推送推流域...
GetLogs-查询日志库日志
查询指定Project下某个Logstore中的日志数据。接口说明 说明 日志服务支持创建定时 SQL 任务。具体操作，请参见 创建定时 SQL 任务。请求语法中 Host 由 Project 名称和日志服务 Endpoint 构成，您需要在 Host 中指定 Project。当查询涉及...
GetHistograms
调用GetHistograms接口查询指定Logstore中满足查询语法条件的日志分布情况，返回结果显示某时间区间中的日志条数（数量）。接口说明 请求语法中Host由Project名称和日志服务Endpoint构成，您需要在Host中指定Project。已创建并获取...
日志服务与Elasticsearch的兼容性
单个日志服务Logstore支持PB级数据量，因此使用日志服务提供的Elasticsearch兼容API时，Elasticsearch不需要做Index滚动。日志服务的索引不会自动创建，您需要通过API方式或控制台手动创建。具体操作，请参见 创建索引。通过Elasticsearch ...
CLB访问日志功能简介
CLB作为公网访问入口，承载着海量的访问请求，您可以通过访问日志分析客户端用户行为、了解客户端用户的地域分布、进行问题排查等。在开启CLB访问日志后，您可以将访问日志存储在日志服务（SLS）的日志库（Logstore）中，采集分析访问日志...
GetHistograms-查询日志分布情况
调用GetHistograms接口查询指定Logstore中满足查询语法条件的日志分布情况。接口说明 请求语法中 Host 由 Project 名称和日志服务 Endpoint 构成，您需要在 Host 中指定 Project。该接口的响应中子区间划分方式是一直稳定的。如果您在请求...
创建Web函数
如果您想基于各个语言的流行框架如Flask、Express、SpringBoot等编写程序，或者迁移已有的框架应用，请选择创建Web函数。通过设置实例并发度，您可以在流量高峰期有效管理资源使用，降低冷启动影响，从而提升性能和控制成本。创建函数 登录...
使用集群API Server审计功能
审计（Auditing）产生于API Server内部，用于记录对Kubernetes API的请求以及请求结果。ACK集群提供API Server的审计日志，帮助集群管理人员排查“什么人在什么时间对什么资源做了什么操作”，可用于追溯集群操作历史、排查集群故障等，...
采集-通过WebTracking采集日志
本文档为您介绍如何通过WebTracking采集日志数据到日志服务中，并对采集到的日志数据进行查询和分析。背景信息 当发送重要邮件时为了确认对方已读，都会在邮件中设置 读取回执 标签，可以在对方已读时收到提醒信息。读取回执这种模式用途很...
使用集群API Server审计功能
审计（Auditing）产生于API Server内部，用于记录对Kubernetes API的请求以及请求结果。ACK集群提供API Server的审计日志，帮助集群管理人员排查“什么人在什么时间对什么资源做了什么操作”，可用于追溯集群操作历史、排查集群故障等，...
访问日志
背景信息 ALB作为访问入口，承载着海量的访问请求，ALB支持将访问日志投递到日志服务，结合日志服务强大的大数据计算能力，您可以通过访问日志分析用户行为、了解用户的地域分布、进行问题排查等。ALB日志访问功能具有以下优势：简单：将...
过滤VPC流日志公网流量
在专有网络VPC控制台上开通流日志功能后，流日志将被采集到日志服务中，您可以通过日志服务对流日志进行查询、分析和排查网络故障。本文介绍通过日志服务数据加工对流日志进行公网流量过滤的操作方法。前提条件 已开通VPC流日志功能。具体...
日志转存
访问OSS的过程中会产生大量的访问日志。您可以通过日志转存功能将这些日志按照固定命名规则，以小时为单位生成日志文件写入您指定的存储空间（Bucket）。对于已存储的日志，您可以通过阿里云日志服务或搭建Spark集群等方式进行分析。注意...
SLB访问日志采集不到
如果发现无法正常采集SLB访问日志，请按照以下步骤排查。1.确认是否为SLB实例开通了访问日志 每个SLB实例需要单独设置，开通后的产生的访问日志将实时写入您的日志服务Logstore。请登录SLB控制台，在左侧导航栏中单击 日志管理>访问日志，...
分析Nginx访问日志
传统模式下，需使用CNZZ等方式，在前端页面插入JS，记录访问请求。或者利用流计算、离线计算分析Nginx访问日志，此方式还需要搭建环境，在实时性以及分析灵活性上难以平衡。日志服务支持通过数据接入向导一站式采集Nginx日志，并为Nginx...
设置AI智能防护
模式 预警：检测发现恶意请求时，仅记录攻击预警日志，不会阻断任何访问请求，帮助您了解AI智能防护的效果。使用预警模式时，您可以结合全量日志分析，查询与AI智能防护有关的攻击预警记录，确认其攻击防护能力。更多信息，请参见 查看攻击...
日志服务采集数据常见的错误类型
本文介绍日志服务采集数据常见的错误类型及对应的解决方法。如果您遇到其他问题，请提交 工单 处理。错误类型 错误说明 解决方法 LOG_GROUP_WAIT_TOO_LONG_ALARM 数据包从产生到发送的过程中等待的时间较长。检查发送是否正常，或者是否...
消费-通过消费组实现高可靠消费
日志处理是一个很大范畴，其中包括实时计算、数据仓库、离线计算等众多点。这篇文章主要介绍在实时计算场景中，如何能做到日志处理保序、不丢失、不重复，并且在上下游业务系统不可靠（存在故障）、业务流量剧烈波动情况下，如何保持这三点...
开通日志审计功能
本文介绍如何在MongoDB控制台上开通日志审计功能，进行日志的查询、在线分析和导出。日志审计功能帮助定位数据修改的操作者身份或时间点等信息，识别是否存在滥用权限、执行非合规命令等内部风险。前提条件 已开通日志服务SLS，如何开通，...
引入健康检查
通过日志查看健康检查的结果 您还可以通过查看具体的日志来确定健康检查的结果，日志的目录位于 health-check 目录下，日志内容示例如下：2018-04-06 23:29:50,240 INFO main-Readiness check result:success 目前 SOFA 中间件已经通过 ...
映射富化函数
原始日志 data:123 city:nj pop:800 加工规则 e_table_map(tab_parse_csv("city,pop,province nj,800,js sh,2000,sh"),["city","pop"],"province",)加工结果 data:123 city:nj pop:800 province:js 示例8：多个日志匹配字段，且日志匹配...
添加应用
角色权限 日志服务使用AliyunLogETLRole访问Logstore中的数据。如果您使用的阿里云账号还未完成AliyunLogETLRole授权，请单击 您需要授权系统角色AliyunLogETLRole，根据页面提示完成授权。如果您要使用RAM用户操作，则使用阿里云账号完成...
使用前须知
阿里云微服务引擎MSE联合日志服务推出网关日志投递功能，用于记录网关访问日志，帮助您了解客户端用户行为、客户端用户的地域分布情况，及时排查问题。本文介绍网关日志投递功能相关的资产、费用、使用限制等信息。资产详情 Project和...
对象存储
访问日志 记录对应Bucket的所有访问日志，实时采集。日志字段 说明_topic_日志主题，固定为oss_access_log。owner_id 阿里云账号ID region Bucket所在地域 access_id 访问者的阿里云AccessKey ID time 访问时间，即OSS收到请求的时间。如果...
使用前须知
监控中心 访问日志Logstore名称-metrics 访问日志Logstore名称 展示ALB实例的实时监控数据，包括访问PV、请求成功率、平均延时、4xx请求数、Status分布、流量、P50延迟、P90延迟、P99延迟、TOP请求Host、TOP延迟Host、TOP失败率Host、TOP...
复制Logstore数据
如果您需要将Logstore中的日志数据保存多份，可以使用数据加工功能复制Logstore数据。本文介绍复制Logstore数据的使用场景和操作步骤。使用场景 某公司访问日志被采集存储在同一阿里云账号中的多个Project。现有需求将 project-a 中 ...
使用前须知
阿里云Kubernetes Ingress组件除了提供外部可访问的URL、负载均衡、SSL、基于名称的虚拟主机外，还支持将所有您的HTTP请求日志记录到标准输出中。日志服务推出Ingress日志中心功能，用于分析和监控Ingress后端对接的服务状态。本文介绍...
服务入口
本文介绍日志服务不同网络类型的服务入口。查看服务入口 服务入口（Endpoint）表示日志服务对外服务的访问域名。日志服务提供私网域名和公网域名，不同网络的接入方式请参见 使用Logtail收集各网络日志数据。在Project列表区域，单击目标...
- 产品推荐
- 这些文档可能帮助您