实时消费概述
日志服务提供数据实时消费功能，支持通过SDK实时消费数据。本文介绍实时消费功能的概念、功能优势、应用场景、计费规则、消费目标等信息。实时消费 实时消费是指第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的...
功能特性
安全报表 日志服务 日志服务 Web应用防火墙（WAF）日志服务帮助您采集并存储WAF防护对象（云产品实例、域名）的Web访问及攻击防护日志，并基于阿里云日志服务，输出查询分析、统计图表、报警服务、下游计算对接与投递等能力，帮助您专注于...
购买WAF 3.0包年包月实例
您需要购买 Web应用防火墙（Web Application Firewall，简称WAF）实例后，才可以正常使用该服务。WAF 3.0 支持包年包月和按量付费两种计费方式。本文介绍如何购买 WAF 3.0 包年包月实例。购买前要了解的信息 WAF 3.0 包年包月实例支持基础...
计费说明
20 大数据深度学习引擎 依托于阿里云深度神经网络系统，对云上全部Web攻击数据以及正常业务数据进行分类训练，从而实时防护潜在的异常攻击行为。20 自定义扫描防护能力 在默认防扫描能力基础上，提供高频Web攻击和恶意目录遍历的高级自定义...
日志库
日志库（Logstore）是日志服务中日志数据的采集、存储和查询单元。命名规则 只能包含小写字母、数字、连字符（-）和下划线（_）。必须以小写字母或者数字开头和结尾。长度为3~63字符。完整资源示例 {"logstoreName":"access_log","ttl":1,...
GetLogs-查询日志库日志
查询指定Project下某个Logstore中的日志数据。接口说明 说明 日志服务支持创建定时 SQL 任务。具体操作，请参见 创建定时 SQL 任务。请求语法中 Host 由 Project 名称和日志服务 Endpoint 构成，您需要在 Host 中指定 Project。当查询涉及...
WAF接入配置最佳实践
将网站域名接入 Web应用防火墙（Web Application Firewall，简称WAF），能够帮助您的网站防御OWASP TOP10常见Web攻击和恶意CC攻击流量，避免网站遭到入侵导致数据泄露，全面保障您网站的安全性和可用性。您可以参考本文中的接入配置和防护...
GetLogs
调用GetLogs接口查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志。接口说明 说明 日志服务支持创建定时SQL任务。具体操作，请参见 创建定时SQL任务。请求语法中Host由Project名称和日志服务Endpoint...
使用前须知
其中，RDS SQL审计日志记录了对数据库执行的所有操作，这些信息是系统通过网络协议分析所得，对系统CPU消耗极低，不影响SQL执行效率。RDS SQL审计日志包括但不限于如下操作：数据库的登录和退出操作。DDL（Data Definition Language）操作...
设置防敏感信息泄露
背景信息 防敏感信息泄漏功能是Web应用防火墙针对《网络安全法》提出的“网络运营者应当采取技术措施和其他必要措施，确保其收集的个人信息安全，防止信息泄露、毁损、丢失。在发生或者可能发生个人信息泄露、毁损、丢失的情况时，应当立即...
GetLogsV2-查询Logstore中的日志数据
查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志（返回结果压缩后传输）。接口说明 日志服务 SDK 目前仅支持 Go、Java、Python 三种语言，OpenAPI 全部已支持。使用过程中注意指定压缩方法，不同语言...
使用前须知
阿里云关系型数据库RDS联合日志服务推出RDS SQL审计日志投递功能，将RDS SQL审计日志投递到日志服务中。日志服务提供实时查询、可视化分析、告警、投递、加工等功能。本文介绍RDS SQL审计日志相关的资产详情、费用说明、使用限制等信息。...
消费-通过消费组实现高可靠消费
日志处理是一个很大范畴，其中包括实时计算、数据仓库、离线计算等众多点。这篇文章主要介绍在实时计算场景中，如何能做到日志处理保序、不丢失、不重复，并且在上下游业务系统不可靠（存在故障）、业务流量剧烈波动情况下，如何保持这三点...
GetLogsV2
查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志。（返回结果压缩后传输）。日志服务SDK目前仅支持Go、Java、Python三种语言，OpenAPI全部已支持。使用过程中注意指定压缩方法，不同语言实现的压缩...
功能特性
数据采集 日志服务提供50多种数据接入方案。具体说明如下：支持采集服务器与应用相关的日志、时序数据和链路数据。支持采集物联网设备日志。支持采集阿里云产品日志。支持采集移动端数据。支持采集Logstash、Flume、Beats、FluentD、...
使用日志服务自定义WAF监控与告警
基于阿里云日志服务的告警功能，您可以为接入 Web应用防火墙（Web Application Firewall，简称WAF）并开启了日志服务的防护对象配置自定义监控图表和告警服务，对业务整体流量和安全状态进行监控和告警。本文介绍如何通过日志服务为WAF配置...
查询概述
日志服务支持秒级查询十亿到千亿级别的日志数据。基本语法 查询语句和分析语句以竖线（|）分割。查询语句的语法为日志服务专有语法，更多信息，请参见 查询语法。重要 查询语句可单独使用，分析语句必须与查询语句一起使用。即分析功能是...
术语表
日志（Log）日志是系统运行过程中变化的一种抽象数据，其内容为指定对象的操作和其操作结果按时间的有序集合。更多信息，请参见 日志（Log）。日志组（LogGroup）日志组是一组日志的集合，是写入与读取日志的基本单位。一个日志组中的日志...
Cloud Shell概述
阿里云云命令行Cloud Shell已经集成日志服务CLI，您无需部署配置，可以直接通过Cloud Shell管理日志服务资源和下载日志服务数据。什么是Cloud Shell？Cloud Shell允许您通过命令行管理阿里云资源。通过浏览器启动Cloud Shell时，Cloud ...
常见问题
阿里云会使用我在日志服务上存储的数据吗？阿里云是否会将自己的数据存储在日志服务上？如果数据量突然激增，日志服务如何保证服务不受影响？日志服务中的数据如何实现低成本存储？日志服务中的数据可以保存多久？如何开始使用日志服务？...
管理MetricStore
删除MetricStore必须提前删除所有Logtail配置，通过减少数据保存时间，实现日志的自动删除。本文介绍如何在日志服务控制台上创建、修改、删除MetricStore与时序数据等操作。基本概念 时序库（MetricStore）是日志服务中时序数据的采集、...
使用Web Tracking采集日志
什么是Web Tracking采集？日志服务Web Tracking功能用于在Web应用程序中跟踪用户行为并将行为数据上传到日志服务中，便于您分析用户行为等。您可以通过Web Tracking采集各种浏览器、iOS App或Android App的用户信息，例如：用户使用的浏览...
计费案例
低频存储：0.005元/GB/天 25元 案例3 C客户业务数据日志量1天1 TB，正在进行日志数据平台选型，客户需求包括全字段可查可分析，通过数据加工清洗错误日志，日志存储30天以备问题回溯，部分数据投递到MC进行进一步的离线数据挖掘。...
日志库（Logstore）
日志库（Logstore）是日志服务中日志数据的采集、存储和查询单元。日志服务提供标准型（Standard）和查询型（Query）两种类型的Logstore。标准型Logstore：支持日志服务一站式数据分析功能，适用于实时监控、交互式分析以及构建完整的可...
日志管理概述
Web应用防火墙（WAF）日志服务帮助您采集并存储WAF防护对象（云产品实例、域名）的Web访问及攻击防护日志，并基于阿里云日志服务，输出查询分析、统计图表、报警服务、下游计算对接与投递等能力，帮助您专注于分析，远离琐碎的查询和整理...
日志管理概述
Web应用防火墙（WAF）日志服务帮助您采集并存储WAF防护对象（云产品实例、域名）的Web访问及攻击防护日志，并基于阿里云日志服务，输出查询分析、统计图表、报警服务、下游计算对接与投递等能力，帮助您专注于分析，远离琐碎的查询和整理...
查询和分析
本文介绍日志服务查询和分析的限制。查询 限制项 说明 备注 关键词个数 关键词查询时，除布尔逻辑符外的条件个数。每次查询最多30个。无 字段值大小 单个字段值最大为512 KB，超出部分不参与查询。如果单个字段长度大于512 KB，有一定几率...
添加日志服务SLS数据源
本文档介绍在DataV中添加日志服务SLS数据源的方法，以及相关参数配置说明。日志服务（Log Service，简称SLS）是针对实时数据的一站式服务。前提条件 已准备好待添加的日志服务SLS数据源。添加日志服务SLS数据源操作步骤 登录 DataV控制台。...
添加日志服务SLS数据源
本文档介绍在DataV中添加日志服务SLS数据源的方法，以及相关参数配置说明。日志服务（Log Service，简称SLS）是针对实时数据的一站式服务。前提条件 已准备好待添加的日志服务SLS数据源。添加日志服务SLS数据源操作步骤 登录 DataV控制台。...
最佳实践
分析Nginx访问日志 分析Apache日志 分析IIS日志 分析Log4j日志 分析网站日志 查询分析程序日志 分析负载均衡7层访问日志 分页显示查询分析结果 分析行车轨迹日志 分析销售系统日志 数据加工 调用函数清洗数据 事件判断 处理日期时间 数据...
日志采集Agent对比
日志采集场景下客户端测评 DT时代，数以亿万计的服务器、移动终端、网络设备每天产生海量的日志。中心化的日志处理方案有效地解决了在完整生命周期内对日志的消费需求，而日志从设备采集上云是始于足下的第一步。三款日志采集工具 Logstash...
LogHub（SLS）数据源
LogHub（SLS）数据源为您提供读取和写入LogHub（SLS）双向通道的功能，本文为您介绍DataWorks的LogHub（SLS）数据同步的能力支持情况。使用限制 数据集成离线写LogHub（SLS）时，由于LogHub（SLS）无法实现幂等，FailOver重跑任务时会引起...
管理EventStore
删除EventStore会永久删除事件数据，删除日志可以通过设置更短的保存时间。本文介绍如何在日志服务控制台上创建、修改和删除EventStore与事件数据等操作。基本概念 事件库（EventStore）是日志服务中事件数据的采集、存储和查询单元。每个...
简介
日志服务提供外部存储功能，可用于日志服务与MySQL数据库、阿里云对象存储OSS、托管的CSV文件进行关联。本文介绍日志服务外部存储功能的应用场景、功能优势等信息。应用场景 在日志分析场景中，您可能经常遇到数据分散存储的问题，例如用户...
使用前须知
阿里云日志服务和友盟联合推出实时日志订阅功能，将友盟数据开放平台U-DOP的各类明细数据一键实时同步至日志服务，实现日志实时查询、可视化分析、告警、投递、加工等操作。本文介绍友盟相关日志的资源说明、费用说明和使用限制。资源说明 ...
使用前须知
阿里云日志服务联合数据管理DMS推出操作日志导出功能，将日志服务的部分功能融合到DMS操作日志中，实现日志实时查询、可视化分析、告警等功能。本文介绍DMS操作日志导出功能相关的资源说明、应用场景、费用说明及使用限制。支持的日志 数据...
概述
日常工作中，企业通常会对实时日志数据进行开发。其中：日志数据来源可以为ECS、容器、移动端、开源软件、网站服务或JavaScript。本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。方案 说明...
关联MySQL数据源
本文介绍如何创建外部存储，建立日志服务与MySQL数据库的关联。前提条件 已采集数据到日志服务。具体操作，请参见 数据采集。已存储数据到MySQL数据库。MySQL数据库在阿里云VPC内网域内。背景信息 日志服务外部存储功能支持日志服务与阿里...
日志字段详情
custom_properties 自定义属性 U-Web日志 U-Web日志记录用户访问和使用Web的相关数据。字段 说明 site_id 站点ID cookie_id 用户ID user_agent 用户代理 ip IP地址 resolution 分辨率 language 语言 refer_url 来源URL refer_domain 来源...
关联Logstore与MySQL数据库进行查询分析
本文以游戏公司数据分析场景为例，介绍日志服务Logstore与MySQL数据库关联分析功能。前提条件 已采集日志到日志服务。更多信息，请参见 数据采集。已为日志字段创建索引。更多信息，请参见 创建索引。已有可用的MySQL数据库。更多信息，请...
- 产品推荐
- 这些文档可能帮助您