日志采集Agent对比
日志采集场景下客户端测评 DT时代，数以亿万计的服务器、移动终端、网络设备每天产生海量的日志。中心化的日志处理方案有效地解决了在完整生命周期内对日志的消费需求，而日志从设备采集上云是始于足下的第一步。三款日志采集工具 Logstash...
复制Logstore数据
如果您需要将Logstore中的日志数据保存多份，可以使用数据加工功能复制Logstore数据。本文介绍复制Logstore数据的使用场景和操作步骤。使用场景 某公司访问日志被采集存储在同一阿里云账号中的多个Project。现有需求将 project-a 中 ...
接入Apache SkyWalking Trace数据到日志服务
背景信息 将Apache SkyWalking Trace数据接入日志服务能带来以下优势：弹性：日志服务在面对激增流量方面，具有天然的优势。高性能：日志服务提供了相比ES更优的查询性能，支持每天PB级的数据接入，十亿、百亿级的秒级查询返回。稳定性：...
网络质量分析器数据分析最佳实践
本文以网络质量分析器数据查询分析、仪表盘、告警为例，帮助您快速上手网络质量分析器操作。前提条件 创建端应用并设置网络探测规则。具体操作，请参见 新建接入端应用 和 设置网络探测规则。背景信息 阿里云日志服务网络质量分析器是一款...
多目标Logstore数据分发
如果您希望输出日志到指定的Logstore后，对应的日志还能继续执行后面的加工规则，可使用e_coutput函数。更多信息，请参见 e_output、e_coutput。本文以e_output函数为例。场景1：跨账号分发 例如：某网站所有的访问日志存储在一个Logstore...
使用前须知
云安全中心 旗舰版、企业版 支持查看网络日志、安全日志和主机日志，高级版、防病毒版 仅支持查看安全日志和主机日志。不同版本的区别，请参见 计费概述。资产详情 专属Project和Logstore 开通日志分析功能后，系统默认创建一个名为 sas-...
跨地域传输数据
如果是跨境传输，不能保证网络稳定性。在网络不稳定情况下，加工任务自动重试。如果您想要提升传输的网络质量，可以启用DCDN加速方案。启用DCDN。具体操作，请参见 采集加速。在 创建数据加工任务 面板中，选中 DCDN，并单击 DCDN加速连通...
从OSS获取数据出错
如下日志表示第一次可能因为网络问题获取资源失败，准备重试。{"reason":"Failed to pull data from oss for the first time and it is preparing to re-pull."} 如下日志表示后台每隔一段时间进行更新，新资源函数获取数据失败，准备重试...
开通日志功能
本文介绍如何在风险识别控制台上开通日志管理功能，将风险识别日志推送到日志服务中。前提条件 已购买高级版风险识别服务。具体操作，请参见 购买风险识别服务。已开通日志服务。操作步骤 重要 如果您使用RAM用户开通日志功能，则需先为RAM...
性能指南
写出目标越多，事件标签TAG越多，输出的数据包日志组越多，网络交互越多，则速度越慢。反之越快。加工逻辑 加工逻辑越复杂，搜索计算越多，频繁进行外部资源同步，对计算与网络消耗越大，则速度越慢。反之越快。第三方数据源 从第三方获取...
通过Sidecar方式采集Kubernetes容器文本日志
{your_region_config} 请根据日志服务Project所在地域和访问的网络类型填写。其中，地域信息请参见 安装Logtail（Linux系统）。如果使用公网采集日志，格式为 region-internet，例如 华东 1（杭州）为 cn-hangzhou-internet 。如果使用阿里...
分区
Logstore读写日志必定保存在某一个分区（Shard）上。每个日志库（Logstore）分若干个分区，每个分区由MD5左闭右开区间组成，每个区间范围不会相互覆盖，并且所有的区间的范围是MD5整个取值范围。Shard是每个Logstore下读写基本单元，每个...
日志管理概述
输出安全网络日志到自建数据与计算中心。功能优势 等保合规：存储网站六个月以上的访问日志，助力网站符合等保合规要求。配置灵活：轻松配置即可实现Web访问及攻击防护日志的采集。支持自定义WAF日志字段和存储类型、设置需要采集日志的WAF...
使用前须知
功能介绍 您的业务在使用DCDN服务时，会产生大量的网络日志数据。通过实时日志功能，您可以实时采集节点产生的日志，并投递到日志服务进行存储和消费，以便快速监控和定位业务问题。资产详情 专属Project和Logstore 开启日志投递功能后，...
关联Logstore与MySQL数据库进行查询分析
日志服务可实时采集用户游戏日志数据，包括操作、目标、血、魔法值、网络、支付手段、点击位置、状态码、用户ID等信息。然而用户元数据，包括用户的性别、注册时间、地域等信息，不能打印到日志中，所以一般存储到数据库中。现在该公司希望...
使用前须知
您可以在日志审计服务的 全局配置 页面开启智能分层存储，其中热存储时间必须大于等于7天且不能超过当前存储天数。例如当前中心化存储时间为180天，开启30天热存储，则日志将在保存30天之后转为低频存储或归档存储。数据加密 日志审计服务...
日志审计服务概述
Logstore waf_log 仪表盘 WAF审计中心 WAF安全中心 WAF访问中心 云安全中心 主机日志（8种）网络日志（4种）安全日志（3种）华东1（杭州）、新加坡 企业版本 需在SAS控制台中开通 日志分析 功能。更多信息，请参见 开通日志分析功能。...
通过消费组读取文本日志进行模板发现
日志模板发现 用于对日志数据进行离线、智能的分析，提取和管理日志中的常见模板，帮助您快速了解日志数据。本文介绍通过消费组拉取文本日志进行文本发现的操作步骤。前提条件 已采集日志到源Logstore或Metricstore。具体操作，请参见 数据...
Android SDK快速入门
本文介绍如何快速使用日志服务Android SDK采集日志。前提条件 已安装Android SDK。具体操作，请参见 安装Android SDK。快速使用 您可以按照以下方式初始化SDK，并通过调用 addLog 方法上报日志。重要 SDK支持初始化多个实例，...
日志类别及字段说明
购买日志分析存储容量后，云安全中心默认开启了安全日志、网络日志、主机日志，分别记录系统中的安全事件、网络流量情况和主机的活动。本文介绍云安全中心支持的日志类型以及每种日志类型的字段说明。日志分类 云安全中心分为安全日志、...
iOS SDK快速入门
本文介绍如何快速使用日志服务iOS SDK采集日志数据。前提条件 已安装iOS SDK。具体操作，请参见 安装iOS SDK。快速使用 您可以按照以下方式对SDK进行初始化，并同调用 addLog 方法上报日志。重要 iOS SDK支持初始化多个实例，...
创建MaxCompute投递任务（新版）
日志服务采集到日志后，支持将日志投递至MaxCompute的表中进行存储与分析。本文介绍如何创建MaxCompute投递任务（新版）。前提条件 已创建Project和Logstore。具体操作，请参见 创建Project和Logstore。已采集日志。具体操作，请参见 数据...
数据加密
日志服务支持通过密钥管理服务KMS（Key Management Service）对数据进行加密存储，提供数据静态保护能力。日志服务同时支持基于SSL/TLS的HTTPS加密传输，有效防止数据在云端的潜在安全风险。服务器端加密 日志服务支持如下两种加密类型机制...
日志类型
日志服务提供的服务日志功能可记录多种日志类型，本文介绍各种日志类型及不同日志类型的日志字段。日志类型 开启服务日志功能时，您可以选择服务日志的类型，具体说明如下表所示。重要 为保证您自定义查询语句的兼容性，建议您在查询语句中...
创建流日志
本文介绍在VPC控制台上创建流日志的操作步骤及其相关的操作。前提条件 已创建资源实例。具体操作，请参见 创建弹性网卡、创建和管理专有网络 和 创建和管理交换机。已在资源实例所在地域创建日志服务Project和Logstore。具体操作，请参见 ...
创建和管理流日志
专有网络VPC（Virtual Private Cloud）提供流日志功能。流日志功能可以捕获VPC中弹性网卡ENI（Elastic Network Interface）传入和传出的流量信息，您可以通过分析流日志捕获的流量信息检查VPC下的访问控制规则、排查网络故障以及监控异常...
通过DaemonSet方式采集Kubernetes容器文本日志
如果需要只使用一个Logtail实例收集Kubernetes节点上所有容器的日志，可以使用DaemonSet方式在Kubernetes集群上部署Logtail。本文介绍DaemonSet方式采集容器文本日志的工作原理、使用限制、前提条件、操作步骤等信息。工作原理 DaemonSet...
开启日志采集功能
开启CloudLens for SLS后，日志服务默认采集 全局日志（审计日志、错误日志、监控指标）以及 运行日志（原实例日志中的重要日志和作业运行日志），以上日志均免费。新开通CloudLens for SLS，全局日志 存储在名称为 log-service-{阿里云主...
快速入门
本文以采集分析ECS的Nginx访问日志为例，介绍开通日志服务、创建日志项目与Logstore、Logtail采集日志、查询与分析日志等步骤，帮助您快速上手使用日志服务。前提条件 已有可用的ECS。更多信息，请参见 云服务器ECS快速入门。ECS服务器持续...
按使用功能计费模式计费项
日志服务的所有计费项都是单独计费的，例如您存储日志会产生日志存储费用，您采集日志会产生写流量费用等。本文介绍日志服务按使用功能计费模式计费项的组成及付费方式。说明 日志服务按使用功能计费模式支持采集日志和时序数据，时序数据...
使用前须知
阿里云日志服务联合阿里云内容分发网络CDN推出实时日志推送功能，将借助于CDN访问图片、文字或视频资源时产生的日志实时推送到日志服务中。资产说明 自定义日志服务Project、Logstore 重要 请勿删除CDN实时日志相关的日志服务Project和...
服务入口
日志服务提供私网域名和公网域名，不同网络的接入方式请参见 使用Logtail收集各网络日志数据。在Project列表区域，单击目标Project。在Project的 项目概览 页面，查看该Project所在地域的服务入口。如何选择服务入口 私网域名和公网域名...
常见问题
日志服务的所有计费项都是单独计费的，例如您存储日志会产生存储费用，您采集日志会产生写流量费用等。更多信息，请参见 计费项。如果有需求，如何联系？如果您有日志服务相关的需求，可通过 需求单 或 工单 联系日志服务团队。
创建流日志
您可以在智能接入网关中创建流日志实例，将智能接入网关的传入和传出流量信息投递到日志服务中。本文介绍创建流日志实例的操作步骤及相关操作。前提条件 已购买智能接入网关SAG-1000设备且其软件版本为1.7.0及以上。具体操作，请参见 购买...
消费-通过消费组实现高可靠消费
这篇文章主要介绍在实时计算场景中，如何能做到日志处理保序、不丢失、不重复，并且在上下游业务系统不可靠（存在故障）、业务流量剧烈波动情况下，如何保持这三点。为方便理解，本文使用《银行的一天》作为例子将概念解释清楚。在文档末尾...
导入云监控数据
Logstore Shard数量 日志服务的写性能取决于目标Logstore的Shard数量（单个Shard支持5 MB/s的写入）。当数据量较大时，建议增加目标Logstore的Shard数量。具体操作，请参见 管理Shard。网络 目前云监控服务是中心化部署，导入任务需要通过...
什么是Logtail
Logtail内部采用了很多机制提升日志采集可靠性，但并不能保证日志一定不会丢失。以下情况可能造成日志丢失：Logtail未运行且日志轮转多次。日志轮转速度极快，例如1秒轮转1次。日志采集速度长期无法达到日志产生速度。相关文档 Logtail诊断...
Kafka消费概述
内网endpoint和对应port，可以通过阿里云内部网络访问日志服务，相比公网有更好的链路质量和安全性。String endpoint="cn-hangzhou-intranet.log.aliyuncs.com";String port="10011;String hosts=project+"."+endpoint+":"+port;props.put...
采集客户端数据的高可用方案
本文介绍日志服务从客户端采集数据的两个高可用方案，包括双写方案和数据加工复制+写入切换方案。背景 在单集群环境下，日志服务存储采用三副本机制来保证数据的可靠性，即每份数据都有3个副本，副本按照一定的分布式存储算法保存在集群的...
采集Syslog
如果本地Logtail能接收到数据，则可能是写入端问题或网络问题。logger-n localhost-P 9000-T"This is a TCP syslog message"logger-n localhost-P 9001-d"This is a UDP syslog message"此外，您还可以参见 Logtail采集日志失败的排查思路 ...
- 产品推荐
- 这些文档可能帮助您