Logtail配置
Logtail配置是Logtail采集日志的策略集合。通过在创建Logtail配置时设置数据源、采集模式等参数，实现定制化的采集策略。本文介绍API模式下Logtail配置相关的参数说明。Logtail配置基础参数说明 参数名称 数据类型 是否必填 示例值 描述 ...
采集公网数据
现在日志服务LogHub功能可以代替这类架构，并提供稳定、低成本、弹性、安全的解决方案。应用场景 公网数据采集包含移动端、外部服务器、网页和设备数据的采集，采集完成后需要进行实时计算、数据仓库等数据应用。方案1：前端服务器+Kafka ...
加工历史数据
日志服务支持加工历史数据，本文介绍加工历史数据的操作步骤及相关问题。前提条件 已采集数据到日志服务。具体操作，请参见 数据采集。如果您使用的是RAM用户，则需要先授予RAM用户数据加工操作权限。具体操作，请参见 授予RAM用户数据加工...
基本概念
日志接收时间 日志到达日志服务的服务器被接收时的时间，默认不保存在日志中，但是如果Logstore开启了记录外网IP地址，则该时间会保留在日志标签字段的_receive_time_中。数据加工中时间的完整字段名是_tag_:_receive_time_。数据类型为...
使用前须知
阿里云日志服务联合云安全中心联合推出日志分析功能，提供风险威胁数据的实时采集、查询与分析、加工、消费等一站式服务，帮助您全面了解、有效处理服务器的安全隐患，实现对云上资产的集中安全管理。本文介绍云安全中心日志分析功能相关的...
导入OSS数据
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
分析IIS日志
日志服务支持采集IIS日志，并进行多维度分析。本文通过PV、UV、访问地域分布、错误请求、请求方法等维度分析IIS日志，以评估网站访问情况。前提条件 已采集IIS日志。具体操作，请参见 使用IIS配置模式采集日志。说明 在采集过程中，日志...
消费-计量计费日志
本文介绍一种基于日志服务按量计费方案，该方案每天处理千亿级计量日志，被众多云产品使用。计量日志生成计费结果过程 计量日志记录了您所涉及计费的项目，后端计费模块根据计费项和规则进行运算，产生最后账单。例如如下原始访问日志记录...
使用GetLogs接口查询日志
完成日志采集后，您可以调用GetLogs接口查询采集到的日志。本文介绍GetLogs接口示例。前提条件 已完成日志采集。具体操作，请参见 日志采集。已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_...
Python SDK快速入门
本文介绍如何快速使用日志服务Python SDK完成常见操作，包括创建项目（Project）、创建日志库（Logstore）、写入日志和查询日志等。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_...
通过Sidecar方式采集Kubernetes容器文本日志
如果需要每个Pod使用单独的Logtail实例来收集Pod内所有容器的日志，可以使用Sidecar方式在Kubernetes集群上部署Logtail。本文介绍Sidecar方式采集容器文本日志的工作原理、使用限制、前提条件、操作步骤等信息。工作原理 Sidecar模式 在...
复杂JSON数据加工
green service:search_service 解决方案 将一条日志拆分成三条日志，给主题赋予三个不同值再进行分裂，经过分裂后会分成除 topic 不同，其他信息相同的三条日志。e_set("_topic_","server_status,client_status,overall_type")e_split("_...
通过消费组消费日志
client=LogClient(endpoint,accessKeyId,accessKey,token)ret=client.create_logstore(project,logstore,2,4)print("successfully create logstore")time.sleep(60)SampleConsumer.log_results=[]try:#为Logstore写入日志。prepare_data...
使用Python SDK管理项目Project
项目（Project）是日志服务的资源管理单元，包含Logstore、MetricStore和机器组等资源，同时也是您访问日志服务资源的入口。本文通过代码示例介绍如何创建、修改、查询、删除Project等。前提条件 已开通日志服务。更多信息，请参见 开通...
日志服务与Elasticsearch的兼容性
为了解决这些问题，日志服务提供了Elasticsearch兼容接口，最大程度保障Elasticsearch查询分析方案迁移的平滑度，降低将日志引擎从Elasticsearch切换为日志服务的使用难度。日志服务所提供的Elasticsearch兼容接口，其兼容机制是将...
使用Aliyun Log Java Producer写入日志数据
本文介绍日志服务Aliyun Log Java Producer类库的使用方法。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作，请...
通过DaemonSet方式采集Kubernetes容器文本日志
如果需要只使用一个Logtail实例收集Kubernetes节点上所有容器的日志，可以使用DaemonSet方式在Kubernetes集群上部署Logtail。本文介绍DaemonSet方式采集容器文本日志的工作原理、使用限制、前提条件、操作步骤等信息。工作原理 DaemonSet...
采集Syslog
本文介绍如何通过日志服务控制台创建Logtail配置来采集Syslog。前提条件 已在服务器上安装Linux Logtail 0.16.13及以上版本或Windows Logtail 1.0.0.8及以上版本。具体操作，请参见 安装Logtail（Linux系统）或 安装Logtail（Windows系统）...
数据采集概述
数据来源 日志服务支持的数据来源如下：类别 来源 接入方式 更多 应用 程序输出 Logtail 查询分析程序日志 访问日志 Logtail 分析Nginx访问日志 链路跟踪 Trace服务 Logtail 无 时序数据 Logtail Telegraf 无 语言 Java Log Service Java ...
开启SQL独享版
当您使用SQL分析时，如果数据量较大，SQL普通版无法在一次查询中完整扫描指定时间段内的所有日志，返回的结果可能不包括所有匹配的数据，增加Shard可以提升读写能力，但只对新写入的数据生效。您可以通过开启SQL独享版，增加计算资源，提升...
使用GetHistograms查询日志分布数量
本文通过代码示例介绍如何使用GetHistograms接口查询日志在某时间区间中的分布数量。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_...
使用Java SDK创建定时SQL任务
定时SQL支持标准SQL92语法、日志服务查询和分析语法，按照调度规则周期性执行，并将运行结果写入到目标库（Logstore或Metricstore）中。日志服务控制台提供可视化的创建定时SQL任务。具体操作，请参见 创建定时SQL任务。除此之外，日志服务...
查看本地日志
调用日志接口写的日志会先写入到本地应用的沙盒文件中，触发日志上报逻辑后，再上传到日志服务器。本地日志格式 10.1.60&10.1.68 版本 写入本地的日志在沙盒的 Library>atrack>logs 文件夹下。该文件夹仅存放还未上报的日志，已经上报的...
通过Java SDK使用SQL独享版
更多信息，请参见 开通日志服务。已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作，请参见 在Linux、macOS和Windows系统...
采集脚本执行日志
本文介绍如何通过日志服务控制台创建Logtail采集配置来采集脚本执行日志。前提条件 已在服务器上安装Linux Logtail 1.7.1及以上版本。具体操作，请参见 安装Logtail（Linux系统）。功能说明 Logtail通过配置的用户，调用配置的脚本命令，...
日志类别及字段说明
购买日志分析存储容量后，云安全中心默认开启了安全日志、网络日志、主机日志，分别记录系统中的安全事件、网络流量情况和主机的活动。本文介绍云安全中心支持的日志类型以及每种日志类型的字段说明。日志分类 云安全中心分为安全日志、...
C++ SDK概述
阿里云日志服务C++ SDK帮助您在C++程序中调用日志服务的API接口，仅用于Linux平台。版本说明 更多信息，请参见 Aliyun Log C++ Release。示例代码 日志服务C++ SDK提供示例代码，方便您参考或直接使用。示例代码包括以下内容：GitHub源码 ...
对接Jaeger
本文介绍如何使用Jaeger客户端对接日志服务。背景信息 容器、Serverless编程方式提升了软件交付与部署的效率。在架构的演化过程中，可以看到以下变化。应用架构从单体系统逐步转变为微服务，其中业务逻辑变为微服务之间的调用与请求。资源...
PostLogStoreLogs
调用PostLogStoreLogs接口向指定的Logstore中写入日志数据。接口说明 已创建并获取AccessKey。更多信息，请参见 访问密钥。阿里云账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运维。RAM...
配置
使用SDK与日志服务的服务器端进行交互时需要指定一些基本配置，本文介绍SDK的基本配置信息。目前，所有语言的SDK都定义了一个Client类作为入口类，这些基本配置信息需在该入口类构造时指定。具体包括如下几项：服务入口（Endpoint）：确认...
使用Java SDK管理快速查询
Logstore已写入日志并开启索引。具体操作，请参见 使用Java SDK管理日志库Logstore 和 创建索引。注意事项 本示例以华东1（杭州）的公网Endpoint为例，其公网Endpoint为 https://cn-hangzhou.log.aliyuncs.com 。如果您通过与Project同地域...
使用Windows实例的日志
Windows日志记录了系统中硬件、软件和系统问题的信息，同时还监视着系统中发生的事件。当ECS实例受到入侵或者系统（应用）出现问题时，您可以借助日志迅速定位问题的关键，从而极大地提高工作效率和服务器的安全性。本文以Windows Server ...
使用前须知
简介 在捕获窗口期间流日志会先聚合捕获到的流量信息，然后将聚合后的流量信息以流日志记录的方式写入到日志服务中，您可以在日志服务控制台查询和分析流量信息。依据被捕获流量的对象不同，流日志捕获的流量信息也不相同。下表为您展示流...
使用前须知
流日志功能捕获的流量信息以日志方式写入日志服务中。每条日志会捕获特定捕获窗口中的特定五元组网络流，捕获窗口大约为10分钟，该段时间内流日志功能先聚合数据，再发布流日志记录。流日志记录的字段信息，请参见 日志字段详情。资产说明 ...
使用前须知
日志服务联合云数据库Redis推出CloudLens for Redis，用于集中管理Redis实例以及采集Redis运行日志、慢日志和审计日志。本文介绍CloudLens for Redis的功能、资产、费用、使用限制等相关信息。功能说明 CloudLens for Redis支持如下功能：...
日志消费与查询区别
可以从指定Shard中，按照日志写入Shard的顺序批量读取日志。根据接收日志的时间，设置批量读取Shard日志的起始位置（cursor）。日志查询（LogSearch）提供海量日志查询和分析功能，根据条件进行日志查询与统计。通过查询条件查找符合要求的...
创建流日志
授权成功后才能保证VPC流日志被写入到日志服务中。警告 请勿取消授权或删除该RAM角色，否则将导致VPC流日志无法正常推送到日志服务。在顶部菜单栏中，选择资源实例所在地域。支持流日志功能的地域，请参见 功能发布及地域支持情况。在 流...
如何解决查询分析与流处理两种场景下的数据口径差异
API/SDK：使用API或SDK向日志服务写入日志时，可以显式地指定_time_字段的值（默认是发送时间）。receive_time_（到达时间）：到达时间是指表示日志到达并保存到服务端的时间。在日志服务中，到达时间是一个系统标签（Tag），不允许修改。...
API简介
阿里云日志服务（Log Service，简称SLS）提供数据的采集、加工、查询与分析、可视化、告警、消费与投递等功能。如果您熟悉网络服务协议和一种以上编程语言，您可以通过API接口管理您的数据资源。使用限制 您能创建的Project、Logstore、...
通过Unity Plugin接入数据
本文介绍如何通过Unity Plugin将Unity平台的移动端游戏App的崩溃数据、应用数据接入到日志服务移动运维监控中。移动运维监控用于实时监控游戏崩溃、ANR等问题，并且支持智能分析，帮助您低成本、高效率地发现App中的各类隐患。前提条件 已...
- 产品推荐
- 这些文档可能帮助您