本地混流
推流SDK默认只支持一路视频流，开启本地混流后可以采集多路视频流和一路音频流，并按照需要调整这些视频流的位置和大小。请在采集音视频之前开启。videoEffectManager.enableMixing(true);详细信息，请参见API enableMixing。设置混流输出...
进阶功能
推流SDK默认只支持一路视频流，开启本地混流后可以采集多路视频流和一路音频流，并按照需要调整这些视频流的位置和大小。请在采集音视频之前开启。videoEffectManager.enableMixing(true);详细信息，请参见API enableMixing。设置混流输出...
埋点API
注意：请谨慎决定是否实现对应方法，一旦你选择在自己实现采集方法，此设备标识的采集工作就由你全权接管了，SDK不会再试图采集此设备标识。SDK能采集到的设备标识越少，对统计数据的准确性和稳定性负面影响越大。请在设置收数域名之前，...
Logtail采集详情
采集过程 Logtail采集数据的过程如下：监听日志 读取日志 处理日志 过滤日志 聚合日志 发送日志 说明 更多关于Logtail采集原理的介绍，请参见 Logtail技术分享。监听日志 在服务器上安装Logtail及在日志服务控制台上创建Logtail采集配置后...
Logtail基本问题
更多信息，请参见 Logtail采集原理。Logtail是否支持日志文件轮转？Logtail支持日志文件轮转。例如app.LOG文件通过日志文件轮转生成app.LOG.1、app.LOG.2等，Logtail会自动检测到日志文件轮转过程，并保证这个过程中不会丢失日志。Logtail...
如何实现文件中的日志被采集多份
背景信息 当多个Logtail采集配置匹配同一个文件时，会导致多倍的CPU、内存、磁盘IO和网络IO资源占用，将影响同一台服务器部署的其他服务性能，因此默认情况下，一个文件只能匹配一个Logtail采集配置。解决方案 将日志数据存储到不同...
使用前须知
本文介绍该应用的功能、工作原理、资产、费用等信息。重要 本文档为阿里云原创文档，知识产权归阿里云所有，由于本文档旨在介绍阿里云与第三方产品交互的服务能力，因此可能会提及第三方公司或产品等名称。功能说明 提供便捷的配置，帮助您...
工作原理
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
如何通过完整正则模式采集多种格式日志
如果文件中的日志需要被采集多份，请参见 如何实现文件中的日志被采集多份。Schema-On-Read：使用它们共同的正则表达式来采集。例如采用多行日志采集，将时间和日志等级作为行首正则，剩余部分为message。如果希望进一步分析message，可以...
SPL概述
工作原理 日志服务SPL支持在实时消费、扫描查询和Logtail采集三个日志服务场景中使用，工作原理如下图：关于SPL在各个场景中的功能定义，请参见 SPL在不同场景的功能定义。支持使用日志服务SPL的阿里云地域，请参见 支持地域。使用限制 ...
使用完整正则模式采集日志
如果您需要对日志内容做更多个性化的字段提取设置，可选择完整正则模式。本文介绍如何通过日志服务控制台创建完整正则模式的Logtail配置采集日志。前提条件 已创建Project和Logstore。更多信息，请参见 创建Project 和 创建Logstore。用于...
Logtail
如果文件中的日志需要被采集多份，请参见 如何实现文件中的日志被采集多份。重要 采集多份时，文件读取的IO、计算资源和网络IO都会线性增加。文件打开行为 Logtail会保持被采集的文件和轮转队列中待采集的文件处于打开状态，以保证采集数据...
Logtail限制说明
本文简介Logtail采集数据时在运行环境、文件采集、容器采集、CheckPoint管理、Logtail采集配置、机器组、性能、错误处理等方面的限制。运行环境 限制项 限制说明 体系结构 Linux Logtail版本支持x86_64和arm64。Windows Logtail版本支持x86...
服务集成模式
Name:调用函数示例 Type:Task TaskMode:WaitForCustomCallback Action:FC:InvokeFunction Parameters:resourceArn:acs:fc:services/myService1.LATEST/functions/myFunction1 invocationType:Async body:xxxx 用户自定义回调的工作原理如下...
工作原理
本文介绍智能巡检的背景信息、工作原理、功能特性、基本概念、调度与执行场景和使用建议。背景信息 基于时间的数据（例如日志、指标）日积月累后会积累大量的数据。例如，某个服务每天产生1000万条数据，则一年大约为36亿条数据。对于这些...
接入Go程序性能数据
工作原理 Go语言已内置Pprof性能数据暴露机制。在Go程序中启动内置的Pprof性能数据暴露机制后，Logtail会通过HTTP接口获取Pprof数据。准备工作 在接入Go Pprof性能数据前，您需要先启动Go程序性能数据的暴露机制。您可以通过如下方式启动...
采集主机文本日志
本文介绍如何使用Logtail采集主机文本日志。前提条件 已创建Logtail机器组并添加相应服务器，创建机器组的步骤，请参见 创建用户自定义标识机器组（推荐）或 创建IP地址机器组。安装Logtail的主机需开放80（HTTP）端口和443（HTTPS）端口。...
日志应用
针对SLB、ALB、OSS、PolarDB-X 1.0、VPC和DNS，可以有多个区域化Project，名为slsaudit-region-中心化主账号ID-各个采集的地域，例如：slsaudit-region-117938634953*-cn-beijing。无法通过控制台删除区域化Project，只能通过命令行、API...
采集企业内网服务器日志
工作原理 Logtail与日志服务交互的数据主要包括管控数据、业务数据和监控数据。其中，管控数据包括Logtail配置下发及鉴权等信息。通信协议包括HTTP和HTTPS，默认使用HTTP协议发送业务数据和监控数据。因此，代理服务器必须能够同时代理HTTP...
使用前须知
针对SLB、ALB、OSS、PolarDB-X 1.0、VPC和DNS，可以有多个区域化Project，名为slsaudit-region-中心化主账号ID-各个采集的地域，例如：slsaudit-region-117938634953*-cn-beijing。无法通过控制台删除区域化Project，只能通过命令行、API...
通过Sidecar-控制台方式采集容器文本日志
本文介绍通过Sidecar方式在容器上部署Logtail后，如何在 日志服务 控制台上创建Logtail配置采集容器文本日志。前提条件 已创建Project和Logstore。具体操作，请参见 创建Project、创建Logstore。目标容器持续产生日志。重要 Logtail只采集...
Logtail采集日志失败的排查思路
使用Logtail采集日志后，如果预览页面为空或查询页面无数据，您可以根据本文步骤进行排查。操作步骤 确认日志文件是否有更新。Logtail只采集增量的日志。更多信息，请参见 读取文件。如果下发Logtail配置后，日志文件无更新，则Logtail不会...
通过DaemonSet方式采集容器文本日志
本文介绍DaemonSet方式采集容器文本日志的工作原理、使用限制、前提条件、操作步骤等信息。工作原理 DaemonSet模式 在DaemonSet模式中，Kubernetes集群确保每个节点（Node）只运行一个Logtail容器，用于采集当前节点内所有容器（Containers...
Web应用集成SDK
异步接口响应组件工作原理如下：异步接口响应组件会全局重写页面上的xmlHttpRequest（xhr）、Fetch、Form等通用的API接口请求对象，在API接口请求对象上额外封装一层代码，不会影响原始对象的各种特性。Hook完毕后，异步接口响应组件会先于...
设置优化器的Join Reorder
本文介绍列存索引查询优化功能的工作原理、使用方法以及使用限制等内容。工作原理 SQL是声明式查询语言，不会具体的描述SQL语句的查询计划，获取一条SQL语句的正确结果时，可能存在若干个可行的查询计划。示例如下：SELECT*FROM t0,t1,t2,t...
什么是阿里云Elasticsearch
您可以基于阿里云Elasticsearch强大的分析检索能力，以及高安全、高性能、高可用的服务，简化集群部署管理工作、降低集群资源与运维成本、提升数据安全可靠性、打通上下游数据链路、优化读写性能效果等。基于这些优化，您可以快速构建日志...
无侵入观测概述
采集原理 Logtail无侵入监控的采集程序工作空间包括Kernel Space与User Space。Kernel Space用于抓取和预处理数据。抓取：Kernel Hook模块会根据KProbe的定义，拦截网络数据。用于拦截的KProbe内核函数包括connect、accept、write等。预...
产品架构
更多信息，请参见 数据采集概述。数据加工：日志服务提供可托管、可扩展、高可用的数据加工服务。数据加工服务可用于数据的规整、富化、流转、脱敏和过滤。更多信息，请参见 数据加工概述。查询与分析：日志服务支持PB级数据实时查询与分析...
通过Logtail跨阿里云账号采集日志
更多信息，请参见 如何实现文件中的日志被采集多份。此处创建Logtail采集配置成功后，请删除阿里云账号B下的原有Logtail采集配置，避免重复采集日志。如何删除，请参见 删除Logtail采集配置。预览数据及设置索引，单击 下一步。日志服务...
接入Kubernetes Go程序性能数据
采集原理 在Kubernetes中，Go程序性能指标采集组件的部署模型与日志采集组件的部署模型相同，都为Daemonset。依托于日志采集组件多维度Kubernetes资源选择能力，采集Go程序的性能指标数据时，也支持通过环境变量、Kubernetes Labels、...
调用链采样配置最佳实践
不同采样策略各有优劣，在实际业务场景中通常很难通过单一采样策略做到效果与成本的平衡，需要综合评估业务场景、观测需求和费用成本，因地制宜配置最适合的采样策略，例如核心应用、核心链路需要尽可能多采集，特别是对于异常链路的命中率...
采集客户端数据的高可用方案
本文介绍日志服务从客户端采集数据的两个高可用方案，包括双写方案和数据加工复制+写入切换方案。背景 在单集群环境下，日志服务存储采用三副本机制来保证数据的可靠性，即每份数据都有3个副本，副本按照一定的分布式存储算法保存在集群的...
功能特性
更多信息，请参见 数据采集概述。查询与分析 日志服务支持实时查询与分析数据。具体说明如下：支持精确查询、模糊查询、全文查询、字段查询。支持上下文查询、日志聚类、LiveTail、重建索引等功能。支持标准的SQL 92语法。提供SQL独享实例...
Logtail常见问题
分类 文档链接 基本概念说明 Logtail基本问题 日志采集Agent对比 心跳问题 Logtail机器组问题排查思路（主机场景）采集问题 通用场景 查询本地采集状态 如何查看Logtail采集错误信息 Logtail采集日志失败的排查思路 日志服务采集数据常见的...
日志服务采集数据常见的错误类型
本文介绍日志服务采集数据常见的错误类型及对应的解决方法。如果您遇到其他问题，请提交 工单 处理。错误类型 错误说明 解决方法 LOG_GROUP_WAIT_TOO_LONG_ALARM 数据包从产生到发送的过程中等待的时间较长。检查发送是否正常，或者是否...
采集ECS服务日志
通过采集器（Beats），您可以采集云服务器ECS（Elastic Compute Service）中的日志文件、网络数据、服务器指标等数据，发送到阿里云Elasticsearch或Logstash中进行监控、分析等操作。本文以Filebeat为例，介绍如何配置ECS服务日志采集。...
使用极简模式采集日志
极简模式不对日志内容进行解析，每条日志都被作为一个整体被采集到日志服务中，极大简化了日志采集流程。本文介绍如何通过日志服务控制台创建极简模式的Logtail配置采集日志。前提条件 已创建Project和Logstore。更多信息，请参见 创建...
快速入门
本文以采集分析ECS的Nginx访问日志为例，介绍开通日志服务、创建日志项目与Logstore、Logtail采集日志、查询与分析日志等步骤，帮助您快速上手使用日志服务。前提条件 已有可用的ECS。更多信息，请参见 云服务器ECS快速入门。ECS服务器持续...
机器组简介
机器组是包含多台服务器的虚拟分组，日志服务通过机器组的方式管理所有需要通过Logtail采集日志的服务器。本文介绍机器组的概念和类型、配置机器组的步骤。背景信息 日志服务支持通过一个 Logtail采集配置 来采集多台服务器上的数据，这些...
使用JSON模式采集日志
采集到日志后，您可以进行多维度分析、加工、投递等操作。本文介绍如何通过日志服务控制台创建JSON模式的Logtail配置采集日志。前提条件 已创建Project和Logstore。更多信息，请参见 创建Project 和 创建Logstore。用于安装Logtail的服务器...
- 产品推荐
- 这些文档可能帮助您