采集加速
本文介绍如何开启网络全球加速服务加速日志服务数据采集。步骤一：开启全球加速 全球加速采集功能处于公测阶段，提交 工单 联系日志服务技术支持人员为Project开启全球加速服务。步骤二：配置Logtail采集加速 您可以通过如下方式配置...
数据编码方式
Protocol Buffer格式用于结构化数据交换格式，当用户需要写入日志时，需要把原始日志数据序列化成如下格式的Protocol Buffer数据流，然后才能通过API写入服务端。message Log { required uint32 Time=1;UNIX Time Format message Content {...
通过消费组读取文本日志进行模板发现
日志模板发现 用于对日志数据进行离线、智能的分析，提取和管理日志中的常见模板，帮助您快速了解日志数据。本文介绍通过消费组拉取文本日志进行文本发现的操作步骤。前提条件 已采集日志到源Logstore或Metricstore。具体操作，请参见 数据...
场景一：使用默认角色完成同账号的数据流转
请确保在 原始日志 页签中有日志数据。在编辑框中，输入数据加工语句。加工语句的语法请参见 数据加工语法。预览数据。单击 快速。日志服务支持快速预览和高级预览。更多信息，请参见 预览调试概述。单击 预览数据。查看预览结果。如果加工...
查看审计日志
在日志服务控制台查看审计日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的审计日志来源是日志服务。您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的审计日志数据。...
应用场景
日志服务的典型应用场景包括：数据采集与消费、数据清洗与流计算（ETL/Stream Processing）、数据仓库对接（Data Warehouse）、日志实时查询与分析。数据采集与消费 通过日志服务LogHub功能，可以大规模低成本接入各种实时日志数据（包括...
从SLS同步
本文介绍如何使用日志投递功能从日志服务（SLS）同步数据到云数据库ClickHouse。注意事项 云数据库ClickHouse的企业版集群和在2021年12月份之后创建的社区兼容版集群不支持日志投递功能。云数据库ClickHouse目前不支持数组类型的数据。支持...
Spark Streaming消费
日志服务采集到日志数据后，您可以通过运行Spark Streaming任务消费日志数据。日志服务提供的Spark SDK实现了Receiver模式和Direct模式两种消费模式。Maven依赖如下：<dependency><groupId>...
Node.js SDK快速入门
本文介绍如何快速使用日志服务Node.js SDK完成常见操作，包括创建项目（Project）、创建日志库（Logstore）、写入日志和查询日志等。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_...
管理Logstore
基本概念 日志库（Logstore）是日志服务中日志数据的采集、存储和查询单元。每个Logstore隶属于一个Project，每个Project中可创建多个Logstore。日志服务提供标准型（Standard）和查询型（Query）两种类型的Logstore。重要 当计费模式为按...
管理日志投递任务
创建AnalyticDB MySQL投递任务后，您可以在日志服务控制台上管理数据投递任务，包括查看任务详情、修改投递配置以及启动、停止、删除任务等操作。查看任务详情 登录 日志服务控制台。在 Project列表 区域，单击目标Project。在 日志存储>...
日志服务控制台无法采集到数据
问题描述 日志服务控制台无法采集到数据。解决方案 排查Rsyslog服务 登录无法采集到数据的ECS实例，检查Rsyslog服务的配置文件syslog.conf，文件内容如下。WorkDirectory/var/spool/rsyslog#where to place spool files$...
Java SDK概述
DataSample.java 拉取日志数据相关示例。LogProject.java 创建Project相关示例。LoggingSample.java 开通详细日志功能相关示例。LogtailProfileSample.java 查询Logtail配置相关示例。SavedSearchSample.java 快速查询操作相关示例。...
查询和分析日志
分析语句 用于对日志数据进行过滤、转换、统计、聚合等操作，例如统计一段时间内数据的平均值、获取数据的同比和环比结果。分析语句必须配合查询语句一起使用，格式为 查询语句|分析语句，语法说明请参见 函数概览。使用Data Explorer，...
LogHub（SLS）数据源
LogHub（SLS）实时同步字段 数据类型 说明_time_STRING SLS保留字段：_time_写入日志数据时指定的日志时间，unix时间戳，单位为秒。source_STRING SLS保留字段：_source_日志来源设备。topic_STRING SLS保留字段：_topic_topic名称。tag_:_...
开通日志审计功能
日志审计功能帮助定位数据修改的操作者身份或时间点等信息，识别是否存在滥用权限、执行非合规命令等内部风险。前提条件 已开通日志服务SLS，如何开通，请参见 开通日志服务。如果使用RAM用户开通审计日志，需要授予RAM用户以下权限：...
数据加工仪表盘
创建数据加工任务后，日志服务默认为每个加工任务创建一个仪表盘，您可以在仪表盘中查看数据加工任务运行指标。本文介绍加工任务运行指标详情及如何查看数据加工仪表盘。查看仪表盘 创建加工任务后，您可以在 数据加工概览 页面查看该任务...
Storm消费
日志服务LogHub提供了高效、可靠的日志通道功能，您可以通过Logtail、SDK等多种方式来实时采集日志数据。采集日志数据之后，可以通过Storm实时消费写入到日志服务中的数据。为了降低Storm消费的代价，日志服务提供了LogHub Storm Spout来...
消费组监控与告警
同一个消费组下面的消费者共同消费一个Logstore中的日志数据，消费者之间不会重复消费数据。Shard数据模型可以简单理解为一个队列，新写入的数据被加到队尾，队列中的每条数据都会对应一个数据写入时间，下图是Shard的数据模型。消费组消费...
术语表
日志库（Logstore）日志库是日志服务中日志数据的采集、存储和查询单元。更多信息，请参见 日志库（Logstore）。时序库（MetricStore）时序库是日志服务中时序数据的采集、存储和查询单元。更多信息，请参见 时序库（MetricStore）。日志...
管理日志
示例1：返回所有的错误日志 EXEC sp_rds_read_error_logs-示例2：从第0行开始返回包含关键字error的错误日志的第1行数据 EXEC sp_rds_read_error_logs 0,1,'error' 使用存储过程 sp_readerrorlog 读取错误日志，适用于SQL Server 2017及...
空间管理
数据与日志比 以饼图形式展示用户RDS实例数据空间和日志空间对比，如果日志空间占比过高，可能需要在控制台收缩日志或者 打开30分钟日志备份功能。TOP 5 DB空间 以横向柱形图形式展示用户RDS实例空间使用率TOP 5的数据库空间详情，包括：总...
通过消费组读取文本日志进行模板匹配
参数 说明 日志实体字段 根据日志实体字段的值对日志数据分组，每一个分组内的日志数据单独进行模板发现。最多选择或输入2个字段。日志等级字段 用于识别日志风险等级或严重程度的字段，如 info、error 等等。如果日志等级字段解析异常或者...
复制Logstore数据
如果您需要将Logstore中的日志数据保存多份，可以使用数据加工功能复制Logstore数据。本文介绍复制Logstore数据的使用场景和操作步骤。使用场景 某公司访问日志被采集存储在同一阿里云账号中的多个Project。现有需求将 project-a 中 ...
空间管理
数据与日志比 以饼图形式展示实例数据空间和日志空间对比，如果日志空间占比过高，可能需要在控制台收缩日志或者 快打开30分钟日志备份功能。TOP 5 DB空间 以横向柱形图形式展示实例空间使用率TOP 5的数据库空间详情，包括：总空间（单位：...
普通消费
步骤 本示例中，调用PullLog接口读取日志数据，完成使用Java SDK基于SPL消费日志数据的演示。关于日志服务SDK的更多信息，请参见 SDK参考概述。添加Maven依赖。在Java项目的根目录下，打开pom.xml文件，添加以下代码：<dependency><groupId...
哈啰出行
哈啰出行通过把日志数据迁移到日志服务，替代原有的Kafka、ES、ClickHouse，累积节省成本30%，同时满足了稳定性、扩展性以及日志查询与分析的需求。公司简介 哈啰出行是本地出行及生活服务平台，致力于应用数字技术的红利，为人们提供更...
控制台首页
日志服务控制台首页提供 日志应用、接入数据、Project列表、常用文档、资源报表、热门应用、新功能介绍、我的关注和联系我们 等信息。日志应用 日志服务提供的日志应用类型如下：云产品Lens 智能运维 审计与安全 商业分析 伙伴计划 社会...
资源管理概述
日志库LogStore、时序库MetricStore、事件库EventStore的比较 库 数据类型 适用场景 相关链接 日志库（Logstore）通用日志 常用于存储应用程序或系统生成的日志信息，例如错误日志、访问日志等。日志库（Logstore）管理Logstore 时序库...
安装HarmonyOS SDK
使用HarmonyOS SDK采集各类鸿蒙设备日志到阿里云日志服务前，您需要开通日志服务、获取阿里云AccessKey...import { AliyunLog,LogCallback } from"@aliyunsls/producer"后续操作 使用HarmonyOS SDK采集日志数据请参见 HarmonyOS SDK快速入门。
查询不到日志的排查思路
本文主要介绍在日志服务控制台中使用日志查询功能时，查询不到日志的排查思路。未成功采集日志 如果未成功采集日志到日志服务，则无法查询到目标日志。请在采集的预览界面查看是否有日志。如果有，说明已采集到日志，建议您排查其他原因。...
查看Trace实例详情
接入Trace数据后，您可以在Trace实例详情页面，进行查看Trace数据详情、Trace拓扑、入口事务指标、慢Trace，查询和分析日志数据，管理Logstore和Metricstore等操作。前提条件 已接入Trace数据。具体操作，请参见 接入trace数据。进入 Trace...
动作列表
本文介绍RAM中对日志服务资源进行授权的动作列表及说明。RAM中可对日志服务资源进行授权的Action 在RAM中，可以对一个日志服务资源进行以下Action的授权。主要包括读操作、写操作和列表操作。读操作：您可以对日志服务资源进行读取操作。写...
API概览
GetLogsV2 查询Logstore中的日志数据 查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志（返回结果压缩后传输）。GetLogStoreMeteringMode 查询LogStore计量模式 获取Logstore计量模式。时序库 API 标题...
管理Project
删除日志项目可能导致日志库的数据丢失，请确认Logstore，MetricStore、EventStore等数据无用或已做好数据备份。本文介绍如何在日志服务控制台上创建、删除日志项目Project等操作。基本概念 项目（Project）是日志服务中的资源管理单元，...
使用前须知
当涉及的Logstore的计费模式为按写入数据量计费时，日志服务采集到CLB 7层访问日志后，日志服务将根据原始写入数据量等进行收费。更多信息，请参见 按写入数据量计费模式计费项。使用限制 只有已配置7层监听的CLB实例才支持访问日志功能。...
get_log
该命令适用于获取指定数量日志数据的场景。请求语法 aliyunlog log get_log-project=<value>-logstore=<value>-from_time=<value>-to_time=[-topic=][-query=][-reverse=][-offset=][-size=][-power_sql=][-access-id=][-access-key=][-sts...
GetLogs-查询日志库日志
查询指定Project下某个Logstore中的日志数据。接口说明 说明 日志服务支持创建定时 SQL 任务。具体操作，请参见 创建定时 SQL 任务。请求语法中 Host 由 Project 名称和日志服务 Endpoint 构成，您需要在 Host 中指定 Project。当查询涉及...
如何调试正则表达式
在 TEST STRING 中粘贴日志样例中的日志，at之后的内容并没有被包含到message字段中（蓝色部分），因此该表达式不能完全匹配样例日志，即对于该样例日志来说，这条正则表达式是错误的，使用这条正则表达式无法正常采集到所有日志数据。...
update_logstore
query：支持高性能查询，索引流量费用约为Standard的一半，但不支持SQL分析，适用于数据量大、存储周期长（周、月级别以上）、无日志分析的场景。关于该命令的全局参数，请参见 全局参数。命令示例 请求示例 使用默认账号修改logstore-a...
- 产品推荐
- 这些文档可能帮助您