源Logstore读取错误
本文介绍数据加工服务读取源Logstore错误的原因以及排查处理方法。加工引擎启动成功后，开始读取源Logstore的数据。数据加工引擎对源Logstore采用流式读取，在加工过程中会持续不断的读取源Logstore中的数据。本环节产生错误主要是由于对源...
使用CloudLens for SLS监控Project资源配额
本文主要介绍如何使用CloudLens for SLS中全局错误日志、监控指标做Project资源配额的水位监控、超限监控及提交资源配额提升申请。背景介绍 Alibaba Cloud Lens基于日志服务SLS构建云产品可观测能力。支持一键开启实例日志（重要日志、详细...
为定时SQL任务设置告警
参数 说明 任务运行日志 打开 任务运行日志 开关后，系统将在您指定的Project中自动创建一个名为internal-diagnostic_log的Logstore，用于存储定时SQL、MaxCompute投递、OSS投递、数据导入等任务的运行日志与错误日志。日志字段说明，请...
资源管理概述
日志库LogStore、时序库MetricStore、事件库EventStore的比较 库 数据类型 适用场景 相关链接 日志库（Logstore）通用日志 常用于存储应用程序或系统生成的日志信息，例如错误日志、访问日志等。日志库（Logstore）管理Logstore 时序库...
PolarDB云原生数据库
本文介绍PolarDB云原生数据库审计日志、慢日志、错误日志和性能日志的字段详情。审计日志 日志字段 说明_topic_日志主题，固定为polardb_audit_log。owner_id 阿里云账号ID region PolarDB MySQL集群所在地域 cluster_id PolarDB MySQL集群...
常见问题
本文介绍使用日志服务前的常见问题。什么是日志服务？日志服务可以做什么？日志服务能为用户带来哪些价值？日志服务支持采集哪些数据？日志服务支持哪些数据接入方式？阿里云会使用我在日志服务上存储的数据吗？阿里云是否会将自己的数据...
数据投递仪表盘
创建AnalyticDB MySQL投递任务后，日志服务自动为每个投递任务生成一个仪表盘，您可以在仪表盘中查看数据投递任务运行指标。...您也可以在当前Project下的 internal-export-log 日志库中，通过关键词ERROR或WARNING查看完整的错误日志。
创建索引
全文索引和字段索引配置参数 全文索引 参数 说明 日志聚类 打开 日志聚类 开关后，日志服务在采集文本日志时会自动聚合相似度高的日志，提取共同的日志模式，帮助您快速掌握日志整体情况。更多信息，请参见 日志聚类。大小写敏感 查询时...
使用CloudLens for SLS对日志服务进行全面观测
开启CloudLens for SLS后，日志服务默认采集 全局日志（审计日志、错误日志、监控指标）以及 运行日志（原实例日志中的重要日志和作业运行日志），以上日志均免费。新开通CloudLens for SLS，全局日志 存储在名称为 log-service-{阿里云主...
数据加工
超出此限制时，加工任务启动后无法正常运行，任务通过其运行日志输出具体错误信息，详情请参考 错误日志查看方式。重要 数据加工任务处于停止或者运行完成状态时，日志服务并不会主动删除其依赖的消费组实例，建议及时清理处于停止或运行...
使用限制
超出此限制时，加工任务启动后无法正常运行，任务通过其运行日志输出具体错误信息，详情请参考 错误日志查看方式。重要 数据加工任务处于停止或者运行完成状态时，日志服务并不会主动删除其依赖的消费组实例，建议及时清理处于停止或运行...
安装Logtail（ECS实例）
日志服务支持在阿里云ECS实例中自动安装Logtail，本文介绍如何在数据采集配置向导中选择ECS实例并完成Logtail的安装。前提条件 日志服务借助运维编排服务OOS，实现在ECS机器上自动安装Logtail。您使用RAM用户登录控制台进行操作时，RAM用户...
日志消费与查询区别
日志服务提供日志消费和查询功能，都均为对日志数据的读操作。日志消费 全量数据顺序（FIFO）读写，提供类似Kafka的功能。每个LogStore有一个或多个Shard，数据写入时，随机落到某一个Shard中。可以从指定Shard中，按照日志写入Shard的顺序...
分组评估
请勿选择Nginx日志中的 request_time、body_size 等字段，错误日志中的 err_cnt 字段。示例一：分组监控时序数据 例如您将多个服务器的指标数据存储在一个时序库中，但希望每个服务器的CPU使用率（cpu_util）超过95%时，日志服务可以分开...
数据加工仪表盘
创建数据加工任务后，日志服务默认为每个加工任务创建一个仪表盘，您可以在仪表盘中查看数据加工任务运行指标。本文介绍加工任务运行...您也可以在当前Project下的 internal-etl-log 日志库中，通过关键词ERROR或WARNING查看完整的错误日志。
错误码
其中响应Body中的错误细节为如下格式：{"errorCode":,"errorMessage":<ErrorMessage>} 您可以参考本文档指导进行处理，也可以参考API错误码中心，查看错误码详情。更多信息，请参见 日志服务API错误码中心。业务错误码 业务错误码即各API...
云端运行日志转储
物联网平台控制台的日志服务默认日志存储时间为7天，支持将云端运行日志导出到您阿里云日志服务的日志库（Logstore）中长期存储。开通云端运行日志转储后，您可在物联网平台控制台查询分析日志，查看、订阅日志报表和设置告警通知。前提...
管理日志
您可以通过控制台或SQL命令查询实例的错误日志，帮助您定位故障。同时您还可以通过控制台或API清理实例的错误日志，以此释放磁盘空间。此外，当实例发生主备切换后，您也可以通过控制台查看主备切换日志，以便实时监控主备切换状态等。查看...
使用前须知
MSE Ingress明细 展示错误日志明细、服务级别监控、路由级别明细等数据。MSE Ingress TOP榜 展示Service请求TOP10、Service失败率TOP10、Service延迟TOP10、Service流量TOP10、TOP请求URL、TOP请求Service、TOP请求Service等数据。MSE ...
Logtail基本问题
如果日志的时间与Logtail处理该日志的系统时间相差5分钟以上，即被认为是历史日志。Logtail默认只采集增量的日志，如果您需要采集历史日志文件，可使用Logtail自带的导入历史日志功能。具体操作，请参见 导入历史日志文件。修改Logtail配置...
字段值映射处理
原日志处理方法 当映射后的字段在原始日志中已存在时的处理方式。overwrite（默认值）：覆写原字段。fill：不覆写原字段。JSON配置方式 配置 type 为 processor_dict_map，detail 说明如下表所示。参数 类型 是否必选 说明 SourceKey ...
导入Amazon S3文件
阿里云日志服务SLS支持导入Amazon S3中的日志文件。您可以通过数据导入的方式将Amazon S3的...遇到权限错误时，导入任务不会跳过任何文件，因此修复权限问题后，导入任务会自动将Bucket中还未被处理的文件中的数据导入到日志服务Logstore中。
分隔符模式解析
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数 描述 原始字段 解析日志前，用于存放日志内容的原始字段，默认值为content。分隔符 请根据您的日志内容...
在告警通知中引用日志内容
例如设置分组评估字段为 status，则出现错误日志时，不同的状态码会触发不同的告警。添加标签：标签是标识性属性。更多信息，请参见 标签。例如您要在告警消息中添加日志来源、所属环境、状态码等信息，则您可以添加标签 app:nginx 和 env:...
开启GitOps控制面日志与审计日志功能
本文介绍如何通过CLI开启GitOps控制面日志与审计日志功能，将相关日志投递到日志服务中。前提条件 已在ACK One主控实例中开启GitOps。具体操作，请参见 在ACK One主控实例中开启GitOps。已开启ACK One主控实例控制平面组件日志及审计日志。...
基于日志关键字设置告警
背景信息 日志记录了系统的运行过程及异常信息，例如warning日志、error日志、Go语言中的panic错误日志、Java语言中的java.lang.StackOverflowError错误日志、系统运行状态（例如支付失败）日志。日志关键字的检索和监控告警是系统运行中...
导入OSS数据
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
查看数据报表
前提条件 已开启目标Project的重要日志、详细日志、任务运行日志、审计日志、计费日志、错误日志和监控指标的采集功能。具体操作，请参见 开启日志采集功能。功能入口 登录 日志服务控制台。在 日志应用 区域的 云产品Lens 页签中，单击 ...
消费-通过消费组实现高可靠消费
日志处理是一个很大范畴，其中包括实时计算、数据仓库、离线计算等众多点。这篇文章主要介绍在实时计算场景中，如何能做到日志处理保序、不丢失、不重复，并且在上下游业务系统不可靠（存在故障）、业务流量剧烈波动情况下，如何保持这三点...
快速入门
本文以采集分析ECS的Nginx访问日志为例，介绍开通日志服务、创建日志项目与Logstore、Logtail采集日志、查询与分析日志等步骤，帮助您快速上手使用日志服务。前提条件 已有可用的ECS。更多信息，请参见 云服务器ECS快速入门。ECS服务器持续...
使用前须知
分布式云容器平台ACK One联合日志服务推出日志功能，支持将主控实例控制平面组件日志和审计日志、GitOps控制面日志与审计日志推送到日志服务进行查询分析。本文介绍日志功能相关的资产、费用等信息。资产详情 专属Project和Logstore 重要 ...
日志管理
日志服务有三项功能都与日志保存时间有关，分别如下：LogHub（日志中枢）/LogSearch（日志索引与查询）：根据需求自行设置。LogShipper（日志投递）：日志投递至OSS、MaxCompute后，生命周期在以上产品中设置。希望把日志最终存储到OSS，...
数据加工常见问题
本文列举日志服务数据加工的常见问题。错误排查概述 加工引擎启动错误 源Logstore读取错误 加工规则错误 资源加载错误 目标Logstore输出错误 获取Logstore数据（维表）错误 从OSS获取数据出错 获取RDS MySQL数据语法错误 如何动态构建字段...
工作原理
错误日志会发送到您的internal-etl-log下，您可以检查下配置并重新发起。调度执行完成后，系统会根据实际执行情况变更实例状态为成功或失败。使用建议 使用文本分析时，建议根据业务情况明确具体的监控项，从而对数据进行高效的分析。明确...
通知内容常见问题
本文介绍通知内容相关的常见问题。如何在通知中引用日志内容？您可以在内容模板中选择合适的变量（labels、annotations、fire_results或results），用于在告警通知中引用日志内容。具体操作，请参见 在告警通知中引用日志内容。如何在通知...
消费-计量计费日志
将计量日志处理并行化 LogHub下每个日志库可以分配不同Shard（分区），我们可以分配3个分区，3个计量消费程序。为了保证一个用户计量数据总是由一个消费程序处理，我们可以根据用户ID Hash到固定Shard中。例如杭州市西湖区用户写在1号Shard...
日志采集Agent对比
中心化的日志处理方案有效地解决了在完整生命周期内对日志的消费需求，而日志从设备采集上云是始于足下的第一步。三款日志采集工具 Logstash 开源界ELK stack中的”L”，社区活跃，生态圈提供大量插件支持。Logstash基于JRuby实现，可以跨...
机器组简介
机器组是包含多台服务器的虚拟分组，日志服务通过机器组的方式管理所有需要通过Logtail采集日志的服务器。本文介绍机器组的概念和类型、配置机器组的步骤。背景信息 日志服务支持通过一个 Logtail采集配置 来采集多台服务器上的数据，这些...
日志类型
Logtail告警日志 Logtail的错误日志。每30秒记录一次，30秒内重复出现的错误类型只记录错误总和，错误Message随机选择一条。指定查询Logtail告警日志时，需要在查询语句中指定_topic_:logtail_alarm。Logtail采集日志 Logtail采集统计信息...
导入云监控数据
错误处理机制 错误项 说明 错误处理方式 遇到错误后，导入任务会定期重试，直到任务能够正常运行。您可以在 数据处理流量观测 仪表盘中查看错误数。如果在3小时内恢复正常，导入任务会从之前中断的位置继续拉取数据。否则，导入任务将忽略...
- 产品推荐
- 这些文档可能帮助您