导入OSS数据
Logstore Shard数量 日志服务的写性能取决于目标Logstore的Shard数量（单个Shard支持5 MB/s的写入）。当数据量较大时，建议增加目标Logstore的Shard数量。具体操作，请参见 管理Shard。归档文件的读取 如果待导入的文件是归档类型，则需要...
Java SDK快速入门
为了提高您系统的IO效率，请尽量不要直接使用该方式往日志服务中写数据，此方式仅为功能举例。在大数据、高并发场景下建议使用Aliyun Log Java Producer方式写入日志数据。throws LogException*@throws InterruptedException*/static void ...
Flutter SDK快速入门
本文介绍如何快速使用日志服务Flutter SDK采集日志数据。前提条件 已安装日志服务Flutter SDK。具体操作，请参见 安装Flutter SDK。初始化 SDK 一般场景下，您可以参考以下代码进行初始化。若您需要配置 LogProducerConfiguration 类，例如...
数据投递仪表盘
读Logstore与写目标速率 统计每分钟窗口内，读取源Logstore各个Shard中的日志条数与写入目标云产品的日志条数。日志详情 在 详情日志 区域，查看已投递的日志详情。您也可以在当前Project下的 internal-export-log 日志库中，通过关键词...
常见问题
如何采集K8s集群的容器日志 SLB访问日志采集不到 日志采集Agent对比 Windows系统的ECS安装Logtail服务日志提示异常信息 如何配置日志服务的时间转换格式 数据存储常见问题 日志服务如何存储、管理用户的日志？删除日志库，日志数据是否丢失...
自定义函数开发指南
日志服务提供的函数模板会写出一个JSON Object序列化后的 字符串，该字符串将记录在ETL任务调度日志中，方便您进行统计、查询。ETL过程日志 这一部分日志是在ETL执行过程中每执行一步记录的关键点和错误信息，包括某一步骤的开始和结束时间...
管理OSS投递任务（新版）
写成功条数 投递到目标OSS Bucket成功的日志条数。写失败条数 投递到目标OSS Bucket失败的日志条数。写公网流量（MB）目前不支持公网，因此数据为0。处理速率（events/s）每秒处理的日志条数。进度落后 展示该Logstore下每个Shard的延时...
管理MaxCompute投递任务（新版）
写成功条数 投递到MaxCompute成功的日志条数。写失败条数 投递到MaxCompute失败的日志条数。写公网流量（MB）通过公网写数据的流量。处理速率（events/s）每秒处理的日志条数。进度落后 展示该Logstore下每个Shard的延时信息。运行异常 ...
Kafka消费概述
阿里云 日志服务 兼容Kafka消费组协议，您可以使用原生Kafka客户端对 日志服务 进行读操作。概念映射 Kafka 日志服务 描述 Topic Logstore Topic：Kafka用来区分不同类型信息的主题。Logstore：日志服务 中日志的采集、存储和查询单元。...
快速入门
本文以采集分析ECS的Nginx访问日志为例，介绍开通日志服务、创建日志项目与Logstore、Logtail采集日志、查询与分析日志等步骤，帮助您快速上手使用日志服务。前提条件 已有可用的ECS。更多信息，请参见 云服务器ECS快速入门。ECS服务器持续...
管理Logstore
删除Logstore必须提前删除所有Logtail配置，删除日志是通过设置更短的保存时间，本文介绍Logstore选型、创建及升级Logstore、删除Logstore与日志等操作。基本概念 日志库（Logstore）是日志服务中日志数据的采集、存储和查询单元。每个...
管理MetricStore
删除MetricStore必须提前删除所有Logtail配置，通过减少数据保存时间，实现日志的自动删除。本文介绍如何在日志服务控制台上创建、修改、删除MetricStore与时序数据等操作。基本概念 时序库（MetricStore）是日志服务中时序数据的采集、...
转换Log为Metric
如果您需要监控Log中某字段的指标变化趋势，可以使用日志服务数据加工函数e_to_metric将Log字段转换为Metric，通过时序库查看该指标的变化趋势。本文以Nginx访问日志为例说明如何将Log转化为Metric。前提条件 已采集到日志数据。更多信息，...
管理EventStore
删除EventStore会永久删除事件数据，删除日志可以通过设置更短的保存时间。本文介绍如何在日志服务控制台上创建、修改和删除EventStore与事件数据等操作。基本概念 事件库（EventStore）是日志服务中事件数据的采集、存储和查询单元。每个...
按使用功能计费
存储空间-日志热存储 存储空间-日志低频存储 存储空间-日志归档存储 存储空间-时序存储 读写流量 索引流量-日志索引 索引流量-日志索引-查询型 索引流量-时序索引 外网读取流量 数据加工 数据投递 读写次数 语音通知 短信通知 活跃Shard...
管理日志投递任务
创建AnalyticDB MySQL投递任务后，您可以在日志服务控制台上管理数据投递任务，包括查看任务详情、修改投递配置以及启动、停止、删除任务等操作。查看任务详情 登录 日志服务控制台。在 Project列表 区域，单击目标Project。在 日志存储>...
开通日志审计功能
注意事项 开通审计日志后，系统将记录写操作的审计信息，写入量或审计量可能会对云数据库MongoDB实例造成5%～15%的性能损失及一定的延时抖动。说明 如果您的业务对云数据库MongoDB实例的写入量非常大，建议仅在故障排查或安全审计时开通该...
使用前须知
阿里云日志服务联合风险识别产品推出风险识别日志功能，将日志推送到日志服务中。日志服务提供查询分析、告警、投递、加工等功能，帮助您了解业务总体风险浓度与趋势、追踪分析个体行为、实时监测及告警等。本文介绍风险识别日志功能相关的...
动作列表
写操作：您可以对日志服务资源进行写入操作。列表操作：您可以对日志服务资源进行查看操作。资源类型 动作（Action）说明 Project log:CreateProject 创建Project。log:DeleteProject 删除Project。log:GetProject 查看Project属性。log:...
使用CloudLens for SLS监控Project资源配额
日志分类 子分类 监控场景说明 实例日志 详细日志 访问流量监控 访问异常监控 重要日志 消费组监控 Logtail采集监控 作业运行日志 数据加工（新版）监控 定时SQL任务监控 全局日志 审计日志 资源操作监控 错误日志 额度超限监控 访问异常...
使用前须知
阿里云日志服务联合云安全中心联合推出日志分析功能，提供风险威胁数据的实时采集、查询与分析、加工、消费等一站式服务，帮助您全面了解、有效处理服务器的安全隐患，实现对云上资产的集中安全管理。本文介绍云安全中心日志分析功能相关的...
审计操作
本文介绍日志审计服务在采集到日志后的审计操作。前提条件 已完成日志审计配置。具体操作，请参见 开启日志采集功能。已有对应权限的账号，权限配置请参见 配置权限助手。如果您需要查询日志、查看报表，则当前登录的账号需要对日志审计...
管理Shard
您可以通过分裂、合并操作控制活跃的Shard数量来调整日志服务Logstore可以提供的最大读写能力。分裂Shard可以自动触发，但合并Shard必须手动执行。本文为您介绍如何分裂、合并、删除Shard以及设置自动分裂Shard。基本概念 日志服务中的数据...
选购资源包
本文介绍选购日志服务资源包的操作步骤。（推荐）购买新版资源包 打开 日志服务预付计划2.0购买页面。在 日志服务预付计划2.0 页面，选择资源包的规格、购买数量和购买时长。日志服务资源包提供多种规格。如何选择，请参见 如何选择资源包...
从OSS获取数据出错
OSS中不存在data这个目录或者文件格式写错，从而引发的404错误日志。加工规则样例#假设正确目录是test e_set("oss_file",res_oss_file(endpoint,ak_id=res_local("AK_ID"),ak_key=res_local("AK_KEY"),bucket,'data/test.txt',format='text...
OSS投递（新版）
写OSS 稳定项 说明 并发度 按照日志服务Shard进行分区并创建投递实例，支持快速扩容。如果日志服务源Logstore进行Shard分裂，可以在数秒以内完成投递实例的扩容，加快数据导出速度。数据不丢失 OSS投递任务基于 消费组 进行扩展，提供一致...
稳定性说明与使用限制
写MaxCompute 稳定项 说明 并发度 按照 日志服务 Shard进行分区并创建投递实例，支持快速扩容。如果 日志服务 源Logstore进行Shard分裂，可以在数秒以内完成投递实例的扩容，加快数据导出速度。数据不丢失 MaxCompute投递任务基于 消费组 ...
MaxCompute投递（新版）
写MaxCompute 稳定项 说明 并发度 按照 日志服务 Shard进行分区并创建投递实例，支持快速扩容。如果 日志服务 源Logstore进行Shard分裂，可以在数秒以内完成投递实例的扩容，加快数据导出速度。数据不丢失 MaxCompute投递任务基于 消费组 ...
稳定性说明与使用限制
写OSS 稳定项 说明 并发度 按照日志服务Shard进行分区并创建投递实例，支持快速扩容。如果日志服务源Logstore进行Shard分裂，可以在数秒以内完成投递实例的扩容，加快数据导出速度。数据不丢失 OSS投递任务基于 消费组 进行扩展，提供一致...
日志组（LogGroup）
写入日志到日志服务或从日志服务读取日志时，多条日志被打包为一个日志组，以日志组为单元进行写入与读取。该方式可减少读写次数，提高业务效率。每个日志组最大长度为5 MB。日志服务的基本数据模型请参见 LogHub数据模型。
API简介
阿里云日志服务（Log Service，简称SLS）提供数据的采集、加工、查询与分析、可视化、告警、消费与投递等功能。如果您熟悉网络服务协议和一种以上编程语言，您可以通过API接口管理您的数据资源。使用限制 您能创建的Project、Logstore、...
日志消费与查询区别
日志服务提供日志消费和查询功能，都均为对日志数据的读操作。日志消费 全量数据顺序（FIFO）读写，提供类似Kafka的功能。每个LogStore有一个或多个Shard，数据写入时，随机落到某一个Shard中。可以从指定Shard中，按照日志写入Shard的顺序...
加工引擎启动错误
{"errorMessage":"ETL config doesn't pass security check,detail:XXXXXX"} 说明 错误日志可以在数据加工诊断报表的异常详情中或者internal-etl-log Logstore中查看。在加工引擎启动阶段产生错误时，加工任务会一直重试，直到重试成功或被...
日志服务
日志服务SLS是云原生观测与分析平台，为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的...
使用前须知
本文介绍日志审计服务的使用限制、费用说明等信息。使用限制 存储方式与地域限制 重要 使用日志审计服务进行日志区域化存储或中心化存储前，请合理评估存储地域是否满足相关法律法规和安全监管的要求。中心化存储 从各个阿里云账号、各个...
Flink消费
如果您需要指定数据写到某一个Shard中，可以使用LogPartitioner产生数据的HashKey，LogPartitioner为可选项，如果您没有配置，数据会随机写入某一个Shard。示例如下：FlinkLogProducer<String>logProducer=new FlinkLogProducer(new ...
管理定时SQL任务
写目标库行数：该实例将SQL分析结果成功写入目标日志库的行数。实际写入目标Logstore的数据量。执行状态 定时SQL执行实例的执行状态，包括运行中、重试中、成功、失败。重试定时SQL任务实例 当定时SQL任务实例状态为成功或失败时，您可以...
创建MaxCompute投递任务（新版）
日志服务采集到日志后，支持将日志投递至MaxCompute的表中进行存储与分析。本文介绍如何创建MaxCompute投递任务（新版）。前提条件 已创建Project和Logstore。具体操作，请参见 创建Project和Logstore。已采集日志。具体操作，请参见 数据...
资源流控及解决方案
分类 超限说明 解决方案 写入超限 WriteQuotaExceed（Project级别超限）Project写流量：Project write quota exceed:inflow:xxx Project写次数：Project write quota exceed:qps:xxx 在 日志服务控制台 调整资源配置。具体操作，请参见 ...
查看全局数据
日志量整体趋势、产品日志量趋势 过去30天的日志量趋势 当天的统计有一小时延迟 OSS全局数据 仪表盘 描述 总日志量、小时日志量、天日志量 OSS日志全局统计 访问日志总日志量、小时日志量、天日志量 访问日志统计 计量日志总日志量、小时...
- 产品推荐
- 这些文档可能帮助您