最佳实践
时序存储 使用Prometheus采集Kubernetes监控数据 查询与分析 查询和分析网站日志 查询和分析JSON日志 Data Explorer案例 关联Logstore与MySQL数据库进行查询分析 关联Logstore与OSS外表进行查询和分析 查询MNS日志 采集及分析Nginx监控日志...
常见问题和错误排查
一般情况下，Elasticsearch按天滚动Index，产生新的Index，从而避免单个Index过大问题。但是日志服务的Logstore容量上限较高，Elasticsearch不需要执行Index滚动。常见错误 错误信息 错误说明 处理方法 index config doesn't exist 对应的...
常见问题
错误信息：Query exceeded local memory limit of 3GB（查询A）错误原因 当前查询和分析语句所使用服务端的内存超过3 GB，一般是统计数据量过大导致。解决方法 建议精简聚类分析指标数量和缩短聚类分析的时间周期（一般建议在1h以内）。
查询和分析JSON日志
本文以查询和分析JSON类型的网站日志为例，为您介绍查询和分析JSON日志的步骤，并提供SQL语句示例。前提条件 已采集JSON日志。具体操作，请参见 使用极简模式采集日志。步骤一：创建索引 登录 日志服务控制台。在Project列表区域，单击目标...
日志字段详情
目前友盟实时日志订阅功能支持U-App（App日志）、U-MiniProgram（小程序日志）和U-Web（网站日志）三类数据，本文介绍这三类日志的字段详情。U-App日志 U-App日志记录用户启动App、使用App功能和App发生异常的相关数据。字段 说明 app_key ...
成本优化指南
如果您的原始日志存储周期为60天，可以通过数据加工将只关心的20%的日志存储60天，其他日志存储7天即可，这样可以节约12%的成本，并对关心的日志增加1倍存储时间。优化存储内容 如果您持续采集某应用的日志，每天的写入量为100 GB，存储30...
查询和分析网站日志
本文以查询和分析网站日志为例，帮助您快速上手查询和分析操作。前提条件 已采集到网站访问日志。具体操作，请参见 使用完整正则模式采集日志。步骤一：创建索引 登录 日志服务控制台。在Project列表区域，单击目标Project。在 日志存储>...
使用前须知
结合日志服务强大的大数据计算能力，秒级分析处理实时产生的日志。弹性：可任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长需求。智能：基于达摩院智能AIOps算法，提供各类指标自动巡检功能，有助于更快、更准确地发现并定位...
如何降低索引流量费用？
关闭日志聚类 开启日志聚类功能后，索引总流量增加10%，示例如下表所示：原始日志大小 索引比例 日志聚类功能产生的索引量 索引总流量 100 GB 20%（20 GB）100 GB×10%30 GB 100 GB 40%（40 GB）100 GB×10%50 GB 100 GB 100%（100 GB）100...
使用前须知
日志服务联合阿里云负载均衡推出CloudLens for ALB，提供ALB 7层日志分析、秒级监控指标分析、实时告警等功能，并提供基于AIOps的自动异常巡检功能。您可以通过CloudLens for ALB了解客户端用户行为、客户端用户的地域分布、请求成功率、...
日志聚类
本文介绍日志聚类功能及其操作，包括开启日志聚类、查看聚类结果和原始日志、对比不同时间段的聚类日志数量等。前提条件 已创建Standard Logstore。具体操作，请参见 创建Logstore。已采集日志。具体操作，请参见 数据采集。已配置索引。...
使用前须知
日志服务联合阿里云负载均衡推出 CloudLens for CLB，提供CLB访问日志分析、配置审计日志分析、云监控事件分析、秒级监控指标分析、实时告警等功能，并提供基于AIOps的自动异常巡检功能。您可以通过 CloudLens for CLB 了解客户端用户行为...
使用云监控监测日志服务的使用情况
您可以通过阿里云云监控服务来监控日志服务的写入流量、总体QPS、服务状态等指标，获取日志服务的使用情况。同时您可以通过创建报警规则，对日志采集、Shard资源使用等异常进行监控。前提条件 RAM用户查看云监控指标，需要主账户为其授予云...
Logtail采集日志失败的排查思路
如果有大日志量或者大文件量的采集需求，可能需要修改Logtail的启动参数，以达到更高的日志采集吞吐量。更多信息，请参见 设置Logtail启动参数。在完成上述检查后，如果问题仍未解决，请提交 工单，并在工单中提供排查过程中发现的关键信息...
PostLogStoreLogs
调用PostLogStoreLogs接口向指定的Logstore中写入日志数据。接口说明 已创建并获取AccessKey。更多信息，请参见 访问密钥。阿里云账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运维。RAM...
开通日志功能
本文介绍如何在风险识别控制台上开通日志管理功能，将风险识别日志推送到日志服务中。前提条件 已购买高级版风险识别服务。具体操作，请参见 购买风险识别服务。已开通日志服务。操作步骤 重要 如果您使用RAM用户开通日志功能，则需先为RAM...
使用前须知
海量：访问日志数据规模很大，处理访问日志需要考虑性能和成本问题。日志中心可自定配置预聚和功能，实时计算聚合指标，计算后的聚合结果可降低几个数量级，使查询速度大大提升。实时：秒级分析处理实时产生的日志。弹性：可任意设置日志...
错误排查概述
如果加工任务失败，目标Logstore没有日志产生或者加工延迟过大等异常，可以根据本文档步骤进行排查处理。错误分析 当发生错误时，分析错误在数据加工任务的哪个环节产生，能帮助用户更高效地定位错误位置。根据 加工原理，数据加工任务的...
使用Syslog协议上传日志
您可以使用Rsyslog、Syslog-ng采集日志并通过Syslog协议上传到日志服务。本文介绍通过Syslog协议将日志上传到日志服务的操作步骤。相关限制 Syslog协议必须为标准的 RFC5424 协议。每条日志最大支持64 KB。为保证数据传输安全性，数据传输...
开通日志功能
该日志项目每个地域仅创建一个，不会重复创建，如系统查询到该地域下曾经自动创建过日志项目，将直接使用。如果您在创建服务时未启用日志功能，更新服务时需要手动选择自定义 日志项目 和 日志库。控制台会自动启用 日志分割规则、请求级别...
开启日志投递
E-Mapreduce（简称EMR）的开源组件在运行过程中会产生大量日志。本文介绍如何在EMR控制台中开启日志投递功能，将EMR日志投递到日志服务中。前提条件 已创建EMR集群。具体操作，请参见 E-MapReduce快速入门。使用限制 本文操作仅适用于新版...
通过DaemonSet-控制台方式采集Kubernetes容器标准输出
多行日志限制：为保证多行组成的一条日志不因为输出延迟而被分割成多条，多行日志情况下，采集的最后一条日志默认都会缓存一段时间。默认缓存时间为3秒，可通过 BeginLineTimeoutMs 参数修改，但此值不能低于1000（毫秒），否则容易出现...
常见问题及错误排查
开启过日志采集的云产品，其对应的告警监控规则才会在日志审计服务的 审计告警 页面中展示，而 slsaudit-center-${uid}-${region} Project的 告警中心 页面中展示的内置告警监控规则无上述要求。因为不同地域以及中英文版本等原因，日志...
Spark Streaming消费
日志服务采集到日志数据后，您可以通过运行Spark Streaming任务消费日志数据。日志服务提供的Spark SDK实现了Receiver模式和Direct模式两种消费模式。Maven依赖如下：<dependency><groupId>...
使用Aliyun Log Java Producer写入日志数据
本文介绍日志服务Aliyun Log Java Producer类库的使用方法。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作，请...
get_log
调用CLI命令查询日志。该命令适用于获取指定数量日志数据的场景。请求语法 aliyunlog log get_log-project=<value>-logstore=<value>-from_time=<value>-to_time=[-topic=][-query=][-reverse=][-offset=][-size=][-power_sql=][-access-id...
pull_log_dump
调用CLI命令并发下载大量日志数据到本地文件。请求语法 aliyunlog log pull_log_dump-project_name=<value>-logstore_name=<value>-from_time=<value>-to_time=<value>-file_path=[-batch_size=][-compress=][-encodings=][-shard_list=][-...
GetLogsV2-查询Logstore中的日志数据
查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志。(返回结果压缩后传输)。接口说明 日志服务 SDK 目前仅支持 Go、Java、Python 三种语言，OpenAPI 全部已支持。使用过程中注意指定压缩方法，不同语言...
get_log_all
调用CLI命令查询日志。该命令适用于获取大量日志数据的场景。请求语法 aliyunlog log get_log_all-project=<value>-logstore=<value>-from_time=<value>-to_time=[-topic=][-query=][-reverse=][-offset=][-access-id=][-access-key=][-sts...
GetLogsV2
查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志。（返回结果压缩后传输）。日志服务SDK目前仅支持Go、Java、Python三种语言，OpenAPI全部已支持。使用过程中注意指定压缩方法，不同语言实现的压缩...
管理日志存储空间
降配日志存储容量 如果您确认当前的日志存储容量过大，可以通过降配减小日志存储容量。登录 DDoS高防控制台。在顶部菜单栏左上角处，选择地域。DDoS高防（中国内地）：选择 中国内地 地域。DDoS高防（非中国内地）：选择 非中国内地 地域。...
查询语法
日志服务提供一套查询语法，用于指定日志查询时的过滤规则，从而筛选日志中满足条件的记录，筛选结果可以用于分析语句，进行更复杂的分析处理。查询语法 重要 日志服务查询语句和分析语句（SELECT语句）以竖线（|）分割。基础语法：查询...
Node.js SDK概述
日志服务Node.js SDK封装了日志服务大部分主要的API接口。您可以通过日志服务Node.js SDK方便地调用日志服务大部分主要的API接口。版本说明 更多信息，请参见 Aliyun Log Node.js Release。示例代码 日志服务Node.js SDK提供丰富的示例代码...
日志组（LogGroup）
写入日志到日志服务或从日志服务读取日志时，多条日志被打包为一个日志组，以日志组为单元进行写入与读取。该方式可减少读写次数，提高业务效率。每个日志组最大长度为5 MB。日志服务的基本数据模型请参见 LogHub数据模型。
算法说明
日志模板发现 日志聚类算法 适用于日志量大、日志格式较为整齐的场景，模板发现算法 适用于日志量适中，日志格式较为复杂的场景。日志聚类算法 日志聚类算法基于日志聚类功能，日志聚类功能对日志数据进行粗粒度聚类，日志聚类算法在粗粒度...
使用前须知
阿里云DDoS高防（新BGP）、DDoS高防（国际）联合日志服务推出全量日志分析功能，提供网站访问日志、CC攻击日志的实时采集、查询、分析、加工、消费等一站式服务，帮助您排查网站访问异常、追踪CC攻击者来源、分析网站运营情况等。...
使用前须知
日志服务联合传统型负载均衡CLB推出7层访问日志功能，用于记录所有发送到CLB的请求的详细信息，包括请求时间、客户端IP地址、延迟、请求路径和服务器响应等。您可以通过7层访问日志分析了解客户端用户行为、客户端用户地域分布和进行问题...
告警日志字段
设置告警规则后，日志服务自动创建Logstore，以日志方式记录告警的执行与通知信息。本文档介绍告警日志的字段。告警执行历史日志字段 字段名称 说明 示例 AlertDisplayName 告警规则显示名称。告警规则测试 AlertID 每次执行的唯一ID。0fdd...
实时计算（Blink）消费
说明 如果单条日志的大小和batchGetSize都很大，可能会导致Java系统频繁的对内存数据进行垃圾回收。columnErrorDebug 否 是否打开调试开关，如果打开，会把解析异常的日志打印出来。默认为false。属性字段提取 除日志字段外，支持提取如下...
SDK参考概述
日志服务SDK已经实现日志服务大部分功能，包括日志采集、创建索引、查询和分析、数据加工、日志消费、日志投递管理、告警、定时SQL等。若您在SDK调试中发现未实现功能，建议您升级到最新版本SDK重试或关注后续SDK版本更新。使用日志服务SDK...
- 产品推荐
- 这些文档可能帮助您