自定义函数开发指南
函数计算服务上的日志服务触发器对应一个日志服务的ETL Job。taskId 对于一个ETL Job，taskId是某一次确定性的函数调用标识。cursorTime 本次函数调用包括的数据中，最后一条日志到达日志服务的服务器端的unix_timestamp。source 该字段由...
管理本地日志（Binlog）
MySQL的本地日志（Binlog）是一种记录MySQL数据库所有更改操作的日志文件，可用于自行搭建主从架构、订阅数据等。本文介绍如何查看或删除RDS MySQL实例的本地日志（Binlog）。本地日志与日志备份区别 对比项 本地日志（Binlog）日志备份 ...
Nginx模式解析
配置说明 参数名称 说明 NGINX日志配置 Nginx配置文件中的日志配置部分，以 log_format 开头。例如：log_format main '$remote_addr-$remote_user[$time_local]"$request"' '$request_time$request_length ' '$status$body_bytes_sent"$...
如何通过完整正则模式采集多种格式日志
如果文件中的日志需要被采集多份，请参见 如何实现文件中的日志被采集多份。Schema-On-Read：使用它们共同的正则表达式来采集。例如采用多行日志采集，将时间和日志等级作为行首正则，剩余部分为message。如果希望进一步分析message，可以...
API概览
DeleteLogAnalysis 删除日志管理的日志 停止通用型NAS文件系统的日志转储。DescribeLogAnalysis 获取日志管理的日志信息 列出日志分析中配置的日志转储信息。资源组 API 标题 API概述 ChangeResourceGroup 更改资源组 修改文件系统实例所属...
创建索引
全文索引和字段索引配置参数 全文索引 参数 说明 日志聚类 打开 日志聚类 开关后，日志服务在采集文本日志时会自动聚合相似度高的日志，提取共同的日志模式，帮助您快速掌握日志整体情况。更多信息，请参见 日志聚类。大小写敏感 查询时...
通过Logtail跨阿里云账号采集日志
现公司业务调整，计划将两个应用的日志集中采集到阿里云账号A（12*456）下的日志服务中，即将两个应用的日志分别采集到同一个日志服务Project下的不同Logstore中。因此您需要新增一个Logtail采集配置、机器组和Logstore，用于采集和存储...
CreateLogging-创建服务日志
取值包括：consumergroup_log：消费组延迟日志 logtail_alarm：消费组延迟日志 operation_log：操作日志 logtail_profile：Logtail 采集日志 metering：计量日志 logtail_status：Logtail 状态日志 scheduled_sql_alert：Scheduled SQL ...
UpdateLogging-更新服务日志配置
取值包括：consumergroup_log：消费组延迟日志 logtail_alarm：消费组延迟日志 operation_log：操作日志 logtail_profile：Logtail 采集日志 metering：计量日志 logtail_status：Logtail 状态日志 scheduled_sql_alert：Scheduled SQL ...
GetContextLogs-查询上下文日志
2|MTY1NTcwNTUzODY5MTY0MDk1Mg=|3|0 back_lines long 是 指定起始日志往前（上文）的日志条数，取值范围为(0,100]。10 forward_lines long 是 指定起始日志往后（下文）的日志条数，取值范围为(0,100]。10 返回参数 名称 类型 描述 示例值 ...
.NET SDK快速入门
示例代码 创建日志服务Client LogClient是日志服务的C#客户端，用于管理Project、Logstore等日志服务资源。使用.Net SDK发起日志服务请求，您需要初始化一个Client实例。日志服务的服务接入点。此处以杭州为例，其它地域请根据实际情况填写...
数据加工仪表盘
投递日志数总计：从源Logstore的各个shard中读取日志并成功写入到目标Logstore的日志条数总计。失败日志数总计：从源Logstore的各个shard中读取日志并在加工过程中发生失败的日志条数总计。投递日志数占比：成功投递到目标Logstore的日志条...
GetContextLogs
logs Array of Object {"_index_number_":"-100","_tag_:_pack_id_":"895CEA449A52FE-8c8","_pack_meta_":"0|MTU1OTI4NTExMjg3NTQ2NDU1OA=|4|1"} 获取到的日志，按上下文顺序排列。当根据指定起始日志查询不到上下文日志时，此参数为空。...
通过Logtail跨阿里云账号采集容器日志
现公司业务调整，计划将两个应用的日志集中采集到阿里云账号A（12*456）下的日志服务中，即将两个应用的日志分别采集到同一个日志服务Project下的不同Logstore中。因此您需要新增一个Logtail采集配置、机器组和Logstore，用于采集和存储...
PHP SDK快速入门
日志服务的服务接入点。此处以杭州为例，其它地域请根据实际情况填写。endpoint='cn-hangzhou.log.aliyuncs.com';本示例从环境变量中获取AccessKey ID和AccessKey Secret。accessKeyId=getenv('ALIBABA_CLOUD_ACCESS_KEY_ID');accessKey=...
使用CloudLens for SLS分析资源用量
本文介绍在CloudLens for SLS中自定义分析 日志服务 资源用量的常用场景。背景信息 CloudLens for SLS推出账单数据（免费），用于监控计费用量。账单数据来源于费用中心，日志服务 使用账单拉取加工任务将数据拉取到表格存储中进行存储...
开通操作日志功能
功能模块 是 选择需要导出DMS哪些功能模块的日志（与 操作日志 中的模块对应），包含实例管理、用户管理、权限、在SQL窗口进行数据查询等功能。默认选择导出 全部功能 的日志。调度方式 是 选择本次任务的调度方式。单次：指成功创建导出...
采集主机文本日志
文件路径提取：设置为文件路径正则，则需要设置 自定义正则，用正则表达式从路径里提取一部分内容作为Topic。用于区分不同用户或实例产生的日志。自定义：自定义日志主题。高级参数 Logtail配置的部分参数需要手动输入，请参见 创建Logtail...
LogtailConfig
file：通过固定模式（正则模式、分隔符模式等）采集文本文件中的日志。file inputDetail object 日志输入的相关配置。更多信息，请参见 inputDetail 参数说明。logType":"common_reg_log","logPath":"/var/log/httpd/","filePattern":...
Logtail限制说明
首次日志采集行为 Logtail只采集增量的日志文件。首次发现文件被修改后，如果文件大小超过1 MB（容器标准输出为512 KB），则从最后1 MB处开始采集，否则从开始位置采集。您可通过Logtail采集配置中的 tail_size_kb 参数调整新文件首次采集...
Logtail
首次日志采集行为 Logtail只采集增量的日志文件。首次发现文件被修改后，如果文件大小超过1 MB（容器标准输出为512 KB），则从最后1 MB处开始采集，否则从开始位置采集。您可通过Logtail采集配置中的 tail_size_kb 参数调整新文件首次采集...
使用Python SDK管理项目Project
以下代码用于查询指定Project中指定Logstore的日志。from aliyun.log import LogClient,GetProjectLogsRequest import os#本示例从环境变量中获取AccessKey ID和AccessKey Secret。accessKeyId=os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_...
C++ SDK快速入门
本文介绍如何快速使用日志服务C++ SDK。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作，请参见 在Linux、macOS...
上下文查询
传统的上下文查询中，需要管理员等相关人员添加机器登录权限，然后运维人员依次登录应用所部署的每一台机器，以订单ID为关键词搜索应用程序日志文件，帮助判断下单失败原因。在日志服务中，可以按照以下步骤排查。在服务器上安装日志采集...
导入历史日志文件
如果您的日志文件中存在中文，需要设置文件字符集。您需要在Logtail的安装目录下执行导入历史日志文件的操作，该安装目录在不同操作系统中位于不同位置，具体说明如下表所示。操作系统 Logtail Logtail安装目录 Linux Logtail（64位程序）/...
数据模型
本文介绍采集到日志服务中的日志数据的数据模型。为方便您理解日志服务中日志数据的数据模型并顺利使用，从如下基本概念展开介绍。地域（Region）地域为阿里云的服务节点。通过在不同的阿里云地域部署服务，实现您的服务距离您的客户更近，...
开通投递服务
如果您设置了该参数，当配置审计向日志服务投递的文件超过1 MB时，该文件自动转存到目标OSS Bucket中。重要 您需要设置大文件接收地址中的 地域、账号 和 存储空间，且需要保证大文件接收地址的 地域 和 账号 与普通文件投递地址保持一致。...
日志审计合规
本文介绍日志审计合规的告警规则，包括OSS、RDS、PolarDB、SLB、NAS、K8s等云产品的日志审计合规规则。通过设置并开启告警规则，可及时触发告警，有助于您快速发现日志审计合规问题。告警规则列表 支持的告警规则列表如下所示。设置告警...
日志管理
日志服务如何存储、管理用户的日志？日志库（Logstore）是日志服务中的日志存储和查询的基本单元，通常用于存储一类日志数据。目前，支持在控制台或者通过API完成对日志库的增删改查操作。日志库创建完成后，用户通过API或SDK向指定日志库...
设置日志收集至Kafka
Serverless应用引擎SAE（Serverless App Engine）支持将应用实例的标准输出（stdout），以及将应用实例指定路径的日志采集到 云消息队列 Kafka 版 中。在此基础上，您可以结合自身的业务场景，将Kafka的数据投递到例如Elasticsearch等其他...
日志组（LogGroup）
写入日志到日志服务或从日志服务读取日志时，多条日志被打包为一个日志组，以日志组为单元进行写入与读取。该方式可减少读写次数，提高业务效率。每个日志组最大长度为5 MB。日志服务的基本数据模型请参见 LogHub数据模型。
实时计算（Blink）消费
columnErrorDebug 否 是否打开调试开关，如果打开，会把解析异常的日志打印出来。默认为false。属性字段提取 除日志字段外，支持提取如下三个属性字段，也支持提取其它自定义字段。属性字段 说明_source_日志来源。topic_日志主题。...
管理Project
删除日志项目可能导致日志库的数据丢失，请确认Logstore，MetricStore、EventStore等数据无用或已做好数据备份。本文介绍如何在日志服务控制台上创建、删除日志项目Project等操作。基本概念 项目（Project）是日志服务中的资源管理单元，...
get_histograms
调用CLI命令查询指定Logstore中满足查询语法条件的日志分布情况，返回结果显示某时间区间中的日志条数（数量）。命令格式 aliyunlog log get_histograms-request=[-access-id=][-access-key=][-sts-token=][-region-endpoint=][-client-...
使用前须知
您可以通过CloudLens for RDS实时查看RDS SQL审计日志、错误日志和慢日志的采集状态，集中管理采集配置，并可基于采集到的日志进行后续的审计、分析、告警等操作。产品试用 SLS Playground中的CloudLens for RDS Demo，内置了RDS集群、演示...
get_logs
调用CLI命令查询指定Project下某个Logstore中的日志。该命令适用于精确查询场景。在使用该命令时，您需要构造JSON格式的request请求配置文件，在JSON文件中，您可以灵活、准确地配置查询请求。命令格式 aliyunlog log get_logs-request=[-...
投递CDN实时日志到SLS来分析用户访问数据
概述 阿里云CDN产品的实时日志功能是CDN产品与SLS产品联合推出的一项功能，是一种时效性非常高（延迟在3分钟左右）的日志数据处理服务，能够将CDN节点上采集到的用户访问日志实时推送至 SLS日志服务，然后可以通过SLS来存储和分析用户访问...
查询和分析JSON日志
以下是JSON格式的日志示例和对应字段的配置。topic_、_source_、_tag_是系统的保留字段，更多信息请参见 保留字段。timestamp、remote_addr、remote_user、http_referer 、http_user_agent 、status、server_protocal、http_x_forward_for ...
基本概念
如果是导入历史日志的情况，例如通过SDK导入过去30天的日志，那么 日志接收时间 就是当前时间，和 日志时间 不一致。日志标签 日志存在标记，区别于其他字段，在数据加工中，标签字段以_tag_:作为前缀。包括：用户自定义标签：用户通过API ...
使用前须知
阿里云企业级分布式应用服务EDAS联合日志服务推出日志功能，支持将部署在容器服务Kubernetes集群中的应用的相关业务文件日志、容器标准输出日志投递到日志服务进行查询与分析。本文介绍EDAS日志功能相关的资产、费用等信息。资产详情 ...
- 产品推荐
- 这些文档可能帮助您