日志转存
您可以通过日志转存功能将这些日志按照固定命名规则，以小时为单位生成日志文件写入您指定的存储空间（Bucket）。对于已存储的日志，您可以通过阿里云日志服务或搭建Spark集群等方式进行分析。注意事项 如果生成日志的源Bucket有地域属性，...
配置审计服务关联角色
当您设置日志服务SLS的日志库（Logstore）用于接收资源日志时，配置审计需向您指定的日志库写入日志文件，需要通过服务关联角色获取日志库的写入权限。当您设置消息服务MNS的主题用于接收资源事件时，配置审计需向您指定的主题写入资源事件...
日志转存
您可以通过日志转存功能将这些日志按照固定命名规则，以小时为单位生成日志文件写入您指定的云盒Bucket。对于已存储的日志，您可以通过阿里云日志服务或搭建Spark集群等方式进行分析。前提条件 仅 华东1（杭州）、华南1（深圳）、华南2...
logging（日志转存）
访问对象存储OSS的过程中会产生大量的访问日志，您可以通过日志转存功能将这些日志按照固定命名规则，以小时为单位生成日志文件写入您指定的Bucket。您可以通过 logging 命令开启、查询、关闭Bucket的日志转存配置。注意事项 要开启日志...
ECS集群应用日志清理机制是什么
应用部署在EDAS中，运行环境无论是EDAS-Container x.x.x（内含Ali-Tomcat），还是Apache Tomcat，应用都不宜向Tomcat的 catalina.out 日志文件写入较多的日志。如果将应用自定义的日志输出到Tomcat的日志目录$CATALINA_HOME/logs，频繁写入...
RDS SQL Server I/O高问题
数据页写入和日志文件写入I/O吞吐高 数据页写入和日志文件写入I/O吞吐高，可以通过自治服务观察写I/O吞吐高期间是否有频繁的DML类的写入操作（INSERT、DELETE、UPDATE、MERGE等）或DDL类的写入操作（CREATE INDEX、ALTER INDEX等），处理...
Logtail
文件编码 支持UTF-8或GBK的编码日志文件，建议使用UTF-8编码获得更好的处理性能。警告 如果日志文件为其它编码格式则会出现乱码、数据丢失等问题。日志文件大小 无限制。日志文件轮转 日志轮转队列大小默认为20。您可通过启动参数 ...
Logtail限制说明
文件编码 支持UTF-8或GBK的编码日志文件，建议使用UTF-8编码获得更好的处理性能。警告 如果日志文件为其它编码格式则会出现乱码、数据丢失等问题。日志文件大小 无限制。日志文件轮转 日志轮转队列大小默认为20。您可通过启动参数 ...
性能说明FAQ
问题原因：access_log 指令中的日志文件路径包含变量，每次写日志时都会重新打开文件，再写入日志，然后关闭文件。NAS为了保证数据的可见性，会在关闭文件时将数据写回服务端，性能消耗较大。解决方案：方案一：删除 access_log 指令中的...
自动备份MariaDB数据
日志大小超过500MB或写入超过6小时就会切换到新的日志文件继续写入，老的日志文件会异步上传。您可以通过 一键上传日志 功能（免费）将日志文件上传至 OSS 的存储空间，不影响实例的数据恢复功能，日志也不再占用实例磁盘空间。说明 不支持...
日志备份
A：日志备份页面只能看到已完成写入的日志文件，本地正在写入的日志文件还未上传至备份空间。Q：我的日志备份只设置了保留7天，是否有办法获取7天之前的日志？A：超出备份保留时长的备份会被自动删除，建议合理设置保留时长。关闭/减少备份...
RDS MySQL日志备份
A：日志备份页面只能看到已完成写入的日志文件，本地正在写入的日志文件还未上传至备份空间。Q：我的日志备份只设置了保留7天，是否有办法获取7天之前的日志？A：超出备份保留时长的备份会被自动删除，建议合理设置保留时长。关闭/减少备份...
Logtail基本问题
在您的机器上安装Logtail后，通过Logtail来监听指定的日志文件并自动将新写入到文件的日志上传到您所指定的Logstore。Logtail是否支持采集静态不变的日志文件？Logtail基于文件系统的修改事件来监听文件的变化，并将实时产生的日志发送到...
使用mount命令挂载ext4文件系统
该方式默认启用写入缓存、读写权限控制、文件系统日志等功能，这些功能可以提高文件系统的性能和稳定性，并提供数据的完整性和保护。优点：对文件系统的数据安全性和性能都有一定的保障。缺点：对文件系统数据安全性的影响：由于部分用户...
设置Logtail启动参数
需要采集的日志文件数目大（同时采集的文件数超过100个或所监控的目录下的文件数超过5000个），占用大量内存。日志数据流量大（例如极简模式下超过2 MB/s，正则模式下超过1 MB/s），导致CPU占用率高。Logtail发送数据到日志服务的速率超过...
PutBucketLogging
PutBucketLogging 接口用于为存储空间（Bucket）开启日志转存功能，可将OSS的访问日志按照固定命名规则，以小时为单位生成日志文件写入您指定的Bucket。注意事项 生成日志的源Bucket和存储日志的目标Bucket可以相同也可以不同，但是必须...
查看资源和引擎监控
InnoDB日志读/写/fsync InnoDB每秒向日志文件的物理写入次数、日志写请求、向日志文件完成的fsync写数量。临时表数量 数据库执行SQL语句时在硬盘上自动创建的临时表的数量。MySQL_COMDML 数据库每秒SQL语句执行次数，包括：Insert Delete ...
如何避免多进程/多客户端并发写同一日志文件可能出现...
问题现象 文件存储 NAS（Apsara File Storage NAS）为多客户端提供了统一名字空间的文件共享读写能力，但在多进程/多客户端并发写同一个文件的场景中（典型的例如并发写同一个日志文件），各进程分别维护了独立的文件描述符及写入位置等上...
查询不到日志的排查思路
待采集的日志文件没有实时写入数据。您可以打开/usr/local/ilogtail/ilogtail.LOG 查看报错信息。常见错误如下：parse delimiter log fail：通过分隔符模式采集日志出错。parse regex log fail：通过完整正则模式采集日志出错。分词符设置...
日志采集Agent对比
不支持 支持cpu/内存阈值保护 日志文件采集场景-性能对比 以Nginx的access log为样例，如下一条日志365字节，结构化成14个字段：在下面的测试中，将模拟不同的压力将该日志重复写入文件，每条日志的time字段取当前系统时间，其它13个字段...
如何获取Nacos-Client的日志？
本文介绍如何获取Nacos-Client的日志。具体操作 Nacos-Client的日志根据...C#Nacos-Client C#语言的Nacos-Client在初始化时需要传入Microsoft.Extensions.Logging的ILoggerFactory，根据应用的日志设置进行打印，默认和应用日志打印在一起。
Node.js SDK概述
示例代码包括以下内容：GitHub源码 说明 All.js 写入日志、查询日志、查询Logstore、获取日志分布情况等相关示例。BatchGetLogs.js 批量查询日志相关示例。CreateLogStore.js 创建和修改日志库信息的相关示例。GetLogs.js 使用GetLogs查询...
通过DaemonSet-控制台方式采集Kubernetes容器标准输出
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。功能特点 Logtail支持采集容器内产生的标准输出，并附加容器的相关元数据信息一起上传到日志服务。Logtail具备以下功能特点。支持...
应用监控指标
服务总览 指标名称 说明 单位 数据源 ERROR 应用错误 次 应用日志（自定义日志文件）配置于 Error 应用错误。PV 页面访问量 次 应用日志（自定义日志文件）配置于 PV 页面访问量。Service 应用服务被调用 次 应用日志（自定义日志文件）...
日志组（LogGroup）
写入日志到日志服务或从日志服务读取日志时，多条日志被打包为一个日志组，以日志组为单元进行写入与读取。该方式可减少读写次数，提高业务效率。每个日志组最大长度为5 MB。日志服务的基本数据模型请参见 LogHub数据模型。
数据编码方式
Protocol Buffer格式用于结构化数据交换格式，当用户需要写入日志时，需要把原始日志数据序列化成如下格式的Protocol Buffer数据流，然后才能通过API写入服务端。message Log { required uint32 Time=1;UNIX Time Format message Content {...
.NET SDK概述
示例代码包括以下内容：GitHub源码 说明 Program.cs 写入日志、查询日志及其分布情况和批量查询相关示例。LoghubSample.cs 查询日志库、写入日志和查询日志相关示例。相关文档 在调用API接口过程中，若服务端返回结果中包含错误信息，则...
新功能发布记录
HarmonyOS SDK通过ArkTS封装实现，使用C语言编写。全部地域 HarmonyOS SDK概述 2024年1月 功能名称 功能描述 支持地域 相关文档 控制台内嵌及分享（新版）使用Ticket方案将日志服务控制台免登分享给他人或免登嵌入到第三方系统。全部地域 ...
会话管理
已将日志和Dump文件写入到程序安装路径或其子目录下。操作步骤 登录 云渲染控制台。在左侧导航栏，单击 会话管理。在 会话管理 页面，单击 去授权。在 授权使用日志服务 对话框中，单击 确认授权。该操作仅在首次配置时需要，且需要由阿里...
PHP SDK概述
日志服务PHP SDK封装了日志服务的所有API接口。您可以通过日志服务PHP SDK方便地调用日志服务的所有API接口...示例代码包括以下内容：GitHub源码 说明 sample.php 写入日志、查询日志、查询日志分布情况、Shard管理、批量查询日志等相关示例。
高精度时间戳（精确到纳秒）和全局排序
安装命令./logtail.sh install {region} 升级命令./logtail.sh upgrade 以上命令都可以使用-v参数指定版本，如./logtail.sh upgrade-v 1.8.7 SDK 当前GO SDK、C++ SDK、Java SDK、Python SDK支持纳秒时间的日志，其他语言的SDK，请提交 工...
.NET Core SDK概述
日志服务.NET Core SDK封装了日志服务的所有API接口。您可以通过日志服务.NET Core SDK方便地调用日志服务的...示例代码包括以下内容：GitHub源码 说明 PostLogStoreLogsExample.cs 写入日志相关示例。PullLogsExample.cs 查询日志相关示例。
查看本地日志
埋点日志格式 打开一个日志文件，可以看到每个日志文件是按行进行组织的，即一行为一条日志。每条日志是一个由逗号分隔的字符串，字符串的不同位置代表不同的含义。服务器根据位置信息来切分日志。一条完整的日志格式如下：0_257_...
挂载访问FAQ
本文介绍挂载NAS文件系统的常见问题。如果您有任何反馈或疑问，请单击下方按钮联系NAS技术支持进行咨询。NAS技术支持 通过控制台一键挂载文件系统 一键挂载功能支持哪些操作系统和文件系统协议？经典网络或者已打通VPC的ECS实例怎么通过...
采集-多渠道数据
为不同数据源产生的日志创建日志库，例如：wechat-server（存储微信服务器访问日志）wechat-app（存储微信服务器应用日志）wechat-error（错误日志）alipay-server alipay-app deliver-app（送货员App状态）deliver-error（错误日志）web-...
整库离线同步至OSS
说明 当上一步骤中 写入单个文件 开关为关闭状态时，即单表写入OSS多个文件时，此处的OSS文件名为写入OSS文件的前缀名称，实际写入的文件名会添加随机字符串。功能 描述 文件建立方式 写入OSS时的文件建立方式，支持写入已有文件或自动建立...
日志配置
语言 默认路径 Java {$HOME}/logs/rocketmq/rocketmq-client.log C++ {$HOME}/logs/rocketmq/client.log C#{$HOME}/logs/rocketmq/rocketmq-client.log Go {$HOME}/logs/rocketmq/rocketmq_client_go.log 日志参数 客户端启动后，会按照...
Logtail采集详情
将Logtail采集配置应用到机器组后，对应服务器上没有发生修改事件的日志文件会被判定为历史日志文件，Logtail监听到历史日志文件，并不会采集。当日志文件产生了修改事件，才会触发采集流程，Logtail开始读取文件。如果您要采集历史日志...
深度解析Lindorm搜索索引（SearchIndex）特性
假设索引列为c1，c2，第一次写入c1列，第二次写入c2列。那么在第二次写入c2的值时，需要读出原始的c1值，才能够拼接出完整的索引数据c1，c2。MUTABLE_ALL（成本最高）写入数据时，业务自定义时间戳（User-Defined Timestamp）。例如：全量...
常见问题
例如数据写入日志服务延迟了5分钟，实例执行时间为12:03:00，SQL时间窗口为相对一分钟，即[12:02:00，12:03:00)，则查询不到最新的数据。数据写入日志服务到能够被查询到，这期间存在延时（一般少于3秒）。即使延时很低，也存在数据漏查的...
- 产品推荐
- 这些文档可能帮助您