Logtail采集详情
本文介绍Logtail的采集过程，包括监听日志、读取日志、处理日志、过滤日志、聚合日志和发送日志。采集过程 Logtail采集数据的过程如下：监听日志 读取日志 处理日志 过滤日志 聚合日志 发送日志 说明 更多关于Logtail采集原理的介绍，请...
API概览
日志管理 API 标题 API概述 CreateLogAnalysis 创建日志管理的日志模板 将通用型NAS文件系统日志转储到日志服务中。DeleteLogAnalysis 删除日志管理的日志 停止通用型NAS文件系统的日志转储。DescribeLogAnalysis 获取日志管理的日志信息 ...
性能说明FAQ
本文介绍NAS SMB/NFS协议文件系统性能相关的常见问题及解决方案。文件系统的读写吞吐阈值与什么相关？通用型NAS 单个文件系统的读写性能上限（峰值）与文件系统的当前使用容量线性相关且成正比例关系，即使用容量越大，吞吐性能上限（峰值...
通用型NAS备份
为避免存储在NAS文件系统中的数据丢失或受损影响业务，建议您通过云备份服务定期备份通用型NAS中的所有目录及文件。云备份服务支持配置灵活备份策略，将数据备份至云端，您可以随时查看和恢复数据。本文介绍如何通过云备份服务备份通用型...
在云桌面内挂载CPFS文件系统
您可以在阿里云控制台创建CPFS文件系统，通过NFS协议服务把CPFS文件系统挂载至对应工作区下的无影云桌面，挂载成功后便可以在云桌面上把CPFS文件系统当作一个普通的目录来访问和使用。本文介绍如何将CPFS文件系统挂载至云桌面以及如何验证...
最佳实践
从OSS获取CSV文件进行数据富化 从RDS MySQL数据库获取数据进行数据富化 使用RDS内网地址访问RDS MySQL数据库 使用资源函数增量获取数据 使用e_dict_map、e_search_dict_map函数进行数据富化 从Hologres数据库获取数据进行富化 构建字典与...
CreateLogAnalysis-创建日志管理的日志模板
将通用型NAS文件系统日志转储到日志服务中。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 ...
Logtail基本问题
Logtail采集原理包括监听文件、读取文件、处理日志、过滤日志、聚合日志和发送数据等过程。更多信息，请参见 Logtail采集原理。Logtail是否支持日志文件轮转？Logtail支持日志文件轮转。例如app.LOG文件通过日志文件轮转生成app.LOG.1、app...
访问控制
一般来说，从STS获取的权限会受到更加严格的限制，并且拥有时间限制，因此这些信息泄露之后对于系统的影响也很小。日志服务可以通过阿里云STS进行临时授权访问。通过STS，您可以为第三方应用或子用户（即用户身份由您自己管理的用户）颁发...
Logtail采集日志失败的排查思路
使用Logtail采集日志后，如果预览页面为空或查询页面无数据，您可以根据本文步骤进行排查。操作步骤 确认日志文件是否有更新。Logtail只采集增量的日志。更多信息，请参见 读取文件。如果下发Logtail配置后，日志文件无更新，则Logtail不会...
使用rsync工具迁移数据
切换应用到新的文件系统 在数据迁移完成后，如果您需要将现有业务从旧的文件系统切换到新的文件系统上，请在所有ECS和容器上卸载旧的文件系统，然后挂载新的文件系统。使用ECS直接挂载NAS文件系统。执行 mount|grep nas.aliyuncs.com 记录...
什么是Logtail
Logtail是日志服务提供的日志采集Agent，用于采集阿里云ECS、自建IDC、其他云厂商等服务器上的日志。本文介绍Logtail的功能、优势、使用限制及配置流程等信息。Logtail多年来一直承载着阿里巴巴集团重要服务的数据采集。每天采集数百万...
性能监控
您可以通过阿里云云监控来监控文件系统读请求频率、读取请求大小、每秒读取字节数、存储空间等。并通过设置报警规则，及时获取异常信息。本文介绍如何查看性能监控详情及创建报警规则。前提条件 已创建 文件存储 HDFS 版 文件系统。具体...
消费-搭建监控系统
日志服务把所有集群的监控数据作为日志收集到服务端，解决了多集群管理和异构系统日志收集的问题，监控数据统一成格式化的日志发送到日志服务。日志服务为监控系统提供了：统一的机器管理：安装一次logtail，所有的后续操作在日志服务端...
FS-文件系统
本文介绍FS-文件系统的使用方法及示例。硬件平台 产品型号 是否支持 硬件类型 固件版本号 HaaS600Kit 是 开发板 4.0.1 HaaS510 是 DTU 4.0.1 HaaS520 是 DTU 4.0.1 HaaS530 是 DTU 4.0.1 HaaS531 是 DTU 4.0.1 HaaS632-LT32V 是 蜂窝模组 4...
推荐的挂载方式
本文介绍阿里云容器服务挂载NAS文件系统的方式，您可以使用CSI存储插件或使用容器网络文件系统CNFS挂载NAS文件系统。重要 请使用以下推荐的方式挂载NAS文件系统。使用其他方式挂载NAS文件系统可能出现稳定性风险，NAS团队无法预估该风险且...
配置用户标识
touch/etc/ilogtail/users/17*745 Windows系统 在 C:\LogtailData\users 目录下，创建日志服务所属的阿里云账号ID文件。使用Windows PowerShell。ni C:\LogtailData\users\17*745 使用命令提示符（cmd）。type nul>C:\LogtailData\users\17...
使用Robocopy工具迁移数据
切换应用到新的文件系统 在数据迁移完成后，如果您需要将现有业务从旧的文件系统切换到新的文件系统上，请在所有ECS和容器上卸载旧的文件系统，然后挂载新的文件系统。使用ECS直接挂载NAS文件系统。执行 net use 记录现有NAS挂载信息，注意...
对接Grafana
本文介绍如何通过Grafana可视化分析日志服务所采集到的Nginx日志。前提条件 已采集Nginx日志数据。更多信息，请参见 使用Nginx配置模式采集日志。已开启并配置索引。更多信息，请参见 分析Nginx访问日志。下载数据源插件项目压缩包。下载...
采集主机文本日志
更多信息，请参见 读取日志。操作步骤 登录 日志服务控制台。在 接入数据 区域中，根据需要选择包含 文本日志 后缀的入口。本文以采集主机中的多行文本日志为例。在 选择日志空间 页面，按照选择目标Project和Logstore，单击 下一步。在 ...
NFS协议
NFS概念 NFS（Network File System），即网络文件系统协议，是一种分布式文件系统协议，通过NFS协议，您可以像访问本地文件一样访问远端系统上的文件。Linux操作系统和容器建议使用NFS协议类型的文件系统。如果使用SMB协议类型的文件系统，...
管理本地日志（Binlog）
MySQL的本地日志（Binlog）是一种记录MySQL数据库所有更改操作的日志文件，可用于自行搭建主从架构、订阅数据等。本文介绍如何查看或删除RDS MySQL实例的本地日志（Binlog）。本地日志与日志备份区别 对比项 本地日志（Binlog）日志备份 ...
文件存储NAS的审计事件
RemoveTags 从文件系统实例上解绑标签。Renew 实例或者资源包等的续费操作。ResetFileSystem 使用文件系统的历史快照回滚至某一阶段的文件系统状态。RetryLifecycleRetrieveJob 重试状态为执行失败的数据取回任务。SetDirQuota 设置文件...
挂载文件系统失败故障排查
通过自动检查脚本定位问题 Linux挂载NFS协议文件系统失败自动检查脚本 Windows挂载SMB协议文件系统失败自动检查脚本 交叉挂载失败排查思路 Linux挂载SMB协议文件系统失败排查思路 Windows系统挂载NFS协议的通用型NAS文件系统失败排查思路 ...
Linux系统挂载SMB协议文件系统
由于Linux系统对SMB协议的兼容程度较低，建议仅在需要跨操作系统共享数据的情况下使用Linux系统挂载SMB协议文件系统。本文主要介绍如何将SMB协议文件系统挂载至云服务器ECS（Linux）上并执行读写操作。前提条件 在创建SMB协议文件系统的...
下载或删除网站日志
查看网站日志可以帮助您了解访问者的需求、网站访问量的变化趋势或分析网站运行中遇到的故障问题等，从而提升用户体验和明确网站优化方向，本文为您介绍下载或删除网站日志的方法。前提条件 已安装FTP客户端。说明 建议您使用FileZilla工具...
通过性能监控分析及优化应用程序的性能
分析问题 该应用程序的基本业务逻辑是从本地文件读取文件全量数据，然后按行进行切割，接着与输入的内容进行字符串匹配。按行切割时存在大量小字符串分配，通过slice偏移量截取字符串对比，可以避免大量小字符串的分配与释放，优化如下所示...
其他问题
目前仅支持Linux操作系统挂载NFS文件系统，Windows操作系统挂载SMB文件系统、Windows操作系统挂载NFS文件系统及Linux操作系统挂载SMB文件系统场景，请您登录ECS实例执行命令挂载。更多信息，请参见 Windows系统挂载SMB协议文件系统、...
生命周期管理FAQ
以下操作会更新访问时间：读取文件 写入文件 以下操作不会更新访问时间：重命名一个文件 修改文件的用户（user）、用户组（group）、模式（mode）等文件属性 如果一个目录配置了多项生命周期管理策略，文件系统会执行哪一项策略？...
工程架构
推荐服务把获取到的N个冷启动物品与常规推荐结果列表混合后，返回给APP展现 APP实时把展现、点击等行为日志上传到日志服务器 Flink任务从消息中间件（kafka、datahub等）读取日志服务器上收集到的实时行为日志 Flink任务解析日志，并根据...
使用函数计算（FC）通过Syslog协议投递日志到SIEM平台
accessKeyId=access_key_id,accessKey=access_key_secret,securityToken=security_token)syslog_config=get_syslog_config()#基于日志的游标从源日志库中读取日志，本示例中的游标范围包含了触发本次执行的所有日志内容#Read data from ...
Logtail
标准输出日志轮转 容器的标准输出文件由docker或kubelet进行轮转，kubelet日志文件轮转默认大小为10 MB（docker日志轮转在ACK上被设置为100 MB），如果容器每秒输出标准输出的速率大于10 MB/s，将导致文件快速轮转，建议改用容器文件方式...
创建文件系统
当您想实现文件系统的共享访问时，您可以创建通用型NAS或极速型NAS文件系统，然后在多个计算节点中挂载使用。NAS文件系统支持在云上ECS、容器、FC、PAI等计算节点中挂载使用。同时，也支持本地数据中心挂载访问NAS。背景信息 通用型NAS文件...
Logtail限制说明
标准输出日志轮转 容器的标准输出文件由docker或kubelet进行轮转，kubelet日志文件轮转默认大小为10 MB（docker日志轮转在ACK上被设置为100 MB），如果容器每秒输出标准输出的速率大于10 MB/s，将导致文件快速轮转，建议改用容器文件方式...
挂载访问FAQ
目前仅支持Linux操作系统挂载NFS文件系统，Windows操作系统挂载SMB文件系统、Windows操作系统挂载NFS文件系统及Linux操作系统挂载SMB文件系统场景，请您登录ECS实例执行命令挂载。更多信息，请参见 Windows系统挂载SMB文件系统、Windows...
导入历史日志文件
背景信息 Logtail基于监听文件的修改事件进行日志采集，还支持从本地文件中加载事件，以驱动日志采集。采集历史日志文件就是基于本地事件加载实现的功能。说明 导入本地事件最长延迟为1分钟。由于加载本地事件属于特殊行为，Logtail会向...
高级管理FAQ
以下操作会更新访问时间：读取文件 写入文件 以下操作不会更新访问时间：重命名一个文件 修改文件的用户（user）、用户组（group）、模式（mode）等文件属性 如果一个目录配置了多项生命周期管理策略，文件系统会执行哪一项策略？...
功能特性
NFS协议文件系统传输加密 SMB协议文件系统传输加密 日志分析 阿里云文件存储（NAS）联合日志服务推出日志分析功能，提供NAS访问日志的实时采集、查询、分析、加工、消费等一站式服务。日志管理 数据访问 功能集 功能 功能描述 参考文档 ...
RDS SQL Server空间不足问题
说明 系统文件空间使用量 包括系统数据库master、msdb和model的所有数据文件和日志文件，以及一些系统文件（错误日志、默认跟踪文件、系统扩展事件文件等）。您可以在控制台的 自治服务>空间管理 页面，查看更详细的空间使用情况，包括数据...
基本概念
文件存储NAS使用架构 文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问，您无需修改应用程序，即可迁移业务系统上云。计算节点和NAS各模块的关系如下图所...
- 产品推荐
- 这些文档可能帮助您