创建导出任务
TSDB实例 当前Region中已购TSDB列表，选中需要导出数据的实例。度量名称 导出到哪一个TSDB度量（metric）。AccessKeyID 当前登录账号的AK ID（供TSDB访问）。AccessKeySecret 当前登录账号的AK Secret（供TSDB访问）。时间点映射 将日志...
IIS模式解析
配置说明 参数名称 说明 日志格式 选择您的IIS服务器日志采用的日志格式，具体说明如下：IIS：Microsoft IIS日志文件格式。NCSA：NCSA公用日志文件格式。W3C：W3C扩展日志文件格式。IIS配置字段 配置IIS配置字段，具体说明如下：日志格式为...
管理数据流动任务
导出（Export）将位于数据流动Fileset内的指定的目录或文件导出到OSS Bucket中。导出路径：文件或目录在CPFS文件系统中的路径。数据流动任务按文件在Fileset中的路径导出到Bucket中。空目录、hard link和symbol link不能导出到OSS。元数据...
管理本地日志（Binlog）
MySQL的本地日志（Binlog）是一种记录MySQL数据库所有更改操作的日志文件，可用于自行搭建主从架构、订阅数据等。本文介绍如何查看或删除RDS MySQL实例的本地日志（Binlog）。本地日志与日志备份区别 对比项 本地日志（Binlog）日志备份 ...
采集主机文本日志
Logtail只采集增量日志，如果下发Logtail配置后日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。操作步骤 登录 日志服务控制台。在 接入数据 区域中，根据需要选择包含 文本日志 后缀的入口。本文以采集主机...
日志导出服务关联角色
下面介绍物联网平台日志导出服务关联角色（AliyunServiceRoleForIoTLogExport），以及如何删除该角色。角色说明 物联网平台提供日志转储功能，可以将云端运行日志导出到您指定的阿里云日志服务实例Logstore中。为了实现该功能，需要获取...
将本地表串行导出至OSS引擎
您可以通过 PolarDB 提供的OSSOUTFILE功能，将本地的数据文件导出为CSV文件，并存储在OSS引擎上。前提条件 PolarDB 集群版本需为如下版本之一：PolarDB MySQL版 8.0.2版本且Revision version为8.0.2.2.8或以上。PolarDB MySQL版 8.0.1版本...
管理数据流动任务
导出数据 Symlink类型的文件在同步到OSS后，不会同步Symlink所指向的文件，而是会变成一个普通的无数据空白对象。Hardlink类型的文件仅作为普通文件同步到OSS。不支持Socket、Device、Pipe类型的文件导出到OSS Bucket。不支持长度大于1023...
云端运行日志转储
物联网平台控制台的日志服务默认日志存储时间为7天，支持将云端运行日志导出到您阿里云日志服务的日志库（Logstore）中长期存储。开通云端运行日志转储后，您可在物联网平台控制台查询分析日志，查看、订阅日志报表和设置告警通知。前提...
日志主题
日志可以通过日志主题（Topic）来划分，您可以在日志服务控制台上创建Logtail配置时设置日志主题，也可以在使用API或SDK上传数据时设置日志主题。空-不生成Topic 机器组Topic属性 文件路径正则 静态主题生成 空-不生成Topic 设置 Topic生成...
Apache模式解析
Apache日志简介 Apache服务器会根据Apache日志配置文件中指定的日志打印格式、日志文件路径和名称输出Apache日志。例如 CustomLog"/var/log/apache2/access_log"combined，表示日志打印时使用combined格式，日志文件路径为/var/log/apache2...
SQL洞察
搜索（审计）：查询并导出SQL语句执行历史及其对应的各种信息，如数据库状态、执行时间等。SQL洞察：对指定时间SQL进行健康情况诊断、性能问题排查、业务流量分析等。安全审计：可自动识别高危SQL、SQL注入、新增访问来源等风险。流量回放...
账单概览
导出账单：在月账单概览页面，单击 账单文件导出，可以导出账单。主账号登录时能导出全部主子账号的账单数据；管理子账号登录时，可导出子账号的账单数据。两种导出账单方式介绍 1、在月账单概览页面单击账单文件导出，导出月账单 导出账号...
索引使用率
数据库自治服务DAS 为 RDS SQL Server 提供索引使用率查询功能，您可以查询表中索引的使用情况，以及索引的碎片率。前提条件 当前不支持 RDS SQL Server 2008 R2云盘版。操作步骤 登录 DAS控制台。在左侧导航栏中，单击 实例监控。找到目标...
日志备份
A：日志备份页面只能看到已完成写入的日志文件，本地正在写入的日志文件还未上传至备份空间。Q：我的日志备份只设置了保留7天，是否有办法获取7天之前的日志？A：超出备份保留时长的备份会被自动删除，建议合理设置保留时长。关闭/减少备份...
导入Amazon S3文件
您可以通过数据导入的方式将Amazon S3的日志文件导入到阿里云的日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5GB以内的S3文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到S3中。已创建Project和...
如何使用Logtail自动诊断工具
如果下发Logtail采集配置后，日志文件无更新，则Logtail不会采集该文件。更多信息，请参见 读取日志。诊断流程 下载及运行诊断工具 登录Linux服务器。下载诊断工具脚本。wget ...
回收站
例如使用Nginx配置了自动轮转日志且最多保留20个日志文件，当日志文件 test.log.19 轮转为日志文件 test.log.20 时，原日志文件 test.log.20 将进入回收站。说明 如果仅覆写文件内容，不删除该文件，不会触发文件进入回收站。例如调用 open...
导出标注结果数据
对于导出成功的任务可直接单击 跳转，进入存储标注结果数据文件的OSS Bucket页面，查看导出文件，导出文件是一个后缀为.manifest 格式的文件，文件内容格式请参见 标注数据格式概述。如果您同时将导出结果创建为一个数据集，您可以进入数据...
采集Python日志
(pathname)s 日志文件路径。(filename)s 日志文件名。(module)s 日志所在的模块名。(funcName)s 日志输出函数的名称。(lineno)d 日志输出函数的语句所在的代码行。(created)f 日志创建时间，UNIX时间戳格式。(relativeCreated)d 日志创建...
报表配置
选择不同的类型导出时，导出数据的数量是一样的，导出数据的时间因电脑配置或数据量不同而有所差异，建议导出50万单元格以上的Excel，使用 纯数据导出。说明 仅当选择 导出格式 为 Excel 时，才需要配置此参数。服务器设置 说明 仅当导出...
查询不到日志的排查思路
待采集的日志文件没有实时写入数据。您可以打开/usr/local/ilogtail/ilogtail.LOG 查看报错信息。常见错误如下：parse delimiter log fail：通过分隔符模式采集日志出错。parse regex log fail：通过完整正则模式采集日志出错。分词符设置...
修改导出任务
TSDB实例 当前Region中已购TSDB列表，选中需要导出数据的实例。度量名称 导出到哪一个TSDB度量（metric）。AccessKeyID 当前登录账号的AK ID（供TSDB访问）。AccessKeySecret 当前登录账号的AK Secret（供TSDB访问）。时间点映射 将日志...
配置日志采集
本文介绍如何在EDAS控制台中配置日志采集功能，将部署在容器服务Kubernetes集群中的应用的相关业务文件日志、容器标准输出日志采集到日志服务进行查询分析。前提条件 已创建ACK集群。具体操作，请参见 创建Kubernetes托管版集群、创建...
快速入门
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。背景信息 本示例中待采集的日志路径为/var/log/nginx/access.log，日志样例为 127.0.0.1-[10/Jun/2022:12:36:49+0800]"GET/index....
迁移EMR项目至DataWorks
DataWorks目前仅支持绑定E-MapReduce（简称EMR）的新版集群（即DataLake新版数据湖集群），原有涉及旧版集群的项目需通过迁移方式，移至DataWorks进行数据开发。本文为您介绍，如何通过一键迁移方式及文件导入导出方式，将EMR项目迁移至...
导入OSS数据
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
NFS文件系统传输加密
传输加密功能通过TLS协议保护您的ECS实例与NAS服务之间网络传输链路上的数据安全，确保您的数据在传输过程中不被窃取或纂改。本文介绍如何使用NAS客户端工具挂载文件系统实现数据传输加密。工作原理 NAS客户端工具定义了一个网络文件系统...
案例中心
如果导出的为语音案例，则将录音文件导出到文件夹中，文件夹命名为“语音案例”，一次最多导出100条。3).如果同时导出文本和语音案例，则文本统一导出到Excel中，音频导出到文件夹中，统一放在“案例”文件夹中。类目管理 在类目管理界面中...
日志类型
M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b file_dev 日志文件的device ID。说明 当 file_name 为 logstore_...
使用数据实验室
收费与限制 目前数据实验室提供网站访问日志、数据库审计日志、新冠疫情数据集等三个场景，均免费使用。在数据实验室中Logstore仅用于存储模拟数据，数据保留7天，shard数量为1。您无法进行数据写入、编辑索引等操作。场景选择 数据分为...
批量操作
批量操作主要是对一批客户进行批量操作，通过添加操作对象（以文件的形式上传需要操作的客户数据），然后对这些客户进行设置批量操作，包括：添加标签、移除标签、发放优惠券。同时也可以查看每次批量操作的详细信息，包括：操作对象、操作...
查询原始日志
在 原始日志 页签，您可以查看原始日志信息。本文介绍支持在 原始日志 页签对日志进行的常用操作。原始日志界面 快速分析日志 配置显示字段 系统默认显示表格存储支持的日志字段，您可以在 索引字段 节点下拖动鼠标到目标字段，单击目标...
页面
导出文件 导出当前文件为对应的PDF或者图片，并获取导出后的URL。语法 表达式.ActiveDocument.ExportAsFixedFormat({ OutputFileName,ExportFormat })表达式：文档类型应用对象 参数 属性 数据类型 是否必填 描述 OutputFileName String 否...
术语表
Logtail配置 Logtail配置是Logtail进行日志采集的策略集合，包括日志文件的位置、采集方式等。更多信息，请参见 Logtail配置。机器组 机器组是包含多台服务器的虚拟分组。日志服务通过机器组的方式管理所有需要通过Logtail采集日志的服务器...
2023年6月1日V5.3产品更新
如果导出的为语音案例，则将录音文件导出到文件夹中，文件夹命名为“语音案例”，一次最多导出100条。3).如果同时导出文本和语音案例，则文本统一导出到Excel中，音频导出到文件夹中，统一放在“案例”文件夹中。类目管理 在类目管理界面中...
导出至HDFS
AnalyticDB MySQL版 支持通过外表导入导出数据。本文介绍如何通过外表将 AnalyticDB MySQL 数仓版（3.0）数据导出至HDFS。前提条件 AnalyticDB MySQL版 集群需为V3.1.4.4或以上版本。说明 如何查看集群内核版本，请参见 如何查看实例版本...
SELECT INTO OUTFILE
当您需要备份或者迁移 云数据库SelectDB 中的数据时，通过 SELECT INTO OUTFILE 命令，可以将查询结果导出为文件，并且支持到 通过S3或HDFS协议导出到远端存储（如OSS、HDFS等）。功能介绍 SELECT INTO OUTFILE 命令用于将查询结果导出为...
查看客户端连接日志
在客户端通过智能接入网关SAG（Smart Access Gateway）App实例接入阿里云后，您可以在智能接入网关管理控制台查看、订阅客户端的连接日志。前提条件 客户端可通过SAG App实例接入阿里云。具体操作，请参见 SAG App快速入门。步骤一：开启...
通过Sidecar方式采集Kubernetes容器文本日志
为了采集同一Pod中其它容器的日志文件，需要通过共享存储卷的方式来完成，即将同一份存储卷分别挂载到业务容器和Logtail容器。Sidecar方式采集容器日志的更多信息，请参见 Sidecar日志采集介绍 和 Sidecar模式示例。存储卷的更多信息，请...
- 产品推荐
- 这些文档可能帮助您