读取CDN日志数据
您可以在DMS页面编写SQL创建OSS Schema、创建日志文件表以及读取日志文件数据，也可以通过MySQL客户端或者MySQL命令行工具连接DLA，然后编写SQL创建OSS Schema、创建日志文件表以及读取日志文件数据。CREATE SCHEMA cdn_log_schema with ...
通过消费组读取文本日志进行模板匹配
本文介绍通过读取日志文本进行模板匹配的操作步骤。前提条件 已采集日志到源Logstore或Metricstore。具体操作，请参见 数据采集、接入时序数据。重要 本文中所涉及的Logstore为Standard Logstore。更多信息，请参见 管理Logstore。已创建...
通过消费组读取文本日志进行模板发现
日志模板发现 用于对日志数据进行离线、智能的分析，提取和管理日志中的常见模板，帮助您快速了解日志数据。本文介绍通过消费组拉取文本日志进行文本发现的操作步骤。前提条件 已采集日志到源Logstore或Metricstore。具体操作，请参见 数据...
GetCloudMetricLogs-读取性能指标日志
调用GetCloudMetricLogs读取EHPC性能指标（CloudMetrics）日志。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，...
在控制台上查询和分析日志是否会产生外网读取流量？
从日志服务公网域名所在接口拉取数据时，会产生外网读取流量（按照压缩后的数据量计算）。日志服务仅支持外网程序通过SDK消费日志服务中的数据，所以您在控制台上的所有操作（例如查询和分析日志、加工、投递等），都属于内网访问，不会...
Linux实例启动后网卡无法成功配置或无法正确读取和...
本文介绍Linux实例启动后网卡无法成功配置或无法正确读取和显示，查看系统日志提示"virtio_net: probe of virtio2 failed with error -16"错误时的问题原因及解决方案。问题现象 Linux实例启动后，网卡无法成功配置或无法正确读取和显示，...
对接JDBC
本文以实际案例演示如何使用JDBC连接日志服务、读取日志数据，及使用MySQL协议和SQL语法来计算日志。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_...
日志组（LogGroup）
日志组（LogGroup）是一组日志的集合，是写入与读取日志的基本单元。一个日志组中的数据包含相同Meta（IP地址、Source等信息）。写入日志到日志服务或从日志服务读取日志时，多条日志被打包为一个日志组，以日志组为单元进行写入与读取。该...
数据投递仪表盘
投递成功行数总计：从源Logstore的各个Shard中读取日志后，投递到目标云产品成功的日志条数。投递失败行数总计：从源Logstore的各个Shard中读取日志后，投递到目标云产品失败的日志条数。每秒投递行数 统计每分钟窗口内，数据投递任务处理...
Logtail采集详情
本文介绍Logtail的采集过程，包括监听日志、读取日志、处理日志、过滤日志、聚合日志和发送日志。采集过程 Logtail采集数据的过程如下：监听日志 读取日志 处理日志 过滤日志 聚合日志 发送日志 说明 更多关于Logtail采集原理的介绍，请...
数据加工仪表盘
投递日志数总计：从源Logstore的各个shard中读取日志并成功写入到目标Logstore的日志条数总计。失败日志数总计：从源Logstore的各个shard中读取日志并在加工过程中发生失败的日志条数总计。投递日志数占比：成功投递到目标Logstore的日志条...
日志消费与查询区别
可以从指定Shard中，按照日志写入Shard的顺序批量读取日志。根据接收日志的时间，设置批量读取Shard日志的起始位置（cursor）。日志查询（LogSearch）提供海量日志查询和分析功能，根据条件进行日志查询与统计。通过查询条件查找符合要求的...
数据加工概述
适用场景 数据规整（一对一）：从源Logstore中读取日志数据，进行加工后输出到目标Logstore中。数据分派（一对多）：从源Logstore中读取日志数据，进行加工后分别输出到不同的目标Logstore中。数据融合（多对一）：分别从不同的源Logstore...
错误码
请您优化读取日志请求，减少读取日志数量。更多信息，请参见 使用限制。403 MetaOperationQpsLimitExceeded Qps limit for the meta operation is exceeded.超出默认设置的QPS阈值。请您优化资源操作请求，减少资源操作次数。建议您延迟几...
简介
为了读取日志数据，需要您授权日志服务账号访问日志数据。更多信息，请参见 创建可信实体为阿里云服务的RAM角色及授权。授权用户角色操作日志服务 RAM用户角色是一种虚拟用户，它没有确定的身份认证密钥，且需要被一个受信的实体用户（比如...
普通消费
SDK消费 本示例中，创建一个PullLogsDemo.java文件，并调用接口读取日志数据，完成普通消费的演示。示例如下所示。关于日志服务SDK的更多信息，请参见 日志服务SDK参考。import com.aliyun.openservices.log.Client;import ...
常见问题
例如执行SQL分析的权限，读取日志库数据的权限。确保已提供足够的计算资源。资源限制说明请参见 查询与分析的使用限制。避免使用逻辑过于复杂的SQL语句以及SQL时间窗口设置过大，否则将导致计算超时（服务端超时时间为10分钟）。通过定时...
什么是日志服务
日志组（LogGroup）日志组是一组日志的集合，是写入与读取日志的基本单位。一个日志组中的日志包含相同Meta信息（IP地址、Source等信息）。更多信息，请参见 日志组（LogGroup）。时序数据（Metric）时序数据是指时间序列数据。更多信息，...
快速入门
更多信息，请参见 读取日志。背景信息 本示例中待采集的日志路径为/var/log/nginx/access.log，日志样例为 127.0.0.1-[10/Jun/2022:12:36:49+0800]"GET/index.html HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Macintosh;Intel Mac OS X 10_13_6)...
术语表
日志组（LogGroup）日志组是一组日志的集合，是写入与读取日志的基本单位。一个日志组中的日志包含相同Meta信息（IP地址、Source等信息）。更多信息，请参见 日志组（LogGroup）。时序数据（Metric）时序数据是指时间序列数据。更多信息，...
Storm消费
为了降低Storm消费的代价，日志服务提供了LogHub Storm Spout来实时读取日志数据。基本结构和流程 图 1.基本结构和流程 上图中红色虚线框中是LogHub Storm Spout，每个Storm Topology会有一组Spout，同组内的Spout共同负责读取Logstore中...
采集主机文本日志
更多信息，请参见 读取日志。操作步骤 登录 日志服务控制台。在 接入数据 区域中，根据需要选择包含 文本日志 后缀的入口。本文以采集主机中的多行文本日志为例。在 选择日志空间 页面，按照选择目标Project和Logstore，单击 下一步。在 ...
日志类型
12 read_avg_delay 时间窗口内平均每次读取日志数据时，当前偏移量与文件大小差值的平均值。65 read_count 时间窗口内日志读取次数。10 read_offset 当前读取到文件偏移位置，单位：字节。12345 regex_match_failures 正则表达式匹配失败...
产品架构
为了同步正在进行的数据变更，DTS使用两个处理事务日志的模块：事务日志读取模块：日志读取模块从源实例读取原始数据，经过解析、过滤及标准格式化，最终将数据在本地持久化。日志读取模块通过数据库协议连接并读取源实例的增量日志。如果...
采集标准Docker容器日志
更多信息，请参见 读取日志。步骤一：部署Logtail容器 拉取Logtail镜像。docker pull registry.cn-hangzhou.aliyuncs.com/log-service/logtail 您需要根据实际情况替换 registry.cn-hangzhou.aliyuncs.com ，地域信息请参见 安装Logtail...
Postgres CDC（公测中）
如果下游算子或存储支持幂等性，可以启用 scan.incremental.snapshot.backfill.skip=true 以跳过全量阶段的日志读取，这样做的缺点是仅能提供至少一次（At-Least Once）的语义保证。如果SQL要做聚合、关联等操作，不建议跳过全量阶段日志的...
使用函数计算（FC）通过Syslog协议投递日志到SIEM平台
accessKeyId=access_key_id,accessKey=access_key_secret,securityToken=security_token)syslog_config=get_syslog_config()#基于日志的游标从源日志库中读取日志，本示例中的游标范围包含了触发本次执行的所有日志内容#Read data from ...
如何使用Logtail自动诊断工具
更多信息，请参见 读取日志。诊断流程 下载及运行诊断工具 登录Linux服务器。下载诊断工具脚本。wget http://logtail-release.oss-cn-hangzhou.aliyuncs.com/linux64/checkingtool.sh -O checkingtool.sh 安装curl工具。Logtail自动诊断...
PolarDB PostgreSQL版架构介绍
主节点切换到只读节点时，只读节点接管数据更新时，存储中的页面可能是旧的，需要读取日志重新对脏页的恢复。对于第一个问题，我们需要有页面多版本能力；对于第二个问题，我们需要主库控制脏页的刷脏速度。HTAP架构概述 读写分离后，单个...
PolarDB PostgreSQL版架构介绍
主节点切换到只读节点时，只读节点接管数据更新时，存储中的页面可能是旧的，需要读取日志重新对脏页的恢复。对于第一个问题，我们需要有页面多版本能力；对于第二个问题，我们需要主库控制脏页的刷脏速度。HTAP架构概述 读写分离后，单个...
插件配置概述
logstash-input-oss插件使用说明 logstash-input-sls 从阿里云日志服务SLS读取日志。logstash-input-sls插件使用说明 output logstash-output-datahub 传输数据至阿里云流式数据服务DataHub。logstash-output-datahub插件使用说明 logstash...
新功能发布记录
本文介绍通过读取日志文本进行模板匹配的操作步骤。全部地域 通过消费组读取文本日志进行模板匹配 CloudLens for SLS CloudLens for SLS控制台界面更新。CloudLens for SLS支持的地域 使用前须知 开启日志采集功能 数据导入流程优化 日志...
通过Sidecar方式采集Kubernetes容器文本日志
更多信息，请参见 读取日志。业务容器中待采集文件必须位于存储卷中，且该存储卷必须挂载到Logtail容器。步骤一：为业务Pod注入Logtail容器 登录Kubernetes集群。创建一个YAML文件。sidecar.yaml 为文件的示例名称，请根据实际情况替换。...
通过DaemonSet方式采集Kubernetes容器文本日志
更多信息，请参见 读取日志。对于不同容器引擎，必须确认对应的UNIX域套接字存在，而且确保Logtail有相应UNIX域套接字的访问权限。Docker：/run/docker.sock。Containerd：/run/containerd/containerd.sock。创建Logtail采集配置 警告 通过...
通过DaemonSet-控制台方式采集Kubernetes容器标准输出
更多信息，请参见 读取日志。功能特点 Logtail支持采集容器内产生的标准输出，并附加容器的相关元数据信息一起上传到日志服务。Logtail具备以下功能特点。支持采集标准输出信息（stdout）和标准出错信息（stderr）。支持通过容器Label白...
日志采集Agent对比
功能对比 功能项 Logstash Fluentd Logtail 日志读取 轮询 轮询 事件触发 文件轮转 支持 支持 支持 Failover处理（本地checkpoint）支持 支持 支持 通用日志解析 支持grok（基于正则表达式）解析 支持正则表达式解析 支持正则表达式解析 ...
管理日志
示例1：返回所有的错误日志 EXEC sp_rds_read_error_logs-示例2：从第0行开始返回包含关键字error的错误日志的第1行数据 EXEC sp_rds_read_error_logs 0,1,'error' 使用存储过程 sp_readerrorlog 读取错误日志，适用于SQL Server 2017及...
复制和分发数据
授权方式 授予日志服务读取源日志库中数据的权限。以默认角色为例，选择 默认角色。配置target-a存储目标。参数 说明 目标名称 存储目标名称。输入 target-a。目标Region 目标Project所在地域。选择 华东1（杭州）。目标Project target-a...
消费-计量计费日志
app-myapplication ProjectId:573 LogStore:perf UserAgent:ali-sls-logtail APIVersion:0.5.0 RequestId:56DFF2D58B3D939D691323C7 计量计费程序读取原始日志，根据规则生成用户在各维度使用数据（包括流量、使用次数、出流量等）：典型...
什么是Logtail
说明 Logtail不支持采集历史日志，对于一条日志，读取该日志的时间减去日志中记录的时间，差值超过12小时会被丢弃。如果您要采集历史日志文件，请参见 导入历史日志文件。自动处理日志轮转 很多应用会按照文件大小或者日期对日志文件进行...
- 产品推荐
- 这些文档可能帮助您