HarmonyOS SDK概述
}/写入日志 addLog(){ aliyunLog.addLog(new Map([["key1","val1"],["key2","val2"],["key3","val3"],["key4","val4"],]))}/处理日志回调/code错误码说明参见后续文档 onLogCallback(logStore:string,code:number,logBytes:number,...
展开JSON字段
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。配置说明 重要 Logtail 0.16.28及以上版本支持processor_json插件。表单配置方式 参数说明 配置 处理器类型 为 展开...
配置监控与告警
业务层面：处理日志行数、输出日志行数。创建告警 登录 日志服务控制台。在Project列表区域，单击目标Project。在左侧导航栏中，单击 告警。在 告警规则 页签中，单击 新建告警 右侧的。单击 从模板新建。在 从模板新建 页签中，单击 SLS...
GetLogsV2-查询Logstore中的日志数据
查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志（返回结果压缩后传输）。接口说明 日志服务 SDK 目前仅支持 Go、Java、Python 三种语言，OpenAPI 全部已支持。使用过程中注意指定压缩方法，不同语言...
GetLogsV2
查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志。（返回结果压缩后传输）。日志服务SDK目前仅支持Go、Java、Python三种语言，OpenAPI全部已支持。使用过程中注意指定压缩方法，不同语言实现的压缩...
Log转为Metric
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 功能入口。配置说明 重要 Logtail 1.7.1及以上版本支持processor_log_to_sls_metric插件。配置 type 为 processor_log_to_...
Flink消费
Flink Log Connector是日志服务提供的用于对接Flink的工具，支持对接开源Flink和实时计算Flink版。本文介绍如何对接Flink消费日志数据。前提条件 已创建Project和Logstore。具体操作，请参见 创建项目Project 和 创建Logstore。已创建RAM...
为数据加工任务开启监控告警
关联仪表盘 数据加工诊断>失败日志数总计 消除方法 请按照如下原则进行处理：请优先按照 数据加工异常报错监控 消除方法进行处理。如果没有任何报错信息，则进行下一步。如果告警无法处理，请准备Project、Logstore和数据加工任务ID信息，...
字符串替换
表单配置方式 原始日志："content":"10.10.239.16"Logtail插件处理配置：处理结果："content":"10.10.239.16","new_ip":"10.10.239.*/24",JSON配置方式 原始日志："content":"10.10.239.16"Logtail插件处理配置：{"processors":[{"type":...
错误处理
具体原则如下：由日志服务端返回的错误或者由SDK在向服务端发出请求时出现的网络错误将会被SDK处理并包装在统一的LogException类抛出给用户处理。由SDK自身产生的、与平台及语言相关的错误不会被SDK处理，而是直接抛出平台及语言的Native ...
提取字段
您在使用Logtail采集日志时，可以添加Logtail插件，通过正则模式、标定模式、CSV模式、单字符分隔符模式、多字符分隔符模式、键值对模式、Grok模式提取日志字段。本文介绍各个插件的参数说明和配置示例。使用限制 文本日志和容器标准输出只...
Logtail采集详情
本文介绍Logtail的采集过程，包括监听日志、读取日志、处理日志、过滤日志、聚合日志和发送日志。采集过程 Logtail采集数据的过程如下：监听日志 读取日志 处理日志 过滤日志 聚合日志 发送日志 说明 更多关于Logtail采集原理的介绍，请...
使用Lua插件
在一些代理中，比如Nginx和Envoy，Lua可以被嵌入用于处理请求和响应，并进行日志输出和其他定制化操作。本文中的Lua脚本用于在Envoy代理中处理请求和响应，并将请求和响应的头部和正文信息以日志的形式输出。使用限制 MSE云原生网关版本为1...
语法简介
函数分类 标准模式的SLS DSL是通过调用函数的方式完成的，其内置两百多个函数，主要分为两类：全局操作函数 主要用来接收日志、处理并返回日志的函数。且只有全局操作函数才能构建加工规则的每个步骤。表达式函数 通用型函数，接受特定参数...
通过Sidecar方式采集Kubernetes容器文本日志
如果没有正确配置时区，可能导致原始日志与处理日志的时间标签不匹配，进而将日志数据归档到错误的时间点。name:TZ value:"${timezone}"-name:ALIYUN_LOGTAIL_USER_ID value:"${your_aliyun_user_id}"-name:ALIYUN_LOGTAIL_USER_DEFINED_ID...
数据加工仪表盘
创建数据加工任务后，日志服务默认为每个加工任务创建一个仪表盘，您可以在仪表盘中查看数据加工任务运行指标。本文介绍加工任务运行指标详情及如何查看数据加工仪表盘。查看仪表盘 创建加工任务后，您可以在 数据加工概览 页面查看该任务...
日志主题（Topic）
例如系统A由前端HTTP请求处理模块、缓存模块、逻辑处理模块和存储模块组成，您可设置前端HTTP请求处理模块日志的Topic为http_module，缓存模块日志的Topic为cache_module、逻辑处理模块日志的Topic为logic_module和存储模块日志的Topic为...
SDK参考概述
日志服务Java SDK：使用GetLogs接口查询日志 使用Java SDK管理日志库Logstore 通过消费组消费数据 使用Aliyun Log Java Producer写入日志数据 日志服务Python SDK：使用GetLogs接口查询日志 使用Python SDK管理日志库Logstore 使用...
投递CDN实时日志到SLS来分析用户访问数据
日志分析 CDN实时日志打通了SLS日志服务的日志转存和日志分析能力，预制了CDN基础数据、CDN错误分析、CDN热门资源、CDN用户分析这四张常用分析报表，也支持自定义日志分析策略，可以一站式提供日志存储和日志分析能力，而离线日志目前只...
Tair配置参数列表
从您可以通过日志服务控制台下载审计日志（下载方法参见 下载审计日志），然后通过关键字过滤所需信息：type值为7：表示IP地址的QPS统计信息。type值为8：表示IP地址建连统计信息。type值为9：表示Key统计信息。type值为10：表示命令统计...
采集-搭建移动端日志直传服务
日志服务通过RAM/STS服务验证临时安全令牌合法性，并验证RAM角色是否具备访问目标日志库的权限，若通过校验，日志服务处理移动端应用的上传日志请求，并返回上传结果给移动端应用。操作步骤 步骤一：在日志服务中创建Project和Logstore ...
Flutter SDK快速入门
本文介绍如何快速使用日志服务Flutter SDK采集日志数据。前提条件 已安装日志服务Flutter SDK。具体操作，请参见 安装Flutter SDK。初始化 SDK 一般场景下，您可以参考以下代码进行初始化。若您需要配置 LogProducerConfiguration 类，例如...
Logtail发布历史
修复原生插件丢弃超时日志时区处理错误的问题 修复解析任意含有content key的JSON后，原生JSON插件总是错误保留原始content字段的问题 修复原生分隔符插件的内存泄露问题 修复因检查点转储早于目录注册导致的日志重复问题 修复飞天日志无法...
LiveTail
重要 如果您使用了Logtail插件处理文本日志或采集容器标准输出，则必须在Logtail插件配置中添加aggregators配置。更多信息，请参见 概述。背景信息 在线上运维的场景中，往往需要对日志队列中的日志进行实时监控，从最新的日志中提取出关键...
数据投递仪表盘
在 日志存储>日志库 页签中，依次展开目标Logstore下的 数据处理>导出>AnalyticDB，单击目标投递任务。在 统计报表 区域，查看仪表盘信息。仪表盘信息包括总览指标（读Logstore流量总计、投递成功行数总计和投递失败行数总计）、每秒投递行...
上下文查询
重要 如果您使用了Logtail插件处理文本日志或采集容器标准输出，则必须在Logtail插件配置中添加aggregators配置。更多信息，请参见 概述。已创建索引。具体操作，请参见 创建索引。背景信息 日志上下文查询是指定日志来源（机器+文件）和...
日志类型
日志服务提供的服务日志功能可记录多种日志类型，本文介绍各种日志类型及不同日志类型的日志字段。日志类型 开启服务日志功能时，您可以选择服务日志的类型，具体说明如下表所示。重要 为保证您自定义查询语句的兼容性，建议您在查询语句中...
管理OSS投递任务（新版）
处理速率（events/s）每秒处理的日志条数。进度落后 展示该Logstore下每个Shard的延时信息。运行异常 展示OSS投递任务运行过程中的异常信息。您可以在目标Project的internal-diagnostic_log Logstore中，通过关键词ERROR或者WARN查看完整的...
Android SDK快速入门
本文介绍如何快速使用日志服务Android SDK采集日志。前提条件 已安装Android SDK。具体操作，请参见 安装Android SDK。快速使用 您可以按照以下方式初始化SDK，并通过调用 addLog 方法上报日志。重要 SDK支持初始化多个实例，...
iOS SDK快速入门
本文介绍如何快速使用日志服务iOS SDK采集日志数据。前提条件 已安装iOS SDK。具体操作，请参见 安装iOS SDK。快速使用 您可以按照以下方式对SDK进行初始化，并同调用 addLog 方法上报日志。重要 iOS SDK支持初始化多个实例，...
新功能发布记录
2022-10-24 全部地域 表单配置方式 aggregator_context插件 日志服务 新增日志上下文聚合插件，用于处理日志。2022-10-24 全部地域 aggregators配置 扫描（Scan）日志 日志服务 扫描功能支持免配置索引进行目标字段的扫描，用于查询相关...
管理MaxCompute投递任务（新版）
处理速率（events/s）每秒处理的日志条数。进度落后 展示该Logstore下每个Shard的延时信息。运行异常 展示MaxCompute投递任务运行过程中的异常信息。您可以在目标Project的internal-diagnostic_log Logstore中，通过关键词ERROR或者WARN...
提取字符串动态键值对
e_kv_delimit("content",pair_sep="|",kv_sep="eat")加工结果（推荐）处理后日志为：content:rats eat rice,oil|chicks eat bugs,rice|kittens eat fish,mice|kittens:fish,mice chicks:bugs,rice rats:rice,oil 加工规则（不推荐）使用 e_...
工作原理
针对文本的自动化、智能化分析应该具备以下特征：可以高效地处理海量日志。可以定位日志中的异常情况，或者缩小需要排查的异常范围。提供可配置的参数使用户可以根据业务需求对日志文本分析进行定制化配置。针对上述特征，日志服务推出文本...
查询和分析JSON日志的常见问题
日志样例 本文中介绍的各个案例是基于如下JSON格式的订单处理系统日志。request 字段为订单请求信息，JSON格式。一个请求中包含一个用户的多个订单，订单中包含购买的商品和支付总价。response 字段为订单处理结果。请求成功时，response ...
复杂JSON数据加工
e_if(e_search("_topic_=client_status"),e_compose(e_split("clients"),e_json("clients",depth=1),e_drop_fields("clients")))处理后的日志为如下两个日志：_topic_:client_status host:192.0.2.3 status:green_topic_:clients host:192....
查询语法
日志服务提供一套查询语法，用于指定日志查询时的过滤规则，从而筛选日志中满足条件的记录，筛选结果可以用于分析语句，进行更复杂的分析处理。查询语法 重要 日志服务查询语句和分析语句（SELECT语句）以竖线（|）分割。基础语法：查询...
日志服务采集数据常见的错误类型
DROP_LOG_ALARM 日志采集进度落后于日志产生进度，且未处理的日志轮转超过20个，一般是由于配置Logtail使用的CPU资源不够或是网络发送流控导致。修改CPU使用上限或网络发送并发限制。更多信息，请参见 设置Logtail启动参数。LOGDIR_...
通用参考
SPL语句*|where METHOD like 'Post%' 输入数据 Method:'PostLogstoreLogs' 输出结果 Method:'PostLogstoreLogs' 字段名称冲突处理 在日志上传或者SPL运行期间，基于大小写敏感的处理可能会涉及字段名的冲突，如原始日志中同时存在Method和...
通过Java SDK使用SQL独享版
处理的日志行数。System.out.println("proccesedRows:"+logsResponse.getProcessedRow());SQL分析执行的时长。System.out.println("elapsedMilli:"+logsResponse.getElapsedMilliSecond());开启SQL独享版后，执行SQL分析所花费的CPU时间，...
- 产品推荐
- 这些文档可能帮助您