通过消费组消费日志
本文通过Python代码介绍如何使用消费组消费日志。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作，请参见 在...
SPL概述
本文介绍 日志服务 SPL语言的基本信息，包括工作原理、语法、指令表达式等。工作原理 日志服务SPL支持在实时消费、扫描查询和Logtail采集三个日志服务场景中使用，工作原理如下图：关于SPL在各个场景中的功能定义，请参见 SPL在不同场景的...
使用Python依赖
背景信息 本文通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三方Python包 使用JAR包 使用数据文件 使用自定义的Python虚拟环境 说明 VVR 4.x仅支持3.7版本的Python虚拟环境，VVR 6.x及以上的版本无此限制，...
新功能发布记录
本文介绍日志服务每次发布涉及的功能变更及对应的文档，帮助您了解日志服务的发布动态。2024年3月 功能名称 功能描述 支持地域 相关文档 字段分析 SLS（Simple Log Service）具备字段分析功能，专注于对text、long和double类型字段的统计...
日志开启
为方便追查问题，Python SDK提供了日志记录功能，该功能默认处于关闭状态。说明 开启Python SDK日志记录功能需要Python SDK 2.6.x以上版本。背景信息 Python SDK日志记录功能可以收集定位各类OSS操作的日志信息，并以日志文件的形式存储在...
GetLogsV2
查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志。（返回结果压缩后传输）。日志服务SDK目前仅支持Go、Java、Python三种语言，OpenAPI全部已支持。使用过程中注意指定压缩方法，不同语言实现的压缩...
get_logs
调用CLI命令查询指定Project下某个Logstore中的日志。该命令适用于精确查询场景。在使用该命令时，您需要构造...日志服务提供Java和Python SDK的GetLogs查询使用示例。更多信息，请参见 使用GetLogs接口查询日志 和 使用GetLogs接口查询日志。
语言简介
日志服务语言SLS DSL（Domain Specific Language）是日志服务数据加工使用的与Python兼容的脚本。SLS DSL基于Python语言开发，提供两百多个内置函数来简化数据加工任务。自由编排 通过SLS DSL自由编辑函数，对各种逻辑进行复杂组合，可以...
GetLogsV2-查询Logstore中的日志数据
接口说明 日志服务 SDK 目前仅支持 Go、Java、Python 三种语言，OpenAPI 全部已支持。使用过程中注意指定压缩方法，不同语言实现的压缩算法不同，详情参考入参 Accept-Encoding。更多相关说明请参见 GetLogs。鉴权资源 下表列出了 API 对应...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
基于SPL的Kafka消费
本文介绍如何在Kafka消费中使用日志服务SPL语句。原理 在虚拟Topic中添加SPL语句后，当Kafka消费兼容接口接收到虚拟Topic时，会使用虚拟Topic中已添加的SPL语句处理数据，最终KafkaConsumer获取经过SPL处理过的数据。kafkaConsumer->[虚拟...
API简介
阿里云日志服务（Log Service，简称SLS）提供数据的采集、加工、查询与分析、可视化、告警、消费与投递等功能。如果您熟悉网络服务协议和一种以上编程语言，您可以通过API接口管理您的数据资源。使用限制 您能创建的Project、Logstore、...
其他子产品SDK参考文档
Java SDK使用说明 Python SDK使用说明 Golang SDK使用说明 使用EAS Python SDK部署模型 介绍如何使用Python SDK代码部署及调用EAS在线服务。场景化解决方案SDK文档入口链接 多媒体分析：Python SDK使用说明 该文档介绍多媒体分析Python SDK...
Paho-MQTT Python接入示例
本文介绍如何调用Python语言的Paho MQTT类库，将设备接入阿里云物联网平台并进行消息收发。前提条件 已在 物联网平台控制台，对应实例下，创建产品和设备，并获取 MQTT接入域名和 设备证书信息（ProductKey、DeviceName和DeviceSecret）。...
Kafka消费概述
Kafka-Go实现Kafka消费 使用Franz-Kafka-Go实现Kafka的消费 使用Sarama-Kafka-Go实现Kafka消费 使用Confluent-Kafka-Python实现Kafka消费 使用Confluent-Kafka-C#实现Kafka消费 消费字段格式说明 场景1：如果Logstore的日志中只有一个内容...
使用GetLogs接口查询日志
完成日志采集后，您可以调用GetLogs接口查询采集到的日志。本文介绍GetLogs接口示例。前提条件 已完成日志采集。具体操作，请参见 日志采集。已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_...
字段值提取函数
e_json("data",fmt='{parent_rlist[0]}-{parent_rlist[1]}#{current}')得到的日志：data:{"k1":100,"k2":{"k3":200,"k4":{"k5":300}}} k2-data#k3:200 k4-k2#k5:300 返回结果 返回附带新字段值的日志。函数示例 示例1：字段展开操作。原始...
Syslog日志解析
本视频向您展示数据加工非结构化数据Syslog日志解析实践。icmsDocProps={'productMethod':'created','language':'zh-CN',};
开发ODPS Spark任务
准备工作 ODPS Spark节点支持使用 Java/Scala 和 Python 语言运行MaxCompute Spark离线作业，不同语言开发步骤及配置界面存在差异，您可根据业务需要选择使用。Java/Scala 在ODPS Spark节点执行Java或Scala语言类型代码前，您需先在本地...
开发ODPS Spark任务
准备工作 ODPS Spark节点支持使用 Java/Scala 和 Python 语言运行MaxCompute Spark离线作业，不同语言开发步骤及配置界面存在差异，您可根据业务需要选择使用。Java/Scala 在ODPS Spark节点执行Java或Scala语言类型代码前，您需先在本地...
语法简介
SLS DSL基于Python语言开发，提供两百多个内置函数来简化数据加工任务。本文介绍DSL的语言模式、分类和运行原理等。语言模式 SLS DSL兼容Python，标准模式下，SLS DSL可视为Python的子集。除基本的数据结构与表达方式外，语法规则是以函数...
GetLogs
调用GetLogs接口查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志。接口说明 说明 日志服务支持创建定时SQL任务。具体操作，请参见 创建定时SQL任务。请求语法中Host由Project名称和日志服务Endpoint...
代码开发概述
本文列举 函数计算 支持的多语言运行时信息。背景信息 运行时提供针对不同语言在执行环境中运行的环境。运行时作为 函数计算 和您的函数之间的接力员，传递函数调用的事件（event）、上下文信息（context）和响应。您可以使用 函数计算 ...
实时消费概述
多语言应用 多语言应用（SLS消费协议）Java、Python、Go等语言的应用作为消费者或消费组消费日志服务的数据。具体操作，请参见 普通消费 和 通过消费组消费数据。云产品 函数计算 您可以通过函数计算实时消费日志服务的数据。具体操作，请...
GetLogs-查询日志库日志
查询指定Project下某个Logstore中的日志数据。接口说明 说明 日志服务支持创建定时 SQL 任务。具体操作，请参见 创建定时 SQL 任务。请求语法中 Host 由 Project 名称和日志服务 Endpoint 构成，您需要在 Host 中指定 Project。当查询涉及...
环境说明
本文介绍在 函数计算 中使用Python语言编写函数的运行环境信息。Python运行时 函数计算 目前支持的Python运行时环境如下。版本 标识符 操作系统 架构 Python 3.10 python3.10 Debian 10 x86_64 Python 3.9 python3.9 Debian 9 x86_64 ...
通过Syslog投递日志到SIEM
Syslog是一个常见的日志通道，几乎所有的SIEM（例如IBM Qradar,HP Arcsight）都支持通过Syslog渠道接收日志。本文主要介绍如何通过Syslog将日志服务中的日志投递到SIEM。背景信息 Syslog主要是基于RFC5424和RFC3164定义相关格式规范，RFC...
环境说明
本文介绍在 函数计算 中使用Python语言编写函数的运行环境信息。Python运行时 函数计算 目前支持的Python运行时环境如下。版本 标识符 操作系统 架构 Python 3.10（公测中）python3.10 Debian 10 x86_64 Python 3.9 python3.9 Debian 9 x86...
迁移Elasticsearch查询方案到日志服务
日志服务提供Elasticsearch兼容接口，支持您将日志采集到日志服务后，仍可以沿用Elasticsearch的查询方案。重要 本文档为阿里云原创文档，知识产权归阿里云所有，由于本文档旨在介绍阿里云与第三方产品交互的服务能力，因此可能会提及第三...
Cloud Shell概述
阿里云云命令行Cloud Shell已经集成日志服务CLI，您无需部署配置，可以直接通过Cloud Shell管理日志服务资源和下载日志服务数据。什么是Cloud Shell？Cloud Shell允许您通过命令行管理阿里云资源。通过浏览器启动Cloud Shell时，Cloud ...
管理日志存储空间
开通云防火墙日志分析后，云防火墙将根据您所选择的日志存储规格分配日志存储空间。本文介绍如何在云防火墙控制台上管理日志存储空间，包括查看、升级及清空存储空间。前提条件 已开通云防火墙日志分析服务。具体操作，请参见 开通日志分析...
概述
实时计算Flink版支持在Flink SQL作业中使用Python自定义函数，本文为您介绍Flink Python自定义函数的分类、Python依赖使用方法和能调优方式。自定义函数分类 分类 描述 UDSF（User Defined Scalar Function）用户自定义标量值函数，将0个、...
配置
使用SDK与日志服务的服务器端进行交互时需要指定一些基本配置，本文介绍SDK的基本配置信息。目前，所有语言的SDK都定义了一个Client类作为入口类，这些基本配置信息需在该入口类构造时指定。具体包括如下几项：服务入口（Endpoint）：确认...
接入Trace数据概述
日志服务支持OpenTelemetry Trace数据的原生接入，还支持通过其他Trace系统接入Trace数据。本文介绍日志服务所支持的Trace数据接入方案。接入方案总览 日志服务支持如下接入方案。使用OpenTelemetry、Jaeger（目前仅支持https、grpc方式）...
采集-多渠道数据
为不同数据源产生的日志创建日志库，例如：wechat-server（存储微信服务器访问日志）wechat-app（存储微信服务器应用日志）wechat-error（错误日志）alipay-server alipay-app deliver-app（送货员App状态）deliver-error（错误日志）web-...
Flink Python作业快速入门
前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间，详情请参见 开通实时计算Flink版。步骤一：下载Python测试文件 本文为您提供了测试Python文件和输入数据...
Python SDK
本文介绍安装云网管Python SDK及使用Python SDK完成常见操作的相关步骤。前提条件 已开通云网管。更多信息，请参见 开通使用云网管。已创建并获取AccessKey。更多信息，请参见 访问密钥。已安装Python开发环境。云网管Python SDK支持Python...
使用WebIDE打包函数第三方依赖
WebIDE支持终端的实例环境和线上 函数计算 执行环境相同。基于WebIDE实例的终端可以完成和 函数计算 运行环境无平台...如果您使用自定义运行时，且使用的语言为主流编译型语言，例如Java和Golang，则需使用WebIDE提供的SDK来完成编译打包。
使用WebIDE打包函数第三方依赖
WebIDE支持终端的实例环境和线上函数计算执行环境相同。基于WebIDE实例的终端可以完成和函数计算运行环境无平台差异的...如果您使用自定义运行时，且使用的语言为主流编译型语言，例如Java和Golang，则需使用WebIDE提供的SDK来完成编译打包。
- 产品推荐
- 这些文档可能帮助您