事件审计
全局事务服务（Global Transaction Service，简称 GTS）已与阿里云ActionTrail 集成，您可以在ActionTrail中查看和检索用户行为日志，同时通过ActrionTrail将日志投递到日志服务LogStore或指定的OSS Bucket中，满足实时审计、问题回溯分析...
Flink Python参考
使用JAR包 如果您的Flink Python作业中使用了Java类，例如作业中使用了Connector或者Java自定义函数时，则需要指定Connector或者Java自定义函数所在的JAR包，详情请参见 JAR Dependencies。使用数据文件 如果您的Flink Python作业中需要...
日志主题（Topic）
日志主题（Topic）是日志服务的基础管理单元。...如果不需要区分Logstore中的日志，则在采集日志时设置Topic为 空-不生成Topic 即可。空字符串是一个有效的Topic，即Topic的值为空字符串。Logstore、Topic、Shard之间的关系如下：
创建PYTHON计算任务
若您需要在Python中引入上传的资源文件。请参见 上传资源及引用。单击页面右上角的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行配置、...
概述
实时计算Flink版支持在Flink SQL作业中使用Python自定义函数，本文为您介绍Flink Python自定义函数的分类、Python依赖使用方法和能调优方式。自定义函数分类 分类 描述 UDSF（User Defined Scalar Function）用户自定义标量值函数，将0个、...
Logtail常见问题
如何实现文件中的日志被采集多份 使用CloudLens排查文件、目录数超限问题（STAT_LIMIT_ALARM、DIR_EXCEED_LIMIT_ALARM）使用CloudLens排查iLogtail文件重复配置问题（MULTI_CONFIG_MATCH_ALARM）使用CloudLens排查iLogtail采集配置错误问题...
开启日志采集功能
新开通CloudLens for SLS，全局日志 存储在名称为 log-service-{阿里云主账号ID}-{region} 的Project中，其中 region 是用户开通 CloudLens for SLS 时选择的 全局日志存储地域。运行日志 存储在名称为 log-service-{阿里云主账号ID}-{...
使用Python依赖
您可以在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等，本文为您介绍如何在Python作业中使用这些依赖。背景信息 本文通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三...
数据模型
所以，如果不需要使用日志主题，最简单的方式就是在写入和查询日志时都使用默认日志主题，即空字符串。实际使用场景中，日志的格式多样。为了帮助理解，以下以一条Nginx原始访问日志如何映射到日志服务中日志数据模型为例说明。假设用户...
在函数中配置官方公共层
scipy=1.9.0 numpy=1.23.2 README.md Python36-SciPy1x Python 3.6 Custom 一款开源的科学计算库 scipy-1.5.4 numpy-1.19.5 README.md Python39-PyTorch1x Python 3.9 Custom Custom.Debian10 一款开源机器学习框架（CPU版）torch=1.12.1+...
高级功能：全局变量
在SQL脚本组件中使用全局变量。在线运行工作流，查看结果。配置离线调度，使用全局变量。说明 以下仅介绍简单步骤，详细操作步骤请参见 使用DataWorks离线调度Designer工作流。进入离线调度页面。进入离线调度页面时，系统会提示配置同名...
如何在查询和分析语句中使用引号？
双引号（""）当字段名或字段值中存在特殊字符（空格、中文等）、语法关键词（and、or等）等内容时，需要使用双引号（""）包裹。被双引号（""）包裹的字符表示字段名、表名等专有名词。当字段名、表名等专有名词中存在特殊字符（空格、中文...
在函数中配置官方公共层
scipy=1.9.0 numpy=1.23.2 README.md Python36-SciPy1x Python 3.6 Custom 一款开源的科学计算库 scipy-1.5.4 numpy-1.19.5 README.md Python39-PyTorch1x Python 3.9 Custom Custom.Debian10 一款开源机器学习框架（CPU版）torch=1.12.1+...
使用CloudLens for SLS对日志服务进行全面观测
开启CloudLens for SLS后，日志服务默认采集 全局日志（审计日志、错误日志、监控指标）以及 运行日志（原实例日志中的重要日志和作业运行日志），以上日志均免费。新开通CloudLens for SLS，全局日志 存储在名称为 log-service-{阿里云主...
时间格式
您在使用Logtail采集日志时，需要根据原始日志的时间字符串配置时间格式，Logtail会提取原始日志中的时间字符串并解析为Unix时间戳。本文介绍常见的时间格式及示例。常见日志时间格式 Logtail支持的常见日志时间格式如下表所示。说明 默认...
工作原理
因此，在人工分析时需要一定的专业知识，才能高效地定位到日志中的异常情况。针对以上日志分析的困难情况，如果可以针对日志内容提供自动化、智能化的分析，辅助人工定位日志中的异常，那么一方面可以进一步挖掘日志中的价值，另一方面也...
教程简介
创建实例 使用全局流量管理时，首先要为应用服务创建全局流量管理实例，包括：CNAME接入域名，访问策略个数、地址池个数、运行状态、到期时间等信息。2.云资源访问授权 首次使用全局流量管理，需要同意云资源访问授权，授权后全局流量管理...
项目（Project）
在实际使用中，您可能需要使用日志服务采集及存储不同项目、产品或者环境的日志。您可以把不同项目、产品或者环境中的日志分类管理在不同Project中，便于后续的日志消费、导出或者分析。用于访问控制隔离。您可以为RAM用户授予指定Project...
简介
日志服务支持将日志投递到SIEM，以确保阿里云上的所有法规、审计与其他相关日志能够导入到您的安全运维中心（SOC）中。名词解释 SIEM：安全信息与事件管理系统（Security Information and Event Management），如Splunk，IBM QRadar等。...
使用Cloud Toolkit
操作步骤 以IntelliJ IDEA为例，介绍Alibaba Cloud Toolkit中日志服务的使用方法。更多信息，请参见 Alibaba Cloud Toolkit使用指引。打开IntelliJ IDEA。在IntelliJ IDEA顶部菜单栏，选择 Tools>Alibaba Cloud>Preferences.在 Setting ...
如何获取Nacos-Client的日志？
Python Nacos-Client Python语言的Nacos-Client使用Python的Logging模块，会和应用的Logging模块保持一致并输出到应用的日志中。C++ Nacos-Client C++语言的Nacos-Client的日志默认在应用所在目录下，文件名为 nacos-sdk-cpp.log,可通过 ...
复制Logstore数据
如果您需要将Logstore中的日志数据保存多份，可以使用数据加工功能复制Logstore数据。本文介绍复制Logstore数据的使用场景和操作步骤。使用场景 某公司访问日志被采集存储在同一阿里云账号中的多个Project。现有需求将 project-a 中 ...
JSON解析
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始字段 解析日志前，用于存放日志内容的原始字段，默认值为content。解析失败时保留原始字段 ...
CSV格式
请尽量避免日志中使用同名字段。分隔符 用于分割不同的日志字段。支持半角逗号（,）、竖线（|）、空格和制表符。转义符 当字段内出现分隔符时，需要使用转义符包裹该字段，避免读数据时造成字段错误分割。无效字段内容 当 CSV字段 中指定的...
运行设置
如果您不需要开启Shell和Python模板任务全局共享资源开关，可以手动切换为关闭，也可以一键 恢复默认值。单击 保存，即可开启全局共享资源的开关。重要 每次修改配置前已经生成的运行实例不受影响。后续步骤 开启共享资源开关后，您就可以...
采集标准Docker容器日志
说明 采集Docker文本日志时，您也需要选择合适的采集模式（例如极简模式、极简模式-多行、完整正则模式、JSON模式、分隔符模式、Nginx模式等），Logtail会根据您所选择的采集模式解析日志。例如您要采集多行日志，可选择极简模式-多行或...
重建索引
当您需要对历史数据配置索引或修改索引时，可以使用重建索引功能。日志服务支持在选定的时间段中按照最新的索引规则为Logstore重建索引。本文介绍如何在日志服务控制台上重建索引及相关信息。前提条件 已开启索引。具体操作，请参见 创建...
全局参数
在使用日志服务CLI工具执行命令时，不需要每次都输入全局参数。日志服务CLI默认使用全局参数进行请求处理。本文介绍日志服务CLI的常用全局参数。参数名称 数值类型 是否必选 示例值 描述-access-id String 否 LTAI4G243ui*pLMZ 阿里云访问...
打印函数日志
日志格式 建议您打印的日志中包含请求ID，方便日后诊断问题。推荐日志格式为$utcdatetime(yyyy-MM-ddTHH:mm:ss.fff)$requestId[$Level]$message，例如 2023-10-23 15:43:19 1-65362416-68afb557d64a2e283eccebce[info]hello world。函数...
打印函数日志
日志格式 建议您打印的日志中包含请求ID，方便日后诊断问题。推荐日志格式为$utcdatetime(yyyy-MM-ddTHH:mm:ss.fff)$requestId[$Level]$message，例如 2023-10-23 15:43:19 1-65362416-68afb557d64a2e283eccebce[info]hello world。函数...
通过JDBC协议分析日志
日志服务支持您在数据库（例如MySQL）中使用JDBC协议连接日志服务，并通过标准的SQL92语法查询和分析日志。前提条件 已创建阿里云账号或RAM用户的AccessKey。具体操作，请参见 访问密钥。如果使用RAM用户的AccessKey，则RAM用户必须是当前...
Python脚本
注意 不支持使用Python代码修改已配置的节点变量、局部变量和全局变量的值。在脚本中，可使用平台已内置的以下节点变量，调用需要的数据：payload，来自上个节点的输出数据。通过 payload.get('payload对象中的某个key')来访问指定key的...
列的别名
如果您在采集日志时设置了不符合SQL92语法的列名，则需要在配置索引时为目标列名设置一个别名。如何配置索引，请参见 配置索引。当日志中的原始列名特别长时，您也可以设置一个简短的别名，用于SQL分析。注意 别名仅仅用于SQL分析，底层的...
云资源访问授权
首次使用全局流量管理，需要服务关联角色授权，授权后全局流量管理产品将拥有对您 云监控产品报警通知组 的访问权限。注意：一个账号只需授权1次即可，如已完成授权操作，可以忽略此步骤
云资源访问授权
首次使用全局流量管理，需要服务关联角色授权，授权后全局流量管理产品将拥有对您 云监控产品报警通知组 的访问权限。注意：一个账号只需授权1次即可，如已完成授权操作，可以忽略此步骤。
日志字段详情
AccessKeyId 访问日志服务时使用的访问密钥。CallerType 访问用户的类型。ClientIp 客户端IP地址。Config Logtail采集配置。ConsumerGroup 操作的消费组名称。Dashboard 操作的仪表盘ID。ErrorCode 错误码。ErrorMsg 错误信息。InvokerUid ...
其他配置
云安全中心支持在其他配置中设置全局日志过滤、安全管控和访问控制功能。本文介绍其他配置支持的功能及如何配置相应功能。全局日志过滤 云安全中心提供全局日志过滤能力，在保障安全效果防护的同时，有效使用日志存储空间，提升您的运营...
UDAF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDAF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDAF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDAF为用户自定义聚合函数，适用于多进一出业务...
UDF开发（Python3）
Python 2 UDF迁移 Python 2官方已于2020年初停止维护，建议您根据项目类型执行迁移操作：全新项目：新MaxCompute项目，或第一次使用Python语言编写UDF的MaxCompute项目。建议所有的Python UDF都直接使用Python 3语言编写。存量项目：创建了...
使用全局二级索引时的注意事项
本文汇总了在使用全局二级索引时的相关注意事项。创建GSI时的注意事项 不支持在MySQL 5.6版本的RDS上创建GSI。不支持在单表或广播表上创建GSI。不支持在无主键的表上创建GSI。不支持在UNIQUE GSI中通过任何方式使用前缀索引。创建索引表时...
- 产品推荐
- 这些文档可能帮助您