Dataphin输出数据源为MySQL，为什么管道任务日志中...
概述 本文主要介绍输出数据源为MySQL，管道任务日志中写入条数远大于数据库中对表 count(1)数目的原因。详细信息 在执行管道任务时，检查运行日志发现写入条数和数据库中表的 count(1)条数对不上，管道任务日志写入条数远大于数据库中表的 ...
事件操作函数
e_if(e_match("k2",r"\w+"),e_output(name="target2",source="source1",topic="topic1"))e_drop()加工结果_topic_:topic1 k1:v1 k2:v2 x1:v3 x5:v4 示例2：基于日志中 db_version 字段的值计算Hash，并根据此Hash值将日志固定输出到存储...
使用数据实验室
在 首页 页面中，单击 数据库审计日志 中的 初始化。调整日志字段值、时间范围等配置。在 日志字段 页签中，包括字段名称、字段数据类型、字段随机参数和字段值等信息，您可以根据需求，调整字段随机参数和字段值。在 范围频率 页签中，可...
Data Explorer案例
示例4 在RDS数据库审计日志中，统计执行频率Top 10的SQL语句及其执行次数，并统计每个SQL语句同比昨天的执行次数的变化情况。Data Explorer配置 查询和分析语句|select"sql",diff[1]as current_value,diff[2]as previous_value,(diff[1]-...
RDS SQL Server如何收缩事务日志
SET RECOVERY SIMPLE 系统会将恢复模式重置为FULL，不会实际修改数据库恢复模式为SIMPLE，但数据库日志链会断开，并返回如下报错信息：Msg 50000,Level 16,State 1,Procedure*,Line 46 Login User[Test11]can't change database[TestDb]...
云监控消费
云监控可以直接消费Logstore中日志数据，提供日志监控功能。通过将日志服务与云监控结合，形成了轻量级、全面、易用的日志监控解决方案。简单、易用，相比传统ELK方案，零编码即可享有完整监控解决方案。提供日志数据实时分析、监控图表...
跨Project监控数据
授权后，日志服务将创建名称为 AliyunSLSAlertMonitorRole 的RAM角色，日志服务将扮演此角色以读取源日志库中的数据。自定义角色授权（同账号）对同一个阿里云账号下的不同日志库和时序库进行告警监控时，您可以通过 自定义角色 实现协同告...
使用资源函数增量获取数据
资源信息与数据示例 日志服务资源 Project：client-project 源Logstore：client-log 数据样例如下所示：目标Logstore：client-information RDS资源 数据库：client-db 数据库表：client 数据样例如下所示：数据库用户名和密码：test/test...
日志聚合多维指标智能巡检
源日志库 当 日志库类型 设置为 日志库 时，需设置 源日志库，设置为您的源数据所在的日志库。时序库 当 日志库类型 设置为 时序库 时，需设置 时序库，设置为您的源数据所在的时序库。角色 如果您在创建实例时已完成了授权，则此处自动...
多维指标智能巡检
源日志库 当 日志库类型 设置为 日志库 时，需设置 源日志库，设置为您的源数据所在的日志库。时序库 当 日志库类型 设置为 时序库 时，需设置 时序库，设置为您的源数据所在的时序库。角色 如果您在创建实例时已完成了授权，则此处自动...
创建作业
源日志库 当 日志库类型 设置为 日志库 时，需选择目标源日志库，即设置为您的多维指标数据所在的日志库。时序库 当 日志库类型 设置为 时序库 时，需选择目标时序库，即设置为您的多维指标数据所在的时序库。时间 源数据中表示时间列的...
常见问题
例如执行SQL分析的权限，读取日志库数据的权限。确保已提供足够的计算资源。资源限制说明请参见 查询与分析的使用限制。避免使用逻辑过于复杂的SQL语句以及SQL时间窗口设置过大，否则将导致计算超时（服务端超时时间为10分钟）。通过定时...
日志查询常见问题
例如，统计日志中不同hostname出现的次数。说明 已配置_tag_:_hostname_的字段索引并开启统计功能。select"_tag_:_hostname_",count(1)as count group by"_tag_:_hostname_"如何在日志数据中搜索IP地址？在日志数据中搜索IP地址，支持完全...
函数总览
当同时传入多个字段名时，返回日志中第一个存在的字段的值。e_set 添加新字段或为现有字段设置新的字段值。e_drop_fields 删除符合条件的日志字段。e_keep_fields 保留符合条件的日志字段。e_pack_fields 打包日志字段，并输出到新的字段中...
查询概述
日志服务支持秒级查询十亿到千亿级别的日志数据。基本语法 查询语句和分析语句以竖线（|）分割。查询语句的语法为日志服务专有语法，更多信息，请参见 查询语法。重要 查询语句可单独使用，分析语句必须与查询语句一起使用。即分析功能是...
通过SQL聚合指标数据进行智能巡检
源日志库 当 日志库类型 设置为 日志库 时，需设置 源日志库，设置为您的源数据所在的日志库。时序库 当 日志库类型 设置为 时序库 时，需设置 时序库，设置为您的源数据所在的时序库。角色 如果您在创建实例时已完成了授权，则此处自动...
从RDS MySQL数据库获取数据进行数据富化
日志服务数据加工功能支持从阿里云RDS MySQL数据库获取数据，结合数据加工规则，进行数据富化。背景信息 在数据存储场景中，您可能经常遇到数据分散存储的问题，例如用户操作、行为等相关数据存储在日志服务中，用户属性、注册信息等相关...
创建时序预测作业
源日志库 当 日志库类型 设置为 日志库 时，需设置 源日志库，设置为您的源数据所在的日志库。时序库 当 日志库类型 设置为 时序库 时，需设置 时序库，设置为您的源数据所在的时序库。角色 如果您在创建实例时已完成了授权，则此处自动...
日志服务控制台无法采集到数据
fromhost-ip%为该条日志的对应的机器IP，如果日志中的该字段是 127.0.0.1，最终发往服务端的日志数据中该字段会被替换成TCP socket的对端地址。hostname%～%msgid%为用户自定义字段，中括号表示是可选字段。msg:drop-last-lf%为日志消息...
关联Logstore与MySQL数据库进行查询分析
指定日志中的 userid 字段和数据库表中的 uid 字段关联Logstore和MySQL数据库。分析活跃用户的性别分布。select case gender when 1 then '男性' else '女性' end as gender,count(1)as pv from log l join sls_join_meta_store u on l....
资源函数
base_retry_back_off=1,max_retry_back_off=60,primary_keys=None,use_ssl=false,update_time_key=None,deleted_flag_key=None)说明 日志服务还支持通过res_rds_mysql函数从AnalyticDB MySQL数据库、PolarDB MySQL数据库拉取数据，您只需将...
导入MySQL数据
您可以将自建MySQL数据库或RDS MySQL数据库中的数据导入到日志服务，实现数据的查询分析、加工等操作。本文介绍导入MySQL数据的操作步骤。使用限制 目前仅支持：华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3...
配置数据库审计实例
购买并启用数据库审计实例后，您可以在云盾数据库审计管理控制台管理您的数据库审计实例。本文介绍如何为数据库实例配置白名单、管理存储容量、升级和续费。前提条件 已启用数据库审计实例。具体操作，请参见 启用数据库审计实例。操作步骤...
转换IP地址
您在使用Logtail采集日志时，可以使用processor_geoip插件将日志中的IP地址转换为地理位置（国家、省份、城市、经纬度）。本文介绍processor_geoip插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON...
开启或关闭日志服务
按量付费实例 警告 关闭日志服务，将导致日志服务自动创建的WAF专属日志库（Logstore）以及日志库中记录的日志数据被清除。请确认不再使用日志服务后，再进行该操作。登录 Web应用防火墙3.0控制台。在顶部菜单栏，选择WAF实例的资源组和...
PolarDB云原生数据库
owner_id 阿里云账号ID region PolarDB MySQL集群所在地域 cluster_id PolarDB MySQL集群ID node_id PolarDB MySQL节点ID db_type PolarDB数据库类型 db_name PolarDB数据库名 version PolarDB数据库版本号 rows_examined 扫描的行数 rows_...
日志（Log）
格式 文本日志（LogFile）、事件（Event）、数据库日志（BinLog）、时序数据（Metric）等数据都是日志的不同载体。日志服务采用半结构化的数据模式定义一条日志，包含日志主题、日志时间、日志内容、日志来源和日志标签五个数据域。日志...
数据模型
日志库（Logstore）日志库是日志服务中日志数据的收集、存储和消费单元。每个日志库隶属于一个项目，每个项目可以创建多个日志库。您可以根据实际需求为某一个项目生成多个日志库，其中常见的做法是为一个应用中的每类日志创建一个独立的...
开通审计日志
云数据库MongoDB将日志服务的部分功能融合到审计日志中，为您带来更加稳定、易用、灵活且高效的云MongoDB审计日志服务。前提条件 实例规格类型为 通用型本地盘版 和 独享型本地盘版。如果使用RAM用户开通审计日志，需要授予RAM用户 ...
云数据库RDS
owner_id 阿里云账号ID region RDS实例所在地域 instance_name RDS实例名 instance_id RDS实例ID db_type 数据库类型 db_version 数据库引擎版本 check_rows 扫描的行数 db 数据库名 fail SQL执行是否出错。其中，0表示成功，除0之外的其他...
新功能发布记录
2022-09-14 全部地域 过滤日志 2022年8月 功能名称 功能描述 发布时间 支持地域 相关文档 导入MySQL Binlog 您可以将自建MySQL数据库或RDS MySQL数据库中的Binlog导入到 日志服务，实现数据的查询分析、加工等操作。2022-08-23 部分地域 ...
通过消费组读取文本日志进行模板匹配
通识字段模板 在文本分析作业对日志进行预处理时，日志相似聚类算法会使用模板表达式匹配日志中的文本内容并将其替换为模板名称，有助于提高分析的准确性。例如 模板名称 为 IP，模板表达式 为(?[^A-Za-z0-9])|^)(\d{1,3}\.\d{1,3}\.\d{1,3...
Java SDK快速入门
为了提高您系统的IO效率，请尽量不要直接使用该方式往日志服务中写数据，此方式仅为功能举例。在大数据、高并发场景下建议使用Aliyun Log Java Producer方式写入日志数据。throws LogException*@throws InterruptedException*/static void ...
设置告警
PolarDB MySQL审计日志中 fail 字段的值大于0，表示一次错误。参数配置 告警名称：告警名称。行动策略：当前告警监控规则所绑定的行动策略，日志服务将通过该行动策略给指定用户发送告警通知。默认为 sls.app.polardb.builtin（SLS PolarDB...
使用前须知
日志服务和数据库Redis联合推出日志审计功能，将日志服务的部分功能融合到Redis的审计日志、慢日志、运行日志中，实现日志实时查询、可视化分析、告警、投递、加工等功能。本文介绍Redis日志相关的资源说明、费用说明及使用限制。资源说明 ...
算法说明
日志服务异常智能分析应用提供文本分析功能，用于对日志中的文本日志进行智能化、自动化的分析，提供全局的统计分析结果。文本分析功能通过 日志模板发现 和 日志模板匹配 两个子任务，实现对于日志数据的监控和统计。您可以根据待分析的...
RDS SQL Server空间不足问题
回收日志空间 回收日志空间比较简单，使用 DBCC SQLPERF(LOGSPACE)命令或自治服务查看数据库的日志文件空间中实际已使用部分的比例，如果已使用部分的比例较高，收缩日志文件几乎没有效果，可以查询系统视图sys.databases，通过 log_reuse_...
快速使用WAF日志服务
可修改WAF日志中的可选字段。存储类型 默认存储网站域名的全量日志。支持修改。可修改为仅存储拦截日志。WAF支持修改以上默认配置。具体操作，请参见 修改日志设置。前提条件 已开通 高级版、企业版、旗舰版 或 独享版 包年包月WAF实例，...
开通操作日志功能
功能模块 是 选择需要导出DMS哪些功能模块的日志（与 操作日志 中的模块对应），包含实例管理、用户管理、权限、在SQL窗口进行数据查询等功能。默认选择导出 全部功能 的日志。调度方式 是 选择本次任务的调度方式。单次：指成功创建导出...
概述
在进行日志数据查询分析时，日志中的部分信息需要和外部存储（ExternalStore）的信息进行关联查询，从而进一步丰富日志服务中的日志数据。外部存储简介 外部存储和Logstore的区别 项目 外部存储（ExternalStore）Logstore 数据存储 日志...
- 产品推荐
- 这些文档可能帮助您