过滤VPC流日志公网流量
新的日志数据，只保留公网日志。您可以输入查询和分析语句，对公网流量的请求来源城市和目的地城市进行查询分析。例如：*|select ip_to_city(srcaddr)as sourceAddr,ip_to_city(dstaddr)as dstAddr,COUNT(*)as pv group by sourceAddr,...
复制和分发数据
通过e_split函数将日志数据进行分裂。更多信息，请参见 e_split。通过e_output函数将日志分发到target-a和target-b。更多信息，请参见 e_output。e_drop()表示将不满足条件的日志丢弃，不进行分发。更多信息，请参见 e_drop。单击 预览数据...
数据归档至DBS内置OSS
清理源表数据：通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单，请参见 普通数据变更。源表空间优化：通过新建无锁变更工单完成源表空间优化。新建无锁变更工单，请参见 通过无锁变更工单实现无锁结构变更。
事件操作函数
e_if(e_match("k2",r"\w+"),e_output(name="target2",source="source1",topic="topic1"))e_drop()加工结果_topic_:topic1 k1:v1 k2:v2 x1:v3 x5:v4 示例2：基于日志中 db_version 字段的值计算Hash，并根据此Hash值将日志固定输出到存储...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
数据归档至用户OSS
清理源表已归档数据：通过新建普通数据变更工单，清理源数据库中已归档数据。优化源表空间：通过新建无锁变更工单，完成源表空间优化。新建无锁变更工单，请参见 通过无锁变更工单实现无锁结构变更。说明 在数据归档工单详情页的最下方，...
使用数据实验室
收费与限制 目前数据实验室提供网站访问日志、数据库审计日志、新冠疫情数据集等三个场景，均免费使用。在数据实验室中Logstore仅用于存储模拟数据，数据保留7天，shard数量为1。您无法进行数据写入、编辑索引等操作。场景选择 数据分为...
自动归档
备份库中归档层数据不支持同城冗余。备份库中的归档层数据不支持进行跨地域复制。镜像库中的备份数据不支持自动归档配置。开启自动归档后，仅对新产生的备份有效。备份数据自动归档后，归档层备份恢复点仅支持自动过期功能，不支持手动删除...
修改备份时间及高级设置
备份成功后是否删除日志 在备份成功后，是否从自建库中删除已成功备份的归档日志，支持的选项：是：在备份成功后，系统将从自建库中删除多少天前的归档日志，您还需配置 删除多少天前的归档日志 参数。默认为7天，表示在备份成功后，系统将...
功能概览
此外，云备份还会在实际的特定配置或操作情况下收取以下费用：不足规定时长容量费 归档库中的数据存储时间不足60天被删除或覆盖，冷归档库中的数据存储时间不足180天被删除或覆盖，会一次性收取剩余时间的存储容量费用。恢复费用 从归档库...
下载或删除网站日志
说明 归档日志 功能自2022年11月中旬后生效，如果2022年11月中旬至今不满180天，通过 归档日志 功能自行查看和下载访问日志时，您可能仅查询到少于180天的访问日志。例如，2023年1月15日查询近180天内的访问日志时，您可能仅查询到60天的...
Oracle物理备份
数据库备份DBS 支持对Windows或Linux操作系统上的Oracle数据库进行物理备份，支持备份Oracle单实例、Data Guard Physical Standby、RAC等多种架构的Oracle数据库。本文介绍Oracle物理备份，关于Oracle逻辑备份的信息，请参见 Oracle逻辑...
Data Explorer案例
示例4 在RDS数据库审计日志中，统计执行频率Top 10的SQL语句及其执行次数，并统计每个SQL语句同比昨天的执行次数的变化情况。Data Explorer配置 查询和分析语句|select"sql",diff[1]as current_value,diff[2]as previous_value,(diff[1]-...
管理离线数据归档
对离线存储中较为久远的数据暂无数据分析需求时，可以通过配置数据归档，来降低数据的存储成本。本文介绍数据归档的使用和计费说明及开启、更改和撤销归档的具体操作。前提条件 已开启产品数据备份。存储数据的归档周期必须小于实例下设备...
跨Project监控数据
授权后，日志服务将创建名称为 AliyunSLSAlertMonitorRole 的RAM角色，日志服务将扮演此角色以读取源日志库中的数据。自定义角色授权（同账号）对同一个阿里云账号下的不同日志库和时序库进行告警监控时，您可以通过 自定义角色 实现协同告...
搜索和取回
本文介绍对数据源和归档库文件进行搜索，并取回文件的操作方法。前提条件 已完成数据源归档。更多信息，请参见 归档。背景信息 云备份支持对数据源和归档库中文件进行搜索。从数据源中搜索到的文件，您可以直接进行归档操作。从归档库中...
使用资源函数增量获取数据
资源信息与数据示例 日志服务资源 Project：client-project 源Logstore：client-log 数据样例如下所示：目标Logstore：client-information RDS资源 数据库：client-db 数据库表：client 数据样例如下所示：数据库用户名和密码：test/test...
云监控消费
云监控可以直接消费Logstore中日志数据，提供日志监控功能。通过将日志服务与云监控结合，形成了轻量级、全面、易用的日志监控解决方案。简单、易用，相比传统ELK方案，零编码即可享有完整监控解决方案。提供日志数据实时分析、监控图表...
PostLogStoreLogs
调用PostLogStoreLogs接口向指定的Logstore中写入日志数据。接口说明 已创建并获取AccessKey。更多信息，请参见 访问密钥。阿里云账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运维。RAM...
常见问题
例如执行SQL分析的权限，读取日志库数据的权限。确保已提供足够的计算资源。资源限制说明请参见 查询与分析的使用限制。避免使用逻辑过于复杂的SQL语句以及SQL时间窗口设置过大，否则将导致计算超时（服务端超时时间为10分钟）。通过定时...
数据归档
在进行库表恢复时，只能恢复所选数据库中未进行数据归档的数据。在进行备份集下载时，所下载的备份集中仅包含尚未进行数据归档的数据。说明 已开启数据归档的实例，相较于未开启时，由于需要恢复数据归档的数据，备份/恢复的时长会增长。...
多维指标智能巡检
源日志库 当 日志库类型 设置为 日志库 时，需设置 源日志库，设置为您的源数据所在的日志库。时序库 当 日志库类型 设置为 时序库 时，需设置 时序库，设置为您的源数据所在的时序库。角色 如果您在创建实例时已完成了授权，则此处自动...
日志查询常见问题
例如，统计日志中不同hostname出现的次数。说明 已配置_tag_:_hostname_的字段索引并开启统计功能。select"_tag_:_hostname_",count(1)as count group by"_tag_:_hostname_"如何在日志数据中搜索IP地址？在日志数据中搜索IP地址，支持完全...
同步时源库为Db2 for LUW的注意事项及限制
Db2 for LUW同步至PolarDB-X 2.0 说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到目标数据库。类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待...
日志聚合多维指标智能巡检
非指标数据一般指常规的日志数据，您可以通过SQL语句聚合生成指标数据后，再进行智能巡检。数据示例 例如A公司将其SLB 7层访问日志接入到日志服务后，在智能巡检服务中通过SQL语句计算QPS、延时、出入流量、成功率等指标，即设置 实体 为 ...
创建作业
源日志库 当 日志库类型 设置为 日志库 时，需选择目标源日志库，即设置为您的多维指标数据所在的日志库。时序库 当 日志库类型 设置为 时序库 时，需选择目标时序库，即设置为您的多维指标数据所在的时序库。时间 源数据中表示时间列的...
函数总览
当同时传入多个字段名时，返回日志中第一个存在的字段的值。e_set 添加新字段或为现有字段设置新的字段值。e_drop_fields 删除符合条件的日志字段。e_keep_fields 保留符合条件的日志字段。e_pack_fields 打包日志字段，并输出到新的字段中...
数据归档
库表恢复 选择按库恢复时，仅可恢复所选择库中的非数据归档的数据。备份集下载 下载的备份集中仅包含非数据归档的数据。说明 已开启数据归档的实例，相较于未开启时，由于需要恢复数据归档的数据，备份/恢复的时长会增长。注意事项 受限于...
从RDS MySQL数据库获取数据进行数据富化
日志服务数据加工功能支持从阿里云RDS MySQL数据库获取数据，结合数据加工规则，进行数据富化。背景信息 在数据存储场景中，您可能经常遇到数据分散存储的问题，例如用户操作、行为等相关数据存储在日志服务中，用户属性、注册信息等相关...
查询概述
日志服务支持秒级查询十亿到千亿级别的日志数据。基本语法 查询语句和分析语句以竖线（|）分割。查询语句的语法为日志服务专有语法，更多信息，请参见 查询语法。重要 查询语句可单独使用，分析语句必须与查询语句一起使用。即分析功能是...
使用前须知
阿里云日志服务联合数据库MongoDB推出日志审计功能，将日志服务的部分功能融合到自身的审计日志、慢日志、运行日志中，实现日志实时查询、可视化分析、告警等功能。本文介绍MongoDB日志相关的资源说明、应用场景、费用说明及使用限制。资源...
关联Logstore与MySQL数据库进行查询分析
指定日志中的 userid 字段和数据库表中的 uid 字段关联Logstore和MySQL数据库。分析活跃用户的性别分布。select case gender when 1 then '男性' else '女性' end as gender,count(1)as pv from log l join sls_join_meta_store u on l....
日志服务控制台无法采集到数据
fromhost-ip%为该条日志的对应的机器IP，如果日志中的该字段是 127.0.0.1，最终发往服务端的日志数据中该字段会被替换成TCP socket的对端地址。hostname%～%msgid%为用户自定义字段，中括号表示是可选字段。msg:drop-last-lf%为日志消息...
配置数据库审计实例
购买并启用数据库审计实例后，您可以在云盾数据库审计管理控制台管理您的数据库审计实例。本文介绍如何为数据库实例配置白名单、管理存储容量、升级和续费。前提条件 已启用数据库审计实例。具体操作，请参见 启用数据库审计实例。操作步骤...
资源函数
max_retry_back_off=60,primary_keys=None,use_ssl=false,update_time_key=None,deleted_flag_key=None)说明 日志服务还支持通过res_rds_mysql函数从AnalyticDB MySQL数据库、PolarDB MySQL数据库拉取数据，您只需将加工规则中的数据库地址...
开启或关闭日志服务
按量付费实例 警告 关闭日志服务，将导致日志服务自动创建的WAF专属日志库（Logstore）以及日志库中记录的日志数据被清除。请确认不再使用日志服务后，再进行该操作。登录 Web应用防火墙3.0控制台。在顶部菜单栏，选择WAF实例的资源组和...
通过SQL聚合指标数据进行智能巡检
源日志库 当 日志库类型 设置为 日志库 时，需设置 源日志库，设置为您的源数据所在的日志库。时序库 当 日志库类型 设置为 时序库 时，需设置 时序库，设置为您的源数据所在的时序库。角色 如果您在创建实例时已完成了授权，则此处自动...
转换IP地址
您在使用Logtail采集日志时，可以使用processor_geoip插件将日志中的IP地址转换为地理位置（国家、省份、城市、经纬度）。本文介绍processor_geoip插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON...
导入MySQL数据
您可以将自建MySQL数据库或RDS MySQL数据库中的数据导入到日志服务，实现数据的查询分析、加工等操作。本文介绍导入MySQL数据的操作步骤。使用限制 目前仅支持：华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3...
创建时序预测作业
源日志库 当 日志库类型 设置为 日志库 时，需设置 源日志库，设置为您的源数据所在的日志库。时序库 当 日志库类型 设置为 时序库 时，需设置 时序库，设置为您的源数据所在的时序库。角色 如果您在创建实例时已完成了授权，则此处自动...
- 产品推荐
- 这些文档可能帮助您