加工原理
调度原理 日志服务的数据加工功能使用协同消费组对源日志库的日志数据进行流式消费，将每一条日志通过加工规则处理后再输出。调度机制 对每一个加工规则，加工服务的调度器会启动一个或多个运行实例，每个运行实例扮演一个消费者的角色去...
管理Project
删除日志项目可能导致日志库的数据丢失，请确认Logstore，MetricStore、EventStore等数据无用或已做好数据备份。本文介绍如何在日志服务控制台上创建、删除日志项目Project等操作。基本概念 项目（Project）是日志服务中的资源管理单元，...
使用Aliyun Log Java Producer写入日志数据
异步非阻塞 在可用内存充足的前提下，Producer会对发往日志库的数据进行缓存，因此调用send方法时能够立即返回响应且不会阻塞，可达到计算与I/O逻辑分离的目的。之后，您可以通过返回的Future对象或传入的Callback获得数据发送的结果。资源...
查看会话日志
在数据库审计系统查看到的会话日志来源是日志服务，您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。操作步骤 登录 日志服务控制台。在Project列表处，查看数据库审计相关的Project，单击...
查看会话日志
在日志服务控制台查看会话日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的会话日志来源是日志服务，您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。...
查看数据报表
CloudLens for Redis提供丰富的可视化图表，用于展示云数据库Redis日志的分析结果。前提条件 已开启日志采集功能。具体操作，请参见 开启日志采集功能。功能入口 登录 日志服务控制台。在 日志应用 区域的 云产品Lens 页签中，单击 ...
开启SQL审计与分析
执行结果 SQL审计功能开启后，相同地域下的 PolarDB-X 数据库的审计日志会写入同一个日志服务的Logstore中。同时，日志服务为您创建以下默认配置。警告 日志服务会不定期更新与升级SQL日志审计功能，专属日志库的索引与默认报表也会自动...
开启日志采集功能
重要 单击 开启 后，同步开启云数据库Redis审计日志、慢日志和运行日志的采集功能。但是只支持关闭审计日志的采集功能，不支持关闭慢日志和运行日志的采集功能。在 开启审计日志 对话框中，设置 保存时间，然后单击 确认。其中，保存时间 ...
导入MySQL数据
您可以将自建MySQL数据库或RDS MySQL数据库中的数据导入到日志服务，实现数据的查询分析、加工等操作。本文介绍导入MySQL数据的操作步骤。使用限制 目前仅支持：华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3...
开启SQL日志审计
执行结果 SQL审计功能已成功开启，相同地域下的 PolarDB-X 1.0 数据库的审计日志会写入同一个日志服务的Logstore中。同时，日志服务为您创建以下默认配置。说明 请勿随意删除或修改日志服务为您默认创建的Project、Logstore、索引和仪表盘...
API简介
日志库 Logstore 日志库（Logstore）是日志服务中日志数据的采集、存储和查询单元。每个Logstore隶属于一个Project，每个Project中可创建多个Logstore。分区 Shard 日志服务使用Shard控制Logstore或MetricStore的读写数据的能力，数据必定...
使用前须知
阿里云日志服务和数据库审计推出日志功能，将数据库审计相关的日志存储到日志服务中，助力企业顺利通过等保合规审计。本文介绍数据库审计日志功能相关的资产详情、费用说明及使用限制等。资产详细 专属Project和Logstore 开启日志功能后，...
过滤VPC流日志公网流量
目标库 用于存储公网流量日志的Logstore名称。例如输入 logstore-vpc-flowlog-public。授权方式 授予日志服务读写存储目标Logstore权限。以默认角色为例，选择 默认角色。配置加工时间范围。参数 说明 时间范围 加工的时间范围。选择 所有...
使用数据实验室
收费与限制 目前数据实验室提供网站访问日志、数据库审计日志、新冠疫情数据集等三个场景，均免费使用。在数据实验室中Logstore仅用于存储模拟数据，数据保留7天，shard数量为1。您无法进行数据写入、编辑索引等操作。场景选择 数据分为...
高级管理
PolarDB-X 1.0 SQL审计与分析支持高级管理，您可以通过高级管理跳转到日志服务控制台，修改SQL日志的存储时间、对SQL日志进行实时订阅与消费、数据投递和对接其他可视化等高级操作。开启SQL日志审计 后，在当前页面右上角单击 高级管理 ...
导入Amazon S3文件
您可以通过数据导入的方式将Amazon S3的日志文件导入到阿里云的日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5GB以内的S3文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到S3中。已创建Project和...
RDS for SQL Server如何回收表空间
如果需要收缩一个SQL Server的数据文件，必须使用 DBCC SHRINKDATABASE 命令收缩指定数据库的指定数据或日志文件大小，或者使用 DBCC SHRINKFILE 命令收缩当前数据库的指定数据或日志文件大小。MySQL表的空间是独立的一个文件，所以收缩...
RDS for SQL Server如何回收表空间
如果需要收缩一个SQL Server的数据文件，必须使用 DBCC SHRINKDATABASE 命令收缩指定数据库的指定数据或日志文件大小，或者使用 DBCC SHRINKFILE 命令收缩当前数据库的指定数据或日志文件大小。MySQL表的空间是独立的一个文件，所以收缩...
跨Project监控数据
当告警监控规则跨Project、地域和阿里云账号监控目标时，日志服务需要通过扮演RAM角色的方式访问日志库或时序库，您需要进行相应的授权。前提条件 为RAM用户授予告警的管理权限，操作步骤请参见 授予RAM用户告警操作权限。使用场景 授权...
导入Elasticsearch数据
本文介绍如何将Elasticsearch数据导入到日志服务，实现数据的查询分析、加工等操作。前提条件 已有可用的Elasticsearch集群。已创建Project和Logstore。具体操作，请参见 创建项目Project 和 创建Logstore。创建数据导入配置 登录 日志服务...
导入OSS数据
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
复制和分发数据
日志服务支持对每一个源Logstore配置一个加工任务，实现数据复制后分发到不同Logstore。本文介绍数据复制后分发到不同Logstore的典型场景和操作方法。场景说明 某数据分析公司需要将Logstore中的每一条数据进行复制，并根据内容分别分发到...
费用优化
Logstore 数据保存周期 针对您对日志的查询、存储的需求不同，建议您优化Logstore 数据保存周期。如果您收集日志是为了做流计算，建议您只使用LogHub，不创建索引。如果您需要经常查询最近90天的日志数据，偶尔查询90天前的数据，建议您把...
消费-搭建监控系统
日志服务是阿里云一个重要的基础设施，支撑着阿里云所有集群日志数据的收集和分发。众多应用比如OTS、ODPS、CNZZ等利用日志服务logtail收集日志数据，利用API消费数据，导入下游实时统计系统或者离线系统做分析统计。作为一个基础设施，...
管理服务日志
本文介绍了如何开通、关闭服务日志功能以及如何修改服务日志的配置。背景信息 开启服务日志功能时，您可以选择服务日志的类型，包括 详细日志、重要日志、任务运行日志，日志类型的说明请参见 日志类型。详细日志：详细日志会在您选择的...
Flume消费
日志服务支持通过aliyun-log-flume插件与Flume进行对接，实现日志数据的写入和消费。背景信息 aliyun-log-flume是一个实现日志服务与Flume对接的插件，与Flume对接后，日志服务可以通过Flume与其它数据系统如HDFS、Kafka等对接。aliyun-log...
配置日志采集
重要 日志源的存放目录须包含日志的文件名，如/tmp0/cjsc.log。请勿在日志源的存放目录中存放其他重要文件，谨防目录内的文件被覆盖。如果需要配置多条收集规则，请单击 添加日志源。完成设置后单击 创建应用。在 应用创建完成 页签确认 ...
概述
在进行日志数据查询分析时，日志中的部分信息需要和外部存储（ExternalStore）的信息进行关联查询，从而进一步丰富日志服务中的日志数据。外部存储简介 外部存储和Logstore的区别 项目 外部存储（ExternalStore）Logstore 数据存储 日志...
日志聚合多维指标智能巡检
源日志库 当 日志库类型 设置为 日志库 时，需设置 源日志库，设置为您的源数据所在的日志库。时序库 当 日志库类型 设置为 时序库 时，需设置 时序库，设置为您的源数据所在的时序库。角色 如果您在创建实例时已完成了授权，则此处自动...
日志主题
正则表达式 \/(.*)\/serviceA\/.*提取结果_topic_:userA_topic_:userB_topic_:userC 提取文件路径中的多个值 如果单个日志主题不足以区分日志的来源，则您可以提取文件路径中的多个值作为区分日志的信息，即您可以配置多个正则捕获组提取多...
日志消费与查询区别
根据接收日志的时间，设置批量读取Shard日志的起始位置（cursor）。日志查询（LogSearch）提供海量日志查询和分析功能，根据条件进行日志查询与统计。通过查询条件查找符合要求的数据。支持运算符AND、NOT、OR的多条件组合查询和结果SQL...
多维指标智能巡检
源日志库 当 日志库类型 设置为 日志库 时，需设置 源日志库，设置为您的源数据所在的日志库。时序库 当 日志库类型 设置为 时序库 时，需设置 时序库，设置为您的源数据所在的时序库。角色 如果您在创建实例时已完成了授权，则此处自动...
日志字段详情
字段 说明_topic_日志主题 redis_audit_log：DB节点的审计日志 redis_proxy_audit_log：Proxy节点的审计日志 account 数据库账号名称 command 执行的Redis命令 db 数据库名称 extend_information 附加信息 instanceid Redis实例ID ip IP...
简介
阿里云日志服务提供服务日志功能，支持记录Project内的用户操作日志等多种日志数据，并提供多种分析维度的仪表盘。您可以通过多种方式实时掌握日志服务的使用状况、提高运维效率。默认配置 默认配置项 配置内容 Logstore 当前Project产生的...
使用前须知
阿里云日志服务联合数据管理DMS推出操作日志导出功能，将日志服务的部分功能融合到DMS操作日志中，实现日志实时查询、可视化分析、告警等功能。本文介绍DMS操作日志导出功能相关的资源说明、应用场景、费用说明及使用限制。支持的日志 数据...
日志管理概述
支持自定义WAF日志字段和存储类型、设置需要采集日志的WAF防护对象（云产品实例、域名）。支持根据您的业务需求修改或者自定义符合业务或安全需求的报表模板，帮助您快速感知网站业务的安全状态。实时分析：依托阿里云日志服务产品，提供...
使用前须知
阿里云日志服务联合云安全中心联合推出日志分析功能，提供风险威胁数据的实时采集、查询与分析、加工、消费等一站式服务，帮助您全面了解、有效处理服务器的安全隐患，实现对云上资产的集中安全管理。本文介绍云安全中心日志分析功能相关的...
数据加密
日志服务支持通过密钥管理服务KMS（Key Management Service）对数据进行加密存储，提供数据静态保护能力。日志服务同时支持基于SSL/TLS的HTTPS加密传输，有效防止数据在云端的潜在安全风险。服务器端加密 日志服务支持如下两种加密类型机制...
开通日志审计功能
本文介绍如何在MongoDB控制台上开通日志审计功能，进行日志的查询、在线分析和导出。日志审计功能帮助定位数据修改的操作者身份或时间点等信息，识别是否存在滥用权限、执行非合规命令等内部风险。前提条件 已开通日志服务SLS，如何开通，...
简介
本文介绍RAM的基本概念和相关操作，包括身份管理、资源访问控制、授权RAM用户访问日志服务、授权服务角色读日志和授权用户角色操作日志服务。基本概念 RAM（Resource Access Management）是阿里云提供的用户身份管理与资源访问控制服务。您...
- 产品推荐
- 这些文档可能帮助您