日志管理
日志库创建完成后，用户通过API或SDK向指定日志库写入日志数据。如果用户希望收集阿里云ECS服务器的数据，日志服务提供的Logtail日志收集服务同样非常方便地收集到日志数据。删除日志库，日志数据是否丢失？删除日志库会导致日志数据丢失，...
PostLogStoreLogs
日志数据写入时有两种模式：负载均衡模式（LoadBalance）：自动根据Logstore下所有可写的Shard进行负载均衡写入。该方法写入可用性较高，适合不保证顺序的数据消费场景。Key路由Shard模式（KeyHash）：在URL参数中增加Key字段，用来判断...
常见问题
例如数据写入日志服务延迟了5分钟，实例执行时间为12:03:00，SQL时间窗口为相对一分钟，即[12:02:00，12:03:00)，则查询不到最新的数据。数据写入日志服务到能够被查询到，这期间存在延时（一般少于3秒）。即使延时很低，也存在数据漏查的...
使用RDS内网地址访问RDS MySQL数据库
当您的数据分散存储在日志服务Logstore和RDS MySQL数据库中时，您可以通过日志服务数据加工功能从对应数据库获取数据，实现数据富化。本文介绍如何配置数据加工规则及高级参数，实现通过RDS内网地址访问RDS MySQL数据库获取数据。背景信息 ...
查看会话日志
在数据库审计系统查看到的会话日志来源是日志服务，您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。操作步骤 登录 日志服务控制台。在Project列表处，查看数据库审计相关的Project，单击...
查看会话日志
在日志服务控制台查看会话日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的会话日志来源是日志服务，您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。...
SQL Server迁移上云指南
停止源库的数据写入，最后一个增量日志回放成功后，将业务切换到新数据库。SQL Server实例级别迁移上云 说明 若源库为2008 R2版本，建议升级后再进行操作。使用DBS和DTS（一键上云）部署物理协议网关。使用DTS迁移上云（内部会调用OSS ...
定时SQL Exactly-Once
日志服务定时SQL保证每次任务的计算结果都以Exactly-Once方式写入到目标存储库（Logstore和MetricStore），确保数据不会重复写入，也不会丢失。日志服务基于Logstore的幂等写入来实现定时SQL结果数据的Exactly-Once。说明 本文内容适用于...
查看审计日志
在日志服务控制台查看审计日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的审计日志来源是日志服务。您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的审计日志数据。...
开启SQL审计与分析
执行结果 SQL审计功能开启后，相同地域下的 PolarDB-X 数据库的审计日志会写入同一个日志服务的Logstore中。同时，日志服务为您创建以下默认配置。警告 日志服务会不定期更新与升级SQL日志审计功能，专属日志库的索引与默认报表也会自动...
动作列表
写操作：您可以对日志服务资源进行写入操作。列表操作：您可以对日志服务资源进行查看操作。资源类型 动作（Action）说明 Project log:CreateProject 创建Project。log:DeleteProject 删除Project。log:GetProject 查看Project属性。log:...
监控时效性说明
在数据写入日志服务和数据被查询之间存在延时，即便延时很低，也存在数据漏查的风险。例如告警执行时间为12:03:30，查询范围为相对一分钟时，则查询时间范围为[12:02:30,12:03:30)，对于12:03:29秒写入的日志，无法保证在12:03:30这次时间...
GetLogs
当日志写入到Logstore中，日志服务的查询接口（GetHistograms和GetLogs）能够查到该日志的延时因写入日志类型不同而异。日志服务按日志时间戳把日志分为如下两类：实时数据：日志中时间点为服务器当前时间点(-180秒，900秒]。例如，日志...
使用前须知
当涉及的Logstore的计费模式为按写入数据量计费时，日志服务采集到日志后，日志服务将根据原始写入数据量等进行收费。更多信息，请参见 按写入数据量计费模式计费项。使用限制 仅运行1.7.0及以上软件版本的SAG-1000设备支持流日志功能。...
日志字段详情
字段 说明_topic_日志主题 redis_audit_log：DB节点的审计日志 redis_proxy_audit_log：Proxy节点的审计日志 account 数据库账号名称 command 执行的Redis命令 db 数据库名称 extend_information 附加信息 instanceid Redis实例ID ip IP...
Flink消费
如果您需要指定数据写到某一个Shard中，可以使用LogPartitioner产生数据的HashKey，LogPartitioner为可选项，如果您没有配置，数据会随机写入某一个Shard。示例如下：FlinkLogProducer<String>logProducer=new FlinkLogProducer(new ...
监控日志服务
日志服务提供服务日志功能，用于记录操作日志、消费组延迟日志、Logtail告警日志、Logtail采集日志和Logtail状态日志，帮助您实时掌握日志服务的使用状况，提高运维效率。前提条件 已开通服务日志。更多信息，请参见 开通服务日志。背景...
时间字段转换示例
日志中可能有多个记录时间的字段，例如：_time_：用API/SDK写入日志数据时指定的日志时间，该字段可用于日志投递、查询、分析。日志中原有的时间字段：日志在生成时，用于记录日志事件发生时间的字段，是原始日志的字段。时间字段的格式...
GetLogsV2
查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志。（返回结果压缩后传输）。OpenAPI目前仅支持Go、Java、TypeScript、Python四种语言。日志服务SDK目前仅支持Go、Java两种语言。更多相关说明请参见 ...
从SLS同步
本文介绍如何使用日志投递功能从日志服务（SLS）同步数据到云数据库ClickHouse。注意事项 云数据库ClickHouse的企业版集群和在2021年12月份之后创建的社区兼容版集群不支持日志投递功能。云数据库ClickHouse目前不支持数组类型的数据。支持...
开启SQL审计与分析
执行结果 SQL审计功能开启后，相同地域下的 PolarDB-X 数据库的审计日志会写入同一个日志服务的Logstore中。同时，日志服务为您创建以下默认配置。警告 日志服务会不定期更新与升级SQL日志审计功能，专属日志库的索引与默认报表也会自动...
C SDK
功能优势 客户端高并发写入：可配置的发送线程池，支持每秒数十万条日志写入，详情参见 性能测试。低资源消耗：每秒20W日志写入只消耗30%CPU；同时在低性能硬件（例如树莓派）上，每秒产生100条日志对资源基本无影响。详情参见 性能测试。...
数据编码方式
日志服务使用Protocol Buffer格式作为标准的日志写入格式。Protocol Buffer格式用于结构化数据交换格式，当用户需要写入日志时，需要把原始日志数据序列化成如下格式的Protocol Buffer数据流，然后才能通过API写入服务端。message Log { ...
开启SQL日志审计
执行结果 SQL审计功能已成功开启，相同地域下的 PolarDB-X 1.0 数据库的审计日志会写入同一个日志服务的Logstore中。同时，日志服务为您创建以下默认配置。说明 请勿随意删除或修改日志服务为您默认创建的Project、Logstore、索引和仪表盘...
查询日志
阿里云Elasticsearch主要支持的日志类型包括：主日志、Searching慢日志、Indexing慢日志、GC日志、ES访问日志、异步写入日志 和审计日志，各类日志的说明和使用场景如下，更多详细信息请参见 日志说明。日志类型 说明 使用场景 主日志 集群...
消费-搭建监控系统
日志服务把所有集群的监控数据作为日志收集到服务端，解决了多集群管理和异构系统日志收集的问题，监控数据统一成格式化的日志发送到日志服务。日志服务为监控系统提供了：统一的机器管理：安装一次logtail，所有的后续操作在日志服务端...
简介
API请求状态监控 您所有的操作如日志写入、消费、创建Project和Logstore等，都是通过API接口请求的方式实现。您每次操作都对应 internal-operation_log 这个Logstore中的一条日志。如果请求失败，则日志的 Status 字段为一个大于200的整数...
日志字段详情
日志字段说明 字段名称 字段说明 示例值_time_在Logstore写入日志数据时的日志时间。1703483369_topic_日志的主题。取值固定为 cloudfirewall_access_log，表示云防火墙的流量日志。cloudfirewall_access_log acl_rule_id 流量命中的访问...
Flume消费
日志服务支持通过aliyun-log-flume插件与Flume进行对接，实现日志数据的写入和消费。背景信息 aliyun-log-flume是一个实现日志服务与Flume对接的插件，与Flume对接后，日志服务可以通过Flume与其它数据系统如HDFS、Kafka等对接。aliyun-log...
日志消费与查询区别
可以从指定Shard中，按照日志写入Shard的顺序批量读取日志。根据接收日志的时间，设置批量读取Shard日志的起始位置（cursor）。日志查询（LogSearch）提供海量日志查询和分析功能，根据条件进行日志查询与统计。通过查询条件查找符合要求的...
查看审计日志
在日志服务控制台查看审计日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的审计日志来源是日志服务。您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的审计日志数据。...
云数据库RDS
本文介绍云数据库RDS SQL审计日志、慢日志、错误日志和性能日志的字段详情。审计日志 日志字段 说明_topic_日志主题，固定为rds_audit_log。owner_id 阿里云账号ID region RDS实例所在地域 instance_name RDS实例名 instance_id RDS实例ID ...
哈啰出行
业务痛点 哈啰出行原有架构是将数据采集到Kafka，然后将日志写入ELK做查询，同时写入ClickHouse做分析。由于每天增量数据在TB级别，对ES稳定性压力比较大。当查询数据操作，会影响ES的写入延时。由于写入量大，查询基本处于不可用状态。...
同步时源库为PostgreSQL的注意事项及限制
如为增量同步任务，DTS要求源数据库的WAL日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的WAL日志至少保留7天以上（您可在全量同步完成后将WAL日志保存时间设置为24小时以上），否则DTS可能因无法获取WAL日志而导致任务...
使用前须知
当涉及的Logstore的计费模式为按写入数据量计费时，日志服务采集到VPC流日志后，日志服务将根据原始写入数据量等进行收费。更多信息，请参见 按写入数据量计费模式计费项。使用限制 地域限制 日志服务Project和当前资源实例需处于同一地域...
迁移Elasticsearch查询方案到日志服务
日志服务提供Elasticsearch兼容接口，支持您将日志采集到日志服务后，仍可以沿用Elasticsearch的查询方案。重要 本文档为阿里云原创文档，知识产权归阿里云所有，由于本文档旨在介绍阿里云与第三方产品交互的服务能力，因此可能会提及第三...
WAL日志管理
true：临时Slot false：永久Slot 数据库名称 database Replication Slot所处的数据库。WAL堆积量 无对应字段。该参数取值由RDS内核计算所得。计算方法 SELECT pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_insert_lsn(),restart_lsn))AS...
使用数据实验室
收费与限制 目前数据实验室提供网站访问日志、数据库审计日志、新冠疫情数据集等三个场景，均免费使用。在数据实验室中Logstore仅用于存储模拟数据，数据保留7天，shard数量为1。您无法进行数据写入、编辑索引等操作。场景选择 数据分为...
日志投递MaxCompute后，如何检查数据完整性
其中，日志真实时间既不是投递数据的时间，也不是日志写入服务端时间。举例：日志时间为2017-05-19 10:43:00，分区字段格式字符串配置为 yyyy_MM_dd_HH_mm，每1小时投递一次。那么无论该日志是什么时刻写入服务端，这条日志会存入...
GetHistograms
从日志写入日志库到查询接口（GetHistograms和GetLogs）查到该日志，延时时长因写入日志类型不同而异。日志服务按日志时间戳把日志分为如下两类：实时数据：日志中时间点为服务器当前时间点（-180秒，900秒]。例如，日志时间为UTC 2014-09-...
- 产品推荐
- 这些文档可能帮助您