PostLogStoreLogs
日志数据写入时有两种模式：负载均衡模式（LoadBalance）：自动根据Logstore下所有可写的Shard进行负载均衡写入。该方法写入可用性较高，适合不保证顺序的数据消费场景。Key路由Shard模式（KeyHash）：在URL参数中增加Key字段，用来判断...
常见问题
例如数据写入日志服务延迟了5分钟，实例执行时间为12:03:00，SQL时间窗口为相对一分钟，即[12:02:00，12:03:00)，则查询不到最新的数据。数据写入日志服务到能够被查询到，这期间存在延时（一般少于3秒）。即使延时很低，也存在数据漏查的...
哈啰出行
哈啰出行通过把日志数据迁移到日志服务，替代原有的Kafka、ES、ClickHouse，累积节省成本30%，同时满足了稳定性、扩展性以及日志查询与分析的需求。公司简介 哈啰出行是本地出行及生活服务平台，致力于应用数字技术的红利，为人们提供更...
使用RDS内网地址访问RDS MySQL数据库
当您的数据分散存储在日志服务Logstore和RDS MySQL数据库中时，您可以通过日志服务数据加工功能从对应数据库获取数据，实现数据富化。本文介绍如何配置数据加工规则及高级参数，实现通过RDS内网地址访问RDS MySQL数据库获取数据。背景信息 ...
RDS SQL Server如何收缩事务日志
SET RECOVERY SIMPLE 系统会将恢复模式重置为FULL，不会实际修改数据库恢复模式为SIMPLE，但数据库日志链会断开，并返回如下报错信息：Msg 50000,Level 16,State 1,Procedure*,Line 46 Login User[Test11]can't change database[TestDb]...
配置通用数据库审计
您可以在数据库服务器或应用服务器上安装Logtail和抓包工具，采集数据库的所有活动记录，实现数据库审计。本文介绍配置通用数据库审计的操作步骤。前提条件 已有可用的数据库。已创建Project。具体操作，请参见 创建Project。操作步骤 登录...
保留字段
在采集日志或投递数据到其他云产品时，日志服务会将日志来源、时间戳等信息以Key-Value对的形式添加到日志中。这些字段是日志服务的保留字段。本文介绍日志服务的保留字段。重要 使用API写入日志数据或添加Logtail配置时，请不要将Key即...
SQL Server迁移上云指南
停止源库的数据写入，最后一个增量日志回放成功后，将业务切换到新数据库。SQL Server实例级别迁移上云 说明 若源库为2008 R2版本，建议升级后再进行操作。使用DBS和DTS（一键上云）部署物理协议网关。使用DTS迁移上云（内部会调用OSS ...
日志（Log）
格式 文本日志（LogFile）、事件（Event）、数据库日志（BinLog）、时序数据（Metric）等数据都是日志的不同载体。日志服务采用半结构化的数据模式定义一条日志，包含日志主题、日志时间、日志内容、日志来源和日志标签五个数据域。日志...
定时SQL Exactly-Once
日志服务定时SQL保证每次任务的计算结果都以Exactly-Once方式写入到目标存储库（Logstore和MetricStore），确保数据不会重复写入，也不会丢失。日志服务基于Logstore的幂等写入来实现定时SQL结果数据的Exactly-Once。说明 本文内容适用于...
CreateStoreView-创建数据集
my_storeview storeType string 是 数据集类型，支持两种类型，当创建时序库数据集时 storeType 指定为 metricstore，当创建日志库数据集时，storeType 指定为 logstore。logstore stores array 是 日志库或者时序库列表。StoreViewStore ...
开启SQL审计与分析
执行结果 SQL审计功能开启后，相同地域下的 PolarDB-X 数据库的审计日志会写入同一个日志服务的Logstore中。同时，日志服务为您创建以下默认配置。警告 日志服务会不定期更新与升级SQL日志审计功能，专属日志库的索引与默认报表也会自动...
日志类型
日志服务提供的服务日志功能可记录多种日志类型，本文介绍各种日志类型及不同日志类型的日志字段。日志类型 开启服务日志功能时，您可以选择服务日志的类型，具体说明如下表所示。重要 为保证您自定义查询语句的兼容性，建议您在查询语句中...
开启SQL日志审计
执行结果 SQL审计功能已成功开启，相同地域下的 PolarDB-X 1.0 数据库的审计日志会写入同一个日志服务的Logstore中。同时，日志服务为您创建以下默认配置。说明 请勿随意删除或修改日志服务为您默认创建的Project、Logstore、索引和仪表盘...
动作列表
写操作：您可以对日志服务资源进行写入操作。列表操作：您可以对日志服务资源进行查看操作。资源类型 动作（Action）说明 Project log:CreateProject 创建Project。log:DeleteProject 删除Project。log:GetProject 查看Project属性。log:...
使用前须知
阿里云日志服务联合数据库MongoDB推出日志审计功能，将日志服务的部分功能融合到自身的审计日志、慢日志、运行日志中，实现日志实时查询、可视化分析、告警等功能。本文介绍MongoDB日志相关的资源说明、应用场景、费用说明及使用限制。资源...
监控时效性说明
在数据写入日志服务和数据被查询之间存在延时，即便延时很低，也存在数据漏查的风险。例如告警执行时间为12:03:30，查询范围为相对一分钟时，则查询时间范围为[12:02:30,12:03:30)，对于12:03:29秒写入的日志，无法保证在12:03:30这次时间...
使用前须知
当涉及的Logstore的计费模式为按写入数据量计费时，日志服务采集到日志后，日志服务将根据原始写入数据量等进行收费。更多信息，请参见 按写入数据量计费模式计费项。使用限制 仅运行1.7.0及以上软件版本的SAG-1000设备支持流日志功能。...
日志管理
日志库创建完成后，用户通过API或SDK向指定日志库写入日志数据。如果用户希望收集阿里云ECS服务器的数据，日志服务提供的Logtail日志收集服务同样非常方便地收集到日志数据。删除日志库，日志数据是否丢失？删除日志库会导致日志数据丢失，...
日志字段详情
字段 说明_topic_日志主题 redis_audit_log：DB节点的审计日志 redis_proxy_audit_log：Proxy节点的审计日志 account 数据库账号名称 command 执行的Redis命令 db 数据库名称 extend_information 附加信息 instanceid Redis实例ID ip IP...
监控日志服务
日志服务提供服务日志功能，用于记录操作日志、消费组延迟日志、Logtail告警日志、Logtail采集日志和Logtail状态日志，帮助您实时掌握日志服务的使用状况，提高运维效率。前提条件 已开通服务日志。更多信息，请参见 开通服务日志。背景...
C SDK
功能优势 客户端高并发写入：可配置的发送线程池，支持每秒数十万条日志写入，详情参见 性能测试。低资源消耗：每秒20W日志写入只消耗30%CPU；同时在低性能硬件（例如树莓派）上，每秒产生100条日志对资源基本无影响。详情参见 性能测试。...
GetLogsV2-查询Logstore中的日志数据
查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志。(返回结果压缩后传输)。接口说明 日志服务 SDK 目前仅支持 Go、Java、Python 三种语言，OpenAPI 全部已支持。使用过程中注意指定压缩方法，不同语言...
开启SQL审计与分析
执行结果 SQL审计功能开启后，相同地域下的 PolarDB-X 数据库的审计日志会写入同一个日志服务的Logstore中。同时，日志服务为您创建以下默认配置。警告 日志服务会不定期更新与升级SQL日志审计功能，专属日志库的索引与默认报表也会自动...
GetLogsV2
查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志。（返回结果压缩后传输）。日志服务SDK目前仅支持Go、Java、Python三种语言，OpenAPI全部已支持。使用过程中注意指定压缩方法，不同语言实现的压缩...
开启SQL日志审计
执行结果 SQL审计功能已成功开启，相同地域下的 PolarDB-X 1.0 数据库的审计日志会写入同一个日志服务的Logstore中。同时，日志服务为您创建以下默认配置。说明 请勿随意删除或修改日志服务为您默认创建的Project、Logstore、索引和仪表盘...
简介
API请求状态监控 您所有的操作如日志写入、消费、创建Project和Logstore等，都是通过API接口请求的方式实现。您每次操作都对应 internal-operation_log 这个Logstore中的一条日志。如果请求失败，则日志的 Status 字段为一个大于200的整数...
查询日志
阿里云Elasticsearch主要支持的日志类型包括：主日志、Searching慢日志、Indexing慢日志、GC日志、ES访问日志、异步写入日志 和审计日志，各类日志的说明和使用场景如下，更多详细信息请参见 日志说明。日志类型 说明 使用场景 主日志 集群...
使用前须知
阿里云函数计算服务联合日志服务推出函数执行日志查询分析功能，支持将函数调用日志存储到日志服务Logstore中，您可以进行代码调试、故障分析、数据...使用限制 专属日志库不支持写入其他数据，在查询分析、告警、消费等功能上无特殊限制。
日志字段详情
日志字段说明 字段名称 字段说明 示例值_time_在Logstore写入日志数据时的日志时间。1703483369_topic_日志的主题。取值固定为 cloudfirewall_access_log，表示云防火墙的流量日志。cloudfirewall_access_log acl_rule_id 流量命中的访问...
日志消费与查询区别
可以从指定Shard中，按照日志写入Shard的顺序批量读取日志。根据接收日志的时间，设置批量读取Shard日志的起始位置（cursor）。日志查询（LogSearch）提供海量日志查询和分析功能，根据条件进行日志查询与统计。通过查询条件查找符合要求的...
旧版告警设置
原因如下（以执行间隔为1分钟为例）：数据写入日志服务到能够被查询到，这期间存在延时（一般少于3秒）。即使延时很低，也存在数据漏查的风险。例如告警执行时间为12:03:30，查询和分析的时间范围为相对一分钟，即[12:02:30,12:03:30)，...
开通日志功能
该规则将按照行首是否带有日期进行切分，例如您的日志行首是2023-10-10，则该日志将被认为是一块日志的首行，首行和接下来连续不带日期的日志将被作为一条日志写入到日志服务。禁用：不启用日志分割规则，默认使用 进行日志切分。请求级别...
PolarDB云原生数据库
本文介绍PolarDB云原生数据库审计日志、慢日志、错误日志和性能日志的字段详情。审计日志 日志字段 说明_topic_日志主题，固定为polardb_audit_log。owner_id 阿里云账号ID region PolarDB MySQL集群所在地域 cluster_id PolarDB MySQL集群...
云数据库RDS
本文介绍云数据库RDS SQL审计日志、慢日志、错误日志和性能日志的字段详情。审计日志 日志字段 说明_topic_日志主题，固定为rds_audit_log。owner_id 阿里云账号ID region RDS实例所在地域 instance_name RDS实例名 instance_id RDS实例ID ...
使用前须知
当涉及的Logstore的计费模式为按写入数据量计费时，日志服务采集到VPC流日志后，日志服务将根据原始写入数据量等进行收费。更多信息，请参见 按写入数据量计费模式计费项。使用限制 地域限制 日志服务Project和当前资源实例需处于同一地域...
同步时源库为PostgreSQL的注意事项及限制
如为增量同步任务，DTS要求源数据库的WAL日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的WAL日志至少保留7天以上（您可在全量同步完成后将WAL日志保存时间设置为24小时以上），否则DTS可能因无法获取WAL日志而导致任务...
数据编码方式
日志服务使用Protocol Buffer格式作为标准的日志写入格式。Protocol Buffer格式用于结构化数据交换格式，当用户需要写入日志时，需要把原始日志数据序列化成如下格式的Protocol Buffer数据流，然后才能通过API写入服务端。message Log { ...
采集-IoT/嵌入式日志
功能优势 C Producer作为IoT设备的量身定制方案，在以下方面具备明显优势：客户端高并发写入：可配置的发送线程池，支持每秒数十万条日志写入，详情参见性能测试。低资源消耗：每秒20万日志写入只消耗70%CPU；同时在低性能硬件（例如树莓派...
WAL日志管理
true：临时Slot false：永久Slot 数据库名称 database Replication Slot所处的数据库。WAL堆积量 无对应字段。该参数取值由RDS内核计算所得。计算方法 SELECT pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_insert_lsn(),restart_lsn))AS...
- 产品推荐
- 这些文档可能帮助您