强一致分布式事务
Binlog日志服务 事务型的分布式数据库除了面向在线业务的高并发写入以外，一般还需要将在线数据同步给下游的灾备数据、汇聚业务或数据仓库系统等，下游业务对于事务日志的一致性也有比较强的诉求，例如事务不能乱序、事务原子性、DDL支持...
迁移RDS SQL Server数据到本地SQL Server
您可在目标数据库的 属性>文件 中可以查看到数据文件和日志文件的地址。执行完成后，数据库 testdb 将显示 正在还原 状态。说明 如果只需恢复全量备份数据，请直接跳至步骤7。如果还需要恢复增量备份数据，请执行步骤6。将数据库从增量备份...
消费-搭建监控系统
统一的配置管理：需要收集哪些日志文件，只要在服务端配置一次，配置会自动下发到所有机器。结构化的数据：所有数据格式化成日志服务的数据模型，方便下游消费。弹性的服务能力：处理大规模数据写入和读取的能力。图 1.监控系统架构 如何...
查看全局数据
日志量整体趋势、产品日志量趋势 过去30天的日志量趋势 当天的统计有一小时延迟 OSS全局数据 仪表盘 描述 总日志量、小时日志量、天日志量 OSS日志全局统计 访问日志总日志量、小时日志量、天日志量 访问日志统计 计量日志总日志量、小时...
Logtail限制说明
警告 如果日志文件为其它编码格式则会出现乱码、数据丢失等问题。日志文件大小 无限制。日志文件轮转 日志轮转队列大小默认为20。您可通过启动参数 logreader_max_rotate_queue_size 进行调整。具体操作，请参见 设置Logtail启动参数。支持...
Logtail
警告 如果日志文件为其它编码格式则会出现乱码、数据丢失等问题。日志文件大小 无限制。日志文件轮转 日志轮转队列大小默认为20。您可通过启动参数 logreader_max_rotate_queue_size 进行调整。具体操作，请参见 设置Logtail启动参数。支持...
迁移指南
对于分区中有许多文件的大型表，这可能比从Parquet表加载单个分区（使用直接分区路径或WHERE）要快得多，因为在目录中列出文件通常比从事务日志中读取文件列表慢。将现有应用程序移植到Delta Lake时，应避免执行以下操作，这些操作会绕过...
常见问题
例如执行SQL分析的权限，读取日志库数据的权限。确保已提供足够的计算资源。资源限制说明请参见 查询与分析的使用限制。避免使用逻辑过于复杂的SQL语句以及SQL时间窗口设置过大，否则将导致计算超时（服务端超时时间为10分钟）。通过定时...
算法说明
相似度匹配算法 相似度匹配算法使用外部日志模板库（可以使用日志模板发现任务构建初始的日志模板库），对日志数据进行匹配分析。统计日志模板库中每一个日志模板的出现次数变化情况，并及时发现新增的日志模板。相似度匹配算法使用向量...
IIS模式解析
配置说明 参数名称 说明 日志格式 选择您的IIS服务器日志采用的日志格式，具体说明如下：IIS：Microsoft IIS日志文件格式。NCSA：NCSA公用日志文件格式。W3C：W3C扩展日志文件格式。IIS配置字段 配置IIS配置字段，具体说明如下：日志格式为...
管理日志存储空间
管理日志存储空间 为避免因日志存储空间占满，新的日志数据无法写入专属日志库而造成日志数据不完整的情况，建议您定期关注日志存储空间的使用情况。登录 云防火墙控制台。在左侧导航栏，选择 日志分析>日志分析。在 日志查询 页面右上方，...
GTS云服务下线迁移方案
前提条件 已开通并使用GTS云服务，是否开通GTS云服务可通过 控制台 查看事务分组列表有无数据进行判断。支持以下地域开通GTS云服务：华北2（北京）华东1（杭州）华东2（上海）华南1（深圳）华北3（张家口）华北1（青岛）迁移方案 由于GTS可...
日志主题
日志可以通过日志主题（Topic）来划分，您可以在日志服务控制台上创建Logtail配置时设置日志主题，也可以在使用API或SDK上传数据时设置日志主题。空-不生成Topic 机器组Topic属性 文件路径正则 静态主题生成 空-不生成Topic 设置 Topic生成...
Apache模式解析
Apache日志简介 Apache服务器会根据Apache日志配置文件中指定的日志打印格式、日志文件路径和名称输出Apache日志。例如 CustomLog"/var/log/apache2/access_log"combined，表示日志打印时使用combined格式，日志文件路径为/var/log/apache2...
日志字段详情
字段 说明_topic_日志主题 redis_audit_log：DB节点的审计日志 redis_proxy_audit_log：Proxy节点的审计日志 account 数据库账号名称 command 执行的Redis命令 db 数据库名称 extend_information 附加信息 instanceid Redis实例ID ip IP...
快速使用WAF日志服务
Web应用防火墙（Web Application Firewall，简称WAF）日志服务通过阿里云日志服务实时地采集已接入WAF防护的网站业务的全量日志，并对采集到的日志数据进行查询与分析，以丰富的仪表盘形式展示查询结果，满足等保合规要求和网站业务的防护...
日志设置与日志容量管理
您也可以实时查看日志容量，及时升级容量，避免日志数据无法写入专属日志库。本文介绍如何进行日志设置和日志容量管理。前提条件 已开启WAF日志服务。具体操作，请参见 开启或关闭日志服务。已将Web业务添加为WAF 3.0的防护对象。具体操作...
TCC 模式接入
如果您使用了 TCC 事务模式，本文将帮助您了解 TCC 事务模式如何接入 GTS。前提条件 在将 TCC 事务模式接入 GTS 前，准备...查看事务分组运行状态。TCC 事务模式样例 sample-txc-mt-reserve-simple 样例 sample-txc-mt-compensate-simple 样例
管理日志存储空间
说明 为避免因日志存储空间容量占满，新的日志数据无法写入专属日志库，而造成日志数据不完整，请您及时升级日志存储空间容量。清空日志存储空间：单击 日志服务 页面上方的 清空，并确认清空您日志存储空间中的全部日志。开通WAF日志服务...
使用前须知
阿里云日志服务和数据库审计推出日志功能，将数据库审计相关的日志存储到日志服务中，助力企业顺利通过等保合规审计。本文介绍数据库审计日志功能相关的资产详情、费用说明及使用限制等。资产详细 专属Project和Logstore 开启日志功能后，...
数据传输预检查
启动数据迁移项目时，为确保项目的顺利运行，OceanBase 数据传输功能会自动启动预检查环节，针对源端和目标端的数据库连通性、相关配置的正确性、增量日志参数等问题或设置进行检查。本文为您介绍数据迁移项目预检查环节的常见报错和解决...
通过消费组读取文本日志进行模板匹配
日志模板匹配通过在线匹配日志和模板，监控日志模板的统计信息，例如数量变化。本文介绍通过读取日志文本进行模板匹配的操作步骤。前提条件 已采集日志到源Logstore或Metricstore。具体操作，请参见 数据采集、接入时序数据。重要 本文中所...
审计操作
本文介绍日志审计服务在采集到日志后的审计操作。前提条件 已完成日志审计配置。具体操作，请参见 开启日志采集功能。已有对应权限的账号，权限配置请参见 配置权限助手。如果您需要查询日志、查看报表，则当前登录的账号需要对日志审计...
如何实现文件中的日志被采集多份
解决方案 将日志数据存储到不同Logstore 不需要配置多个Logtail采集配置，可以使用日志服务数据加工功能对日志进行复制，避免对同主机的其他服务性能造成影响。具体操作，请参见 复制Logstore数据。创建多个Logtail采集配置 主机场景 创建...
订阅PolarDB MySQL版集群日志
为满足企业自定义管理日志的需求，PolarDB 联合日志服务SLS推出了数据订阅功能，可以将您拥有的所有 PolarDB MySQL版 集群日志投递到日志服务SLS的中心化项目中统一进行管理。本文将介绍 PolarDB MySQL版 集群日志订阅和日志查看的方法。...
加工规则错误
本文档为您介绍数据加工规则错误的原因以及排查处理方法。读取源Logstore数据成功后，加工引擎开始对源Logstore的日志事件进行加工。该环节产生错误主要是由于在数据加工过程中，全部或者部分日志事件不适配加工规则，从而引发的逻辑错误。...
Logtail配置
preserve boolean 否 true 如果一个日志文件在指定时间内没有任何更新，则认为该文件已超时。可选值如下：true（默认）：永不超时。false：如果日志文件在30分钟内没有更新，则认为已超时，并不再监控该文件。preserveDepth integer 否 1 ...
开启日志投递
使用限制 本文操作仅适用于新版数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务（DataServing）和数据湖（Hadoop）场景的集群。支持日志投递的服务有hdfs、yarn、yarn_application、hive、spark、jindodata、tez...
如何解决查询分析与流处理两种场景下的数据口径差异
如果这个时间戳和应用程序日志时间的定义不一样（例如，事务日志是在事件发生之后基于数据库记录创建的，但业务需要定义数据中的create_time字段为日志时间），Logtail支持设置时区偏移，或者通过插件配置将日志行中的时间字段（业务时间）...
开启SQL审计与分析
执行结果 SQL审计功能开启后，相同地域下的 PolarDB-X 数据库的审计日志会写入同一个日志服务的Logstore中。同时，日志服务为您创建以下默认配置。警告 日志服务会不定期更新与升级SQL日志审计功能，专属日志库的索引与默认报表也会自动...
日志类型
M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b file_dev 日志文件的device ID。说明 当 file_name 为 logstore_...
如何关闭日志服务或停止计费？
云产品日志 在弹性计算、存储服务、安全、数据库等多种阿里云云产品 开通日志分析服务，会在日志服务控制台自动创建对应的Project和Logstore。如果不需要云产品日志：在对应云产品控制台关闭日志分析服务。在日志服务控制台删除Project或...
如何选择资源包规格？
新版 资源包可用于抵扣日志服务所有计费项，具备多种规格并支持叠加购买。如果您每月的日志服务费用较为稳定，则您可以通过历史月账单来选择合适的资源包规格。例如，您的日志服务历史月账单都稳定在1000 元 左右，则您可以购买1000 CU的...
错误排查概述
例如：e_dict_map(res_rds_mysql(.database="userinfo",table="user"),"username",["city","school","age"])单击加工任务的 修改规则，选择对应的时间范围，并单击预览数据来查看结果。如果能够重现，可以通过注释掉特定语句重试预览进行...
保留字段
Logtail采集的日志文件路径，Logtail为日志自动填加该字段。可用于日志查询、分析、自定义消费。对该字段进行SQL分析时，需要给该字段加上双引号。tag_:_hostname_字符串格式。索引设置：开启索引后，日志服务默认为_tag_:_hostname_创建...
最佳实践
本文罗列了日志服务命令行工具CLI相关的...查看日志服务基础资源使用状况 配置更多的Shard 配置多个CLI操作账号 创建Logtail配置 跨地域复制Project配置 拉取日志 查询日志 跨地域复制日志、重新历史数据索引与数仓投递 自建ELK迁移至日志服务
如何查看日志服务的存储容量和消费记录
本文介绍查看日志服务的消费记录、Logstore的存储容量、停止Logstore的计费等问题。如何查看日志服务的存储容量或消费记录？您可以通过 CloudLens for SLS 或 成本管家 可视化查看存储容量。重要 如果新开通 成本管家 或 CloudLens for SLS...
Logstore相关问题
本文介绍日志丢失、删除日志、降低日志存储费用等常见问题。Project无法删除？删除Project或Logstore的步骤，请参见 管理Project、管理Logstore。如果无法删除，请参见 删除Project时提示“操作拒绝，权限不足”。日志服务SLS的日志丢失？...
开启控制平面日志和日志告警功能
本文介绍如何在服务网格ASM控制台中配置控制平面日志采集和告警，将日志推送到日志服务的LogStore中进行存储、查询分析并配置日志告警。前提条件 阿里云账号已开通阿里云日志服务SLS。具体操作，请参见 开通日志服务。重要 将日志采集到ASM...
开启主控实例控制平面组件日志及审计日志功能
本文介绍如何在分布式云容器平台控制台中开启主控实例控制平面组件日志及审计日志功能，将相关日志投递到日志服务中。前提条件 已创建ACK集群。具体操作，请参见 创建集群。操作步骤 方式一：在创建主控实例时开启 登录 分布式云容器平台...
- 产品推荐
- 这些文档可能帮助您