pull_log_dump
调用CLI命令并发下载大量日志数据到本地文件。请求语法 aliyunlog log pull_log_dump-project_name=<value>-logstore_name=<value>-from_time=<value>-to_time=<value>-file_path=[-batch_size=][-compress=][-encodings=][-shard_list=][-...
云产品日志概述
云安全中心 安全日志 漏洞日志 基线日志 安全告警日志 云平台配置检查日志 网络日志 DNS解析日志 本地DNS日志 网络会话日志 Web访问日志 主机日志 进程启动日志 网络连接日志 登录流水日志 暴力破解日志 进程快照日志 账号快照日志 端口...
集群自定义监控报表
集群数据库 io_write_rt SSStore 每次写入平均耗时 集群数据库 io_read_size SSStore 每秒读取数据量 集群数据库 io_size SSStore 每秒处理数据量 集群数据库 io_write_size SSStore 每秒写入数据量 集群数据库 transaction_multi_...
分析网站日志
日志服务支持通过SQL92语法分析日志，并提供丰富的统计图表展示分析结果。本文介绍如何在日志服务控制台上分析网站日志，并通过合适的统计图表可视化展示分析结果。前提条件 已采集网站日志。具体操作，请参见 数据采集。已创建索引。具体...
启用数据平面日志采集
查看数据平面日志 将访问日志采集到阿里云日志服务SLS后，您可以通过 日志中心 页面的 数据平面日志 页签，查看、检索基于网关或Sidecar的访问日志。查看数据面日志大盘 将访问日志采集到阿里云日志服务SLS后，您可以通过 日志中心 页面的 ...
启用数据平面日志采集
查看数据平面日志 将访问日志采集到阿里云日志服务SLS后，您可以通过 日志中心 页面的 数据平面日志 页签，查看、检索基于网关或Sidecar的访问日志。查看数据面日志大盘 将访问日志采集到阿里云日志服务SLS后，您可以通过 日志中心 页面的 ...
东软案例
应用海量日志检索。定点用户行为追踪。故障数据全量回溯分析。AI辅助异常检测等场景。客户价值 一体化指标、日志、代码链路、网络包等结构化、半结构化、无结构数据存储、检索、分析能力，降低开发部署复杂度。云端低成本海量运维数据存储...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
DLA提供强大的分析能力，可以对投递到OSS上的日志按年、月、日进行多维度的分区，提高日志的命中率，降低扫描量，从而以极低的成本、极高的性能来完成大数据量历史日志分析。实施步骤 假设您的应用服务部署在ECS集群上，该集群每台机器上的...
如何解决查询分析与流处理两种场景下的数据口径差异
通过记录这两种时间戳，我们可以在日志服务中进行不同的操作和分析，适用于两种不同的使用场景：查询和分析 在常见的业务场景中，使用_time_字段可以按照日志时间进行查询和排序，以便在特定时间范围内检索和分析日志数据。流处理功能 使用...
畅捷通
并发量大 几万个点并发发送数据，每天产生的各种日志与消息达到TB级。自建的ELK系统性能较差，优化性能需要耗费大量开发资源。类型杂 访问类、系统类、应用类、通知类、消息类等等，种类繁多、格式千奇百怪，为数据清洗增加了巨大的难度。...
使用前须知
阿里云日志服务与全站加速DCDN联合推出日志功能，支持近实时采集DCDN实时日志。日志服务提供实时查询、可视化分析、告警、投递、加工等一站式服务。本文介绍DCDN实时日志相关的功能介绍、资产详情、费用说明及使用限制。功能介绍 您的业务...
备份大小
方法三：减少不必要的增删改，减少对大字段的更新 对数据库的增删改操作都会导致日志备份大小增加。说明 使用 SQL洞察 功能可以查看数据库的增删改查记录。关闭日志备份 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航...
使用前须知
海量：访问日志数据规模很大，处理访问日志需要考虑性能和成本问题。日志中心可自定配置预聚和功能，实时计算聚合指标，计算后的聚合结果可降低几个数量级，使查询速度大大提升。实时：秒级分析处理实时产生的日志。弹性：可任意设置日志...
备份大小
备份大小=数据备份的大小+日志备份的大小 查看备份大小 登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在左侧导航栏中，选择 实例列表>MySQL。找到目标实例，单击 操作 列的 详情。在 基本信息 页面右下角，查看备份大小。...
WAL日志并行回放
Backend进程：主动读取数据块时，根据PageTag来检索LogIndex数据，获得修改该数据块的LSN日志链表，对数据块执行完整日志链的回放操作。Dispatcher进程利用LSN来检索LogIndex数据，按照LogIndex插入顺序枚举PageTag和对应LSN，构建 {LSN->...
使用前须知
传统型负载均衡结合日志服务强大的大数据计算能力，秒级分析处理实时产生的日志。重要 99.9%的情况下，日志延迟不超过3分钟。弹性：您可按CLB实例级别开通或关闭访问日志功能，可任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长...
AliES内核增强版功能介绍
Openstore智能混合存储 适用于有海量数据的长期存储需求，数据查询QPS较低且查询时延容忍度相对较高的日志检索、指标分析、数据归档等场景。基于存算分离架构，无须提前规划和购买集群数据存储空间，按实际存储数据量按量计费，存储单价相...
RDS SQL Server空间不足问题
由于tempdb库总是使用简单恢复模式，因此tempdb库的日志文件通常很小，但是数据文件容易增长地很快，例如创建大量临时表、连接大表或排序等都可能导致tempdb库数据文件空间增加。解决方案 尽量从数据库应用层面规避，例如减少不必要的临时...
最佳实践
分析Nginx访问日志 分析Apache日志 分析IIS日志 分析Log4j日志 分析网站日志 查询分析程序日志 分析负载均衡7层访问日志 分页显示查询分析结果 分析行车轨迹日志 分析销售系统日志 数据加工 调用函数清洗数据 事件判断 处理日期时间 数据...
数据模型
本文介绍采集到日志服务中的日志数据的数据模型。为方便您理解日志服务中日志数据的数据模型并顺利使用，从如下基本概念展开介绍。地域（Region）地域为阿里云的服务节点。通过在不同的阿里云地域部署服务，实现您的服务距离您的客户更近，...
监控与日志
日志服务 云原生多模数据库 Lindorm 集成了阿里云日志服务SLS，您可以在Lindorm管理控制台开启审计日志功能，通过日志服务收集和处理云产品的操作信息、运行状态、业务动态等日志数据，并进行实时分析和投递，实现对日志的实时监控和审计。...
使用前须知
结合日志服务强大的大数据计算能力，秒级分析处理实时产生的日志。弹性：可任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长需求。智能：基于达摩院智能AIOps算法，提供各类指标自动巡检功能，有助于更快、更准确地发现并定位...
常见问题
如何采集K8s集群的容器日志 SLB访问日志采集不到 日志采集Agent对比 日志服务采集功能与Kafka对比 Windows系统的ECS安装Logtail服务日志提示异常信息 如何配置日志服务的时间转换格式 数据存储常见问题 日志服务如何存储、管理用户的日志？...
向量检索使用指南
高效检索：通过使用ANN技术，能够在大规模数据集上实现快速搜索。向量检索正逐渐成为搜索引擎、推荐系统以及其他多种应用中的核心技术。例如，电商网站使用它来提升商品推荐的相关性，社交媒体平台使用它来提高内容发现的精确度等。前提...
概述
日常工作中，企业通常会对实时日志数据进行开发。其中：日志数据来源可以为ECS、容器、移动端、开源软件、网站服务或JavaScript。本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。方案 说明...
采集-IoT/嵌入式日志
配置如下：C Producer配置 ARM（树莓派）缓存：10 MB 聚合时间：3秒（聚合时间、聚合数据包大小、聚合日志数任一满足即打包发送）聚合数据包大小：1 MB 聚合日志数：1000 发送线程：1 自定义tag：5 X86 缓存：10MB 聚合时间：3秒（聚合时间...
时空检索
时空检索是指基于空间元数据从空间和时间两个范围统一检索数据，检索结果支持查看详情和下载。前提条件 已添加空间元数据，具体操作，请参见 添加数据。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单...
使用前须知
负载均衡结合日志服务强大的大数据计算能力，秒级分析处理实时产生的日志。重要 99.9%情况下，日志延迟不超过3分钟。弹性：您可按ALB实例级别开通或关闭访问日志功能，可任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长需求。...
全文检索
全文检索（Full Text Search）指数据库将自然语言文本转换为可被查询数据的能力。云原生数据仓库AnalyticDB PostgreSQL版 使用PostgreSQL内核，提供完善的全文检索功能。本文介绍 AnalyticDB PostgreSQL版 如何实现“一站式全文检索”业务...
查询和分析日志
SQL增强 当您在使用SQL分析时，如果数据量较大，日志服务无法在一次查询中完整分析这个时间段内的所有日志。通过开启SQL独享版，增加计算资源，可以提升单次分析的数据量。更多信息，请参见 开启SQL独享版。Scan扫描 在某些场景下无法创建...
使用云监控监测日志服务的使用情况
您可以通过阿里云云监控服务来监控日志服务的写入流量、总体QPS、服务状态等指标，获取日志服务的使用情况。同时您可以通过创建报警规则，对日志采集、Shard资源使用等异常进行监控。前提条件 RAM用户查看云监控指标，需要主账户为其授予云...
使用前须知
阿里云负载均衡结合日志服务强大的大数据计算能力，秒级分析处理实时产生的日志。弹性：您可按照CLB实例级别开通或关闭访问日志功能，任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长需求。智能：基于达摩院智能AIOps算法，提供...
查询分析程序日志
数据量大：程序日志一般比访问日志大1个数量级。分布的服务器多：大部分应用为无状态模式，运行在不同框架中，例如云服务器、容器服务等，对应的实例数从几个到数千个，需要有一种跨服务器的日志采集方案。运行环境复杂：程序运行在不同的...
通过日志服务迁移日志数据至MaxCompute
本文为您介绍如何通过日志服务的直接投递功能迁移日志数据至MaxCompute。前提条件 执行本操作的账号为主账号。已开通日志服务，详情请参见 开通日志服务。背景信息 日志服务提供将实时采集的日志数据投递至MaxCompute的功能。如果启用该...
开启SQL独享版
当使用SQL分析时，如果数据量较大，日志服务可能只返回部分匹配的结果。增加Shard数量可以提升读写能力，但只对新写入的数据生效，而且会导致 实时消费 的客户端过多。SQL独享版支持更强大的SQL分析能力，可以解决这一问题，典型场景包括：...
复制Logstore数据
如果您需要将Logstore中的日志数据保存多份，可以使用数据加工功能复制Logstore数据。本文介绍复制Logstore数据的使用场景和操作步骤。使用场景 某公司访问日志被采集存储在同一阿里云账号中的多个Project。现有需求将 project-a 中 ...
加工原理
日志服务提供的数据加工功能，通过编排内置的两百多个函数，使用协同消费组对日志数据进行消费，实现对日志数据的加工处理。本文档主要介绍进行数据加工时日志数据的调度原理，以及加工规则引擎的工作原理。调度原理 日志服务的数据加工...
Cloud Shell概述
阿里云云命令行Cloud Shell已经集成日志服务CLI，您无需部署配置，可以直接通过Cloud Shell管理日志服务资源和下载日志服务数据。什么是Cloud Shell？Cloud Shell允许您通过命令行管理阿里云资源。通过浏览器启动Cloud Shell时，Cloud ...
概述
在进行日志数据查询分析时，日志中的部分信息需要和外部存储（ExternalStore）的信息进行关联查询，从而进一步丰富日志服务中的日志数据。外部存储简介 外部存储和Logstore的区别 项目 外部存储（ExternalStore）Logstore 数据存储 日志...
对接DataV
DataV是阿里云的可视化产品，能帮助您通过图形化的界面轻松搭建专业水准的可视化应用，丰富表现日志分析数据。本文档介绍如何通过日志服务对接DataV进行大屏数据展示。前提条件 已采集数据。具体操作，请参见 数据采集。已创建索引。具体...
- 产品推荐
- 这些文档可能帮助您