使用前须知
Web应用防火墙（WAF）的日志服务功能帮助您采集并存储WAF防护对象（云产品实例、域名）的Web访问及攻击防护日志，并基于阿里云日志服务，提供查询分析、统计图表、报警服务、下游计算对接与投递等能力，帮助您专注于分析，远离琐碎的查询和...
如何通过完整正则模式采集多种格式日志
完整正则模式要求日志必须采用统一的格式，但有些时候日志中可能会包含多种格式，您可以采用Schema-On-Write和Schema-On-Read两种模式处理。以 Java 日志为例，作为...说明 此方案仅推荐应用于同时分析的日志数量较小的场景下（例如千万级）。
如何分析非索引字段？
创建或重建索引 如果是分析新写入的日志，则直接为目标字段创建索引且开启统计功能。具体操作，请参见 创建索引。如果是分析历史日志，则需要对历史日志重建索引且开启统计功能。具体操作，请参见 重建索引。打开扫描模式 如果您无法创建...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
X-Pack高级特性
X-Pack高级特性（开源Elasticsearch白金版）是基于开源Elasticsearch原X-Pack商业版插件开发的，包含了安全、SQL、机器学习、告警、监控等多个高级特性，从应用开发和运维管理等方面增强了Elasticsearch的服务能力。阿里云Elasticsearch...
使用SQL管理外部项目
基于数据湖构建DLF和对象存储OSS的外部项目操作 基于Hadoop外部数据源的外部项目操作 创建与外部数据源中表结构相同的表 基于数据湖构建DLF和对象存储OSS的外部项目操作 在创建External Project后，您可以通过 MaxCompute客户端 进入创建的...
简介
日志服务支持收集API网关、SLB等云产品的日志数据，您需要在配置前通过 云资源访问授权 页面完成服务角色的创建与授权。角色 默认权限 说明 AliyunLogArchiveRole AliyunLogArchiveRolePolicy 日志服务默认使用此角色访问您的SLB云产品日志...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
采集-通过WebTracking采集日志
本文档为您介绍如何通过WebTracking采集日志数据到日志服务中，并对采集到的日志数据进行查询和分析。背景信息 当发送重要邮件时为了确认对方已读，都会在邮件中设置 读取回执 标签，可以在对方已读时收到提醒信息。读取回执这种模式用途很...
什么是EMR on ECS
EMR on ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合，使得您可以更加灵活地配置和管理EMR集群，从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS，您可以快速创建、管理和运维EMR集群，同时也能够更加高效地使用计算和...
使用前须知
阿里云日志服务和移动数据分析（Mobile Analytics）联合推出日志功能，实时采集日志到日志服务。日志服务提供查询、分析、加工、消费等一站式服务，帮助您多维度分析用户行为，提升App的用户体验。本文介绍移动数据分析日志功能相关的资产...
SmartData常见问题
当您觉得Bigboot占用日志过大时，针对已有的日志文件需要您手动删除，后续您可以参照以下步骤新增配置，将日志级别由INFO修改为WARN，以减少打印过多的日志信息。在EMR控制台新增配置。在SmartData服务的 配置 页面，单击 namespace 页签。...
哈啰出行
哈啰出行通过把日志数据迁移到日志服务，替代原有的Kafka、ES、ClickHouse，累积节省成本30%，同时满足了稳定性、扩展性以及日志查询与分析的需求。公司简介 哈啰出行是本地出行及生活服务平台，致力于应用数字技术的红利，为人们提供更...
云监控消费
云监控可以直接消费Logstore...基于阿里云Apsara Monitor服务，提供稳定可靠的日志监控体验。全SaaS服务，几乎无时间成本、人力成本和运维成本，让您快速拥有企业级业务日志实时监控能力。创建日志监控操作步骤请参见 管理SLS日志的监控指标。
创建Hadoop计算源
DLF获取方式 重要 DLF获取方式仅支持计算设置为E-MapReduce5.x Hadoop的集群。使用DLF方式获取元数据，请先在配置文件中上传hive-site.xml配置文件。参数 说明 Endpoint 填写集群在DLF数据中心所在地域的Endpoint。如何获取，请参见 DLF ...
使用前须知
阿里云DDoS高防（新BGP）、DDoS高防（国际）联合日志服务推出全量日志分析功能，提供网站访问日志、CC攻击日志的实时采集、查询、分析、加工、消费等一站式服务，帮助您排查网站访问异常、追踪CC攻击者来源、分析网站运营情况等。...
常见问题
对于已经运行结束的作业，可以通过Flink History Server查看作业的统计信息或者通过命令 yarn logs-applicationId application_xxxx_yyyy 访问作业的日志，已经运行结束的作业的日志默认保存在HDFS集群的 hdfs:/tmp/logs/$USERNAME/logs/...
使用前须知
阿里云云防火墙联合 日志服务 推出日志分析功能，提供互联网流量日志的实时采集、查询、分析、加工、消费等一站式服务，满足等保合规要求。本文介绍云防火墙日志分析功能相关的资产详情、费用说明及使用限制等。资产详情 专属Project和...
消费-计量计费日志
本文介绍一种基于日志服务按量计费方案，该方案每天处理千亿级计量日志，被众多云产品使用。计量日志生成计费结果过程 计量日志记录了您所涉及计费的项目，后端计费模块根据计费项和规则进行运算，产生最后账单。例如如下原始访问日志记录...
什么是OSS-HDFS服务
功能优势 通过OSS-HDFS服务，无需对现有的Hadoop、Spark大数据分析应用做任何修改。通过简单的配置即可像在原生HDFS中那样管理和访问数据，同时获得OSS无限容量、弹性扩展、更高的安全性、可靠性和可用性支撑。作为云原生数据湖基础，OSS-...
大数据型
Hadoop MapReduce、HDFS、Hive、HBase等 Spark内存计算、MLlib等 互联网行业、金融行业等有大数据计算与存储分析需求的行业客户，进行海量数据存储和计算的业务场景 ElasticSearch、日志等 d1包括的实例规格及指标数据如下表所示。实例规格...
可视化概述
日志服务支持可视化展示您的查询与分析结果。您可以根据分析需求选用合适的统计图表类型展示查询和分析结果，并将结果保存到实时刷新的仪表盘中。此外，您还可以将日志服务与第三方可视化工具对接。可视化方式 日志服务支持的可视化方式...
使用前须知
阿里云日志服务联合短信服务推出短信日志分析功能，近实时采集短信服务全量日志到日志服务。...通过短信日志分析的内置模板，可以清楚查看地域分布和运营商分布。如果内置分析模板不能满足需求，您可以通过SQL语法分析发送的数据。
工作原理
日志服务提供定时SQL功能，用于定时分析数据、存储聚合数据、投影与过滤数据。本文介绍定时SQL功能的背景信息、功能简介、基本概念、调度与执行场景、使用建议等信息。背景信息 基于时间的数据（日志、指标）在日积月累后的数量是惊人的。...
开启SQL独享版
您可以通过开启SQL独享版，增加计算资源，提升单次分析的数据量。本文为您介绍SQL独享版的概念和如何开启SQL独享版。前提条件 已创建Standard Logstore。具体操作，请参见 创建Logstore。已采集日志。具体操作，请参见 数据采集。已配置...
开通日志分析功能
本文介绍如何在NAS控制台上开通日志分析功能，将日志采集到日志服务中。前提条件 已创建文件系统并完成挂载。具体操作，请参见 挂载文件系统目录说明。已授权NAS使用AliyunNASLogArchiveRole角色访问日志服务。单击 云资源访问授权，根据...
使用前须知
阿里云日志服务联合短信服务推出短信日志分析功能，近实时采集短信服务全量日志到日志服务。...通过短信日志分析的内置模板，可以清楚查看地域分布和运营商分布。如果内置分析模板不能满足需求，您可以通过SQL语法分析发送的数据。
JindoFS实战演示
Impala如何高效查询OSS数据 Impala如何高效查询OSS数据 2021-06-08 Apache Impala是一个开源的大数据查询分析引擎，能够快速查询分析存储在Hadoop集群的PB级数据。如果您已将HDFS数据迁移至OSS中，可通过在Impala中使用JindoFS SDK，高效...
Alibaba CloudLens Copilot for OSS使用指南
Alibaba CloudLens Copilot for OSS是基于日志服务的CloudLens for OSS功能为您提供的智能可观测数据分析服务，利用通义千问的大语言模型的能力，为您提供的云产品可观测数据分析智能助手。通过您的输入进行意图识别，结合日志服务在Cloud ...
注册EMR集群至DataWorks
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
分析Nginx访问日志
日志服务支持采集Nginx日志，并进行多维度分析。本文介绍分析网站访问情况、诊断及调优网站和重要场景告警的分析案例。前提条件 已采集Nginx访问日志，详情请参见 使用Nginx配置模式采集日志。在日志采集配置向导中，已根据日志字段自动...
使用数据实验室
日志服务数据实验室为您提供各种场景的模拟日志数据及各种公共数据集数据，便于您熟悉日志服务的查询分析、查看报表等各种操作。本文介绍如何使用阿里云数据实验室。前提条件 已开通日志服务。首次登录 日志服务控制台 时，根据页面提示...
ORDER BY子句
注意 在查询和分析JSON类型的日志时，需注意以下事项。更多信息，请参见 查询和分析JSON日志。必须给字段名称加上JSON中父路径前缀，例如 content.time.request_time。分析语句中的JSON字段名称必须使用双引号（""）包裹，例如"content....
通过DaemonSet方式采集Kubernetes容器文本日志
如果需要只使用一个Logtail实例收集Kubernetes节点上所有容器的日志，可以使用DaemonSet方式在Kubernetes集群上部署Logtail。本文介绍DaemonSet方式采集容器文本日志的工作原理、使用限制、前提条件、操作步骤等信息。工作原理 DaemonSet...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
通过Data Explorer构建查询和分析语句
高级统计 日志占比 统计满足特定条件的日志数量及其占比。Top N 统计目标字段取值频率最高的N个值，并计算每个值的出现频率及百分占比。Rare N 统计目标字段取值频率最低的N个值，并计算每个值的出现频率及百分占比。IP分布 统计IP地址所属...
定时SQL Exactly-Once
日志服务定时SQL保证每次任务的计算结果都以Exactly-Once方式写入到目标存储库（Logstore和MetricStore），确保数据不会重复写入，也不会丢失。日志服务基于Logstore的幂等写入来实现定时SQL结果数据的Exactly-Once。说明 本文内容适用于...
插件配置概述
6.0及以上版本 安装、卸载、词库配置 重要 Elasticsearch 7.16及以上版本和部分地域的基于全新云原生管控的7.10版本实例不支持analysis-aliws插件的词库配置功能。aliyun-sql SQL解析插件。使用此插件您可以像使用普通数据库一样使用SQL...
DevOps日志分析实战之Nginx日志分析
本视频介绍如何通过日志服务进行Nginx日志分析。
配置Lindorm Spark节点
任务编排的Lindorm Spark节点可以通过Lindorm计算引擎高效地完成分布式计算任务，满足用户在数据生产、交互式分析、机器学习和图计算等场景中的计算需求，同时可以方便地读取Lindorm宽表引擎数据，与OSS上的数据进行联合分析。前提条件 您...
- 产品推荐
- 这些文档可能帮助您