基于SLS+OSS+DLA构建海量、低成本日志分析方案
DLA提供强大的分析能力，可以对投递到OSS上的日志按年、月、日进行多维度的分区，提高日志的命中率，降低扫描量，从而以极低的成本、极高的性能来完成大数据量历史日志分析。实施步骤 假设您的应用服务部署在ECS集群上，该集群每台机器上的...
什么是MaxCompute
MaxCompute适用于大型互联网企业的数据仓库和BI分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。详细发展历程、产品荣誉及客户案例请参见 发展历程 和 客户案例。MaxCompute还深度融合了阿里云如下产品：DataWorks ...
查看Trace实例详情
接入Trace数据后，您可以在Trace实例详情页面，进行查看Trace数据详情、Trace拓扑、入口事务指标、慢Trace，查询和分析日志数据，管理Logstore和Metricstore等操作。前提条件 已接入Trace数据。具体操作，请参见 接入trace数据。进入 Trace...
如何解决查询分析与流处理两种场景下的数据口径差异
您在使用阿里云日志服务（SLS）查询分析和和流处理时，难免会碰到数据口径差异，您可以使用两种时间戳（_time_和_receive_time_）解决。问题现象 在使用日志服务查询分析时，难免会碰到源端时间字段同步到目标端之后，发生时间不一致的问题...
开通日志功能
本文介绍如何在移动研发平台EMAS控制台上开通日志功能，将日志推送到日志服务中。...后续步骤 日志服务采集到移动数据分析日志后，您可以执行查询分析、下载、投递、加工、创建告警等操作。具体操作，请参见 云产品日志通用操作。
使用前须知
阿里云日志服务和移动数据分析（Mobile Analytics）联合推出日志功能，实时采集日志到日志服务。日志服务提供查询、分析、加工、消费等一站式服务，帮助您多维度分析用户行为，提升App的用户体验。本文介绍移动数据分析日志功能相关的资产...
最佳实践
分析Nginx访问日志 分析Apache日志 分析IIS日志 分析Log4j日志 分析网站日志 查询分析程序日志 分析负载均衡7层访问日志 分页显示查询分析结果 分析行车轨迹日志 分析销售系统日志 数据加工 调用函数清洗数据 事件判断 处理日期时间 数据...
pull_log_dump
调用CLI命令并发下载大量日志数据到本地文件。请求语法 aliyunlog log pull_log_dump-project_name=<value>-logstore_name=<value>-from_time=<value>-to_time=<value>-file_path=[-batch_size=][-compress=][-encodings=][-shard_list=][-...
对接JDBC
本文以实际案例演示如何使用JDBC连接日志服务、读取日志数据，及使用MySQL协议和SQL语法来计算日志。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_...
日志字段详情
本文介绍移动数据分析日志字段详情。字段名 类型 注释 app_id string 以appkey@os的形式表示 app_name string app_id对应的app中文名称 app_version string app的应用版本号 channel string 应用分发渠道 imei string 移动设备国际身份码的...
快速入门
产品使用 Elasticsearch Elasticsearch作为实时分布式搜索和分析引擎，可以快速地、近乎于准实时地存储、查询和分析超大数据集，可以快速构建日志分析、异常监控、企业搜索和大数据分析等各业务应用。Elasticsearch快速入门 Logstash ...
ActionTrail日志清洗
日志分析痛点 ActionTrail是阿里云提供的云账号资源操作记录的查询和投递服务，可用于安全分析、资源变更追踪以及合规性审计等场景。您可以通过 ActionTrail控制台 查看各个云产品的操作日志。对于30天以内的日志，ActionTrail支持投递到 ...
基于MaxCompute进行大数据BI分析
方案优势 以AnalyticDB MySQL配合Quick BI快速、实时分析数据的核心能力为切入点，引导用户同步业务数据、日志数据至阿里云的分析型数据库。融合阿里云的日志服务的生态，增强用户体验。例如，无缝对接Blink、Elasticsearch、AnalyticDB ...
查询防护日志
创建定时SQL任务：日志服务 提供定时SQL功能，用于定时分析数据、存储聚合数据、投影与过滤数据。具体操作，请参见 定时SQL。日志聚类 在 日志聚类 页签中，单击 开启日志聚类，可实现在采集日志时聚合相似度高的日志。具体操作，请参见 ...
日志查询
为 Web 应用防火墙 WAF（Web Application Firewall）防护对象开启日志采集后，您可以通过日志查询，对防护对象的日志数据进行查询与分析，并基于查询与分析结果生成统计图表、创建告警等。前提条件 已开启WAF日志服务。相关操作，请参见 ...
OSS访问日志分析
您可以通过日志服务SLS存储和分析OSS日志数据，也可以将OSS日志数据导出并存储到指定的OSS目录长期保存，然后通过数据湖分析服务对长期保存的OSS日志数据进行分析。通过数据湖分析服务（Data Lake Analytics，DLA）分析OSS日志数据前，您...
使用前须知
阿里云日志服务联合云安全中心联合推出日志分析功能，提供风险威胁数据的实时采集、查询与分析、加工、消费等一站式服务，帮助您全面了解、有效处理服务器的安全隐患，实现对云上资产的集中安全管理。本文介绍云安全中心日志分析功能相关的...
使用前须知
阿里云DDoS高防（新BGP）、DDoS高防（国际）联合日志服务推出全量日志分析功能，提供网站访问日志、CC攻击日志的实时采集、查询、分析、加工、消费等一站式服务，帮助您排查网站访问异常、追踪CC攻击者来源、分析网站运营情况等。...
云产品日志概述
云安全中心 安全日志 漏洞日志 基线日志 安全告警日志 云平台配置检查日志 网络日志 DNS解析日志 本地DNS日志 网络会话日志 Web访问日志 主机日志 进程启动日志 网络连接日志 登录流水日志 暴力破解日志 进程快照日志 账号快照日志 端口...
什么是实时日志
使用实时日志的优势 时效性高：开通服务后，日志数据自动投递到日志服务，可查看实时日志分析结果，日志时效性在3分钟以内。字段丰富：实时日志提供更加丰富的日志字段，详见 实时日志采集字段说明。业务合规：实时日志采集投递具备合规性...
对接DataV
DataV是阿里云的可视化产品，能帮助您通过图形化的界面轻松搭建专业水准的可视化应用，丰富表现日志分析数据。本文档介绍如何通过日志服务对接DataV进行大屏数据展示。前提条件 已采集数据。具体操作，请参见 数据采集。已创建索引。具体...
API概览
DoSelfDelegate 是否允许某个普通成员获取告警、日志分析等资源的权限 威胁分析管理员对普通成员进行授权和取消授权的操作，使之能够查看或者取消查看日志分析、告警等资源。存储管理 API 标题 API概述 RestoreCapacity 置空已有的存储 ...
快速使用WAF日志服务
日志分析仪表盘是WAF基于日志数据，预先设置的一系列图形报表，方便您直接查询网站业务及安全防护的相关数据。日志分析仪表盘包含：运营中心：展示网站的业务运营指标，包含请求趋势、攻击概况等。访问中心：展示网站的访问指标、客户端...
使用MongoDB存储日志数据
本文以存储Web服务的访问日志为例，介绍如何使用MongoDB来存储、分析日志数据，让日志数据发挥最大的价值。本文的内容同样适用于其他的日志存储型应用。Web服务器日志 一个典型的Web服务器的访问日志类似如下，包含访问来源、用户、访问的...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
使用前须知
功能优势 时效性高：开通服务后，日志数据自动投递到日志服务，可查看实时日志分析结果，日志时效性在3分钟以内。字段丰富：实时日志提供更加丰富的日志字段。更多信息，请参见 日志字段详情。业务合规：实时日志采集投递具备合规性。强大...
快速使用WAF日志服务
日志分析仪表盘是WAF基于日志数据，预先设置的一系列图形报表，方便您直接查询网站业务及安全防护的相关数据。日志分析仪表盘包含：运营中心：展示网站的业务运营指标，包含请求趋势、攻击概况等。访问中心：展示网站的访问指标、客户端...
概述
在进行日志数据查询分析时，日志中的部分信息需要和外部存储（ExternalStore）的信息进行关联查询，从而进一步丰富日志服务中的日志数据。外部存储简介 外部存储和Logstore的区别 项目 外部存储（ExternalStore）Logstore 数据存储 日志...
开启SQL独享版
当您使用SQL分析时，如果数据量较大，SQL普通版无法在一次查询中完整扫描指定时间段内的所有日志，返回的结果可能不包括所有匹配的数据，增加Shard可以提升读写能力，但只对新写入的数据生效。您可以通过开启SQL独享版，增加计算资源，提升...
查看审计日志
在左侧导航栏，选择 数据审计>日志分析。在 日志分析 页面左侧产品名称导航栏，单击目标产品名称。在 分析模式 下，查看日志记录。选择需要查看审计活动的时间段后，DSC按照时间由近及远的展示数据库活动。单击目标记录操作列的 详情，可...
云监控消费
提供日志数据实时分析、监控图表展示、报警服务的全套解决方案。基于阿里云Apsara Monitor服务，提供稳定可靠的日志监控体验。全SaaS服务，几乎无时间成本、人力成本和运维成本，让您快速拥有企业级业务日志实时监控能力。创建日志监控操作...
查看与分析API调用日志（公测）
数据服务提供日志分析功能，您可以使用日志分析功能对调用请求进行分析，当调用请求出现异常时，智能分析能帮助您快速定位问题，并给出诊断结果和建议。使用限制 仅DataWorks专业版及以上版本，支持使用智能分析功能。您目前可以免费体验，...
应用场景
例如，当应用日志用于离线日志分析时，搜索单个日志记录同样不可或缺，而构建各自独立的工作流来采集每种类型的数据再导入到各自的专用系统显然不切实际，利用 云消息队列 Kafka 版 作为数据中转枢纽，同份数据可以被导入到不同专用系统中...
概述
开通全量日志分析后，日志服务将实时采集接入DDoS高防防护的网站业务的日志，并基于采集到的日志数据向您提供日志查询与分析和日志报表服务。什么是全量日志分析 DDoS高防全量日志分析基于阿里云日志服务，在DDoS高防控制台为您提供日志...
投递CDN实时日志到SLS来分析用户访问数据
日志分析 CDN实时日志打通了SLS日志服务的日志转存和日志分析能力，预制了CDN基础数据、CDN错误分析、CDN热门资源、CDN用户分析这四张常用分析报表，也支持自定义日志分析策略，可以一站式提供日志存储和日志分析能力，而离线日志目前只...
集群自定义监控报表
集群数据库 io_write_rt SSStore 每次写入平均耗时 集群数据库 io_read_size SSStore 每秒读取数据量 集群数据库 io_size SSStore 每秒处理数据量 集群数据库 io_write_size SSStore 每秒写入数据量 集群数据库 transaction_multi_...
管理日志存储空间
具体操作，请参见 开通全量日志分析。如何计算所需的日志存储容量？您可以参考以下信息，根据网站业务的日常QPS评估需要的日志存储容量：每条请求日志大约占用2 KB存储空间，如果网站的平均请求量为500 QPS，则存储一天的日志需要的存储...
使用前须知
业务规划 您可以根据访问日志进行数据分析，提前规划业务规格。例如，根据加速区域的访问流量趋势，提前进行带宽升级以满足业务发展，或者进行带宽降级以节省成本；根据访问日志中的 http_host 字段，查看某段时间内访问应用的host列表，为...
什么是实时日志
日志分析 CDN实时日志打通了SLS日志服务的日志转存和日志分析能力，预制了CDN基础数据、CDN错误分析、CDN热门资源、CDN用户分析这四张常用分析报表，也支持自定义日志分析策略，可以一站式提供日志存储和日志分析能力，而离线日志目前只...
使用访问日志
业务规划 您可以根据访问日志进行数据分析，提前规划业务规格。例如，您可以根据加速区域的访问流量趋势，提前进行带宽升级以满足业务发展，或者进行带宽降级以节省成本；您可以根据访问日志中的 http_host 字段，查看某段时间内访问应用的...
- 产品推荐
- 这些文档可能帮助您