互联网、电商行业离线大数据分析
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
离线同步任务运维
后续：离线同步数据质量问题与同步任务调优 离线同步任务调优 离线同步数据质量排查 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何排查离...
分析网站日志
日志服务支持通过SQL92语法分析日志，并提供丰富的统计图表展示分析结果。本文介绍如何在日志服务控制台上分析网站日志，并通过合适的统计图表可视化展示分析结果。前提条件 已采集网站日志。具体操作，请参见 数据采集。已创建索引。具体...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
应用场景
在线或离线分析系统：支持实时在线分析系统和类似于Hadoop的离线分析系统。数据处理 在很多领域，如股市走向分析、气象数据测控、网站用户行为分析，由于数据产生快、实时性强且量大，您很难统一采集这些数据并将其入库存储后再做处理，这...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
方案介绍 对于数据分析人员、开发人员或者运维人员而言，日志数据对分析和诊断问题以及了解系统活动等有着非常重要的作用，日志都是其工作过程中必不可缺的数据来源。为了节约成本，通常情况下日志会被设定一定的保存时间，此类日志称之为...
某手游开发公司在离线一体分析方案
在线用户基数大，日志数据规模大，需要高吞吐低成本的处理平台。GM需要对原始数据进行核对，另外还有一些即时数据分析需求。需要同时支持在线型和离线型业务场景。解决方案 云数据库Lindorm能适应业务的快速变化，支持灵活的Schema，动态列...
开通日志功能
本文介绍如何在移动研发平台EMAS控制台上开通日志功能，将日志推送到日志服务中。...后续步骤 日志服务采集到移动数据分析日志后，您可以执行查询分析、下载、投递、加工、创建告警等操作。具体操作，请参见 云产品日志通用操作。
查看Trace实例详情
接入Trace数据后，您可以在Trace实例详情页面，进行查看Trace数据详情、Trace拓扑、入口事务指标、慢Trace，查询和分析日志数据，管理Logstore和Metricstore等操作。前提条件 已接入Trace数据。具体操作，请参见 接入trace数据。进入 Trace...
典型应用
云数据库ClickHouse应用场景介绍。交互式报表 基于ClickHouse和BI...访客来源分析展示 通过批量离线计算对用户访问日志中的用户行为进行关联，生成用户行为路径大宽表同步到ClickHouse，基于ClickHouse构建交互式访客来源探索分析可视化系统。
对接DataV
实时计算（流计算）：固定的计算+变化的数据 离线计算（数据仓库+离线计算）：变化的计算+固定的数据 在对实时性有要求的日志分析场景中，日志服务为您提供实时索引LogHub中数据机制，可通过LogSearch/Analytics直接进行查询分析。...
应用场景
云数据库Cassandra可以很容易添加新的数据中心，不同的数据中心可以设定不同的副本数，既可以作为跨数据中心多活高可用，也可以作备份容灾或离线分析使用。业务灵活多变 云数据库Cassandra的数据模型灵活，对表结构的变更是一个非常轻量级...
日志管理
购买威胁分析与响应后，威胁分析与响应服务会在日志服务自动创建一个专属Project（命名为aliyun-cloudsiem-data-阿里云账号ID-RegionID）和专属Logstore（命名为cloud_siem），用于存储威胁分析与响应收集到的所有日志数据。威胁分析与响应...
什么是实时日志
CDN提供的实时日志与离线日志服务的区别 日志延迟 CDN实时日志为实时采集的日志数据，日志数据延迟不超过3分钟，而离线日志的数据延迟通常在24小时之内。日志分析 CDN实时日志打通了SLS日志服务的日志转存和日志分析能力，预制了CDN基础...
算法说明
文本分析算法概述 在 日志模板发现 阶段，您可以使用 日志聚类算法 或者 模板发现算法 离线构建日志模板库。在 日志模板匹配 阶段，您可以使用 相似度聚类算法、哈希聚类算法 或者 相似度匹配算法 在线监控日志数据。文本分析中的算法采用...
可观测性能力介绍
离线全量Key分析 离线全量Key分析 功能支持全数据结构、全实例架构及Redis各个版本的离线RDB备份文件解析，对线上服务无影响。相比开源工具redis-rdb-tool的解析速度，离线全量Key分析 在大小Key混合（占比1：9）的场景下实现4倍速度提升，...
Oracle数据源
支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle Writer）Oracle 11.2 or 11gR2 支持 支持 Oracle 12.1 or 12cR1 支持 支持 Oracle 12.2 or 12cR2 支持（新版本特性不支持）支持（新版本特性不支持）Oracle 18.3 支持（新...
日志字段详情
本文介绍移动数据分析日志字段详情。字段名称 说明_topic_日志主题，固定为man_dispatch_log。app_id App ID app_name App中文名称 app_version App版本号 channel App分发渠道 imei 移动设备国际身份码的缩写 imsi 国际移动用户识别码 ...
对接JDBC
日志服务提供了MySQL协议查询和分析日志数据。您可以使用标准MySQL客户端连接到日志服务，使用标准的SQL语法计算和分析日志。支持MySQL传输协议的客户端包括MySQL client，JDBC和Python MySQLdb。JDBC的使用场景：使用可视化类工具，例如...
什么是Quick Tracking
可二次开发 对于标准产品无法满足的需求或者需要和其他业务数据融合分析时，Quick Tracking 支持数据的二次开发，提供实时和离线两种消费模式，实时日志可直接通过SLS消费，秒级延迟；离线数据通过MaxCompute15分钟增量同步一次，小时级...
整体架构
湖仓版（3.0）架构如下：数据源 数据管道APS可以一键低成本接入数据库、日志、大数据中的数据。存储层+计算层 支持自研引擎，羲和计算引擎和玄武存储引擎。新增集成的开源引擎，Spark计算引擎和Hudi存储引擎。可以借助开源的能力为您提供更...
功能特性
实时性能 全量KEY离线分析 支持对全量数据进行离线分析，能够发现所有存在的大Key，分析过程不会对实例带来任何额外负担。离线全量Key分析 大、热Key分析 实时跟踪请求并分析其中涉及的大、热Key，帮助快速定位问题。实时Top Key统计 ...
最佳实践概览
通过Logstash将PolarDB-X（DRDS）数据同步至Elasticsearch 通过DataWorks将PolarDB-X（DRDS）数据离线同步至Elasticsearch 通过DTS将PolarDB MySQL数据同步至Elasticsearch 通过Monstache实时同步MongoDB数据至Elasticsearch 大数据云产品...
可观测性能力
离线全量Key分析 离线全量Key分析 功能支持全数据结构、全实例架构及 Tair 各个版本的离线RDB备份文件解析，对线上服务无影响。相比开源工具redis-rdb-tool的解析速度，离线全量Key分析 在大小Key混合（占比1：9）的场景下实现4倍速度提升...
米连科技
统一数据服务 通过以阿里云日志服务采集上来的数据为基础，结合离线计算、实时计算引擎和PAI机器学习平台，为客户提供统一的数据分析服务。API网关：作为统一数据服务出口。Quick BI：交互式报表制作，拖拽形式快速制作各种报表。DataV：...
投递CDN实时日志到SLS来分析用户访问数据
CDN提供的实时日志与离线日志服务的区别 日志延迟 CDN实时日志为实时采集的日志数据，日志数据延迟不超过3分钟，而离线日志的数据延迟通常在24小时之内。日志分析 CDN实时日志打通了SLS日志服务的日志转存和日志分析能力，预制了CDN基础...
使用前须知
优势 日志延迟小 99.9%的日志延迟不超过3分钟，您可以快速分析日志，及时发现问题和应对。一站式服务 传统的离线日志分析模式需要您先下载日志，再上传至数据仓库，然后在数据仓库进行一系列的清洗和数据模型定义。这一系列操作处理完成后...
消费-搭建监控系统
众多应用比如OTS、ODPS、CNZZ等利用日志服务logtail收集日志数据，利用API消费数据，导入下游实时统计系统或者离线系统做分析统计。作为一个基础设施，日志服务具备：可靠性：经过多年阿里集团内部用户的检验，经历多年双十一考验，保证...
什么是MaxCompute
MaxCompute的离线租户级别元数据信息会通过 Information Schema 提供服务，同时 Information Schema 也提供MaxCompute的使用历史日志数据查询等服务，您可以对作业的运行情况，例如资源消耗、运行时长、数据处理量等指标进行分析，用于优化...
离线同步任务调优
数据同步慢的场景及解决方案 说明 离线同步任务日志详情请参见：离线同步日志分析。数据同步慢的场景 现象 可能原因 解决方案 等待调度资源 现象1：同步任务日志显示等待gateway。现象2：实例属性页面显示等待资源时间长。离线任务由调度...
应用场景
云原生数据仓库AnalyticDB MySQL版 为千万家企业级客户提供了数据处理ETL、实时在线分析、核心报表、大屏和监控能力，为广大商家和消费者提供稳定的离线和在线数据服务。本文介绍 云原生数据仓库AnalyticDB MySQL版 的五个使用场景：实时数...
采集-IoT/嵌入式日志
日志服务团队结合IoT设备的特点，为IoT设备量身定制一套日志数据采集方案：C Producer。嵌入式开发需求 作为IoT/嵌入式工程师，除了需要深厚的开发功底外，面对海量的设备，如何有能力管理、监控、诊断黑盒设备至关重要。嵌入式开发需求...
我是安全管理员
离线集成 离线集成是一种低代码的数据开发工具，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。数据可视化 数据可视化功能可让您更容易通过数据去洞察业务，辅助进行业务决策。比如分析趋势、增长对比...
投递CDN实时日志到SLS来分析用户访问数据
CDN提供的实时日志与离线日志服务的区别 日志延迟 CDN实时日志为实时采集的日志数据，日志数据延迟不超过3分钟，而离线日志的数据延迟通常在24小时之内。日志分析 CDN实时日志打通了SLS日志服务的日志转存和日志分析能力，预制了CDN基础...
投递CDN实时日志到SLS来分析用户访问数据最佳实践
CDN提供的实时日志与离线日志服务的区别 日志延迟 CDN实时日志为实时采集的日志数据，日志数据延迟不超过3分钟，而离线日志的数据延迟通常在24小时之内。日志分析 CDN实时日志打通了SLS日志服务的日志转存和日志分析能力，预制了CDN基础...
数据投递概述
应用场景 数据投递适用于数据存储、离线分析等场景。数据投递的实时性较弱，通常为5分钟~30分钟。数据存储时间依赖于存储系统。功能优势 数据投递具有以下优势：操作简易 您只需要在控制台上完成简单的配置，即可将日志服务的数据投递到OSS...
DataWorks产品安全能力介绍
MaxCompute Information Schema：大数据计算服务内的所有操作会被记录至离线元数据仓库Information Schema，您可随时调用。实时操作日志 支持使用OpenEvent将DataWorks关键操作变更情况以消息的方式发送至用户，便于用户订阅消息并做出个性...
pull_log_dump
调用CLI命令并发下载大量日志数据到本地文件。请求语法 aliyunlog log pull_log_dump-project_name=<value>-logstore_name=<value>-from_time=<value>-to_time=<value>-file_path=[-batch_size=][-compress=][-encodings=][-shard_list=][-...
LTS（原BDS）服务介绍
在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
客户案例
迁移完成后，飞天大数据平台覆盖数据采集>存储&计算>实时/离线分析等游戏数据运营全链路。游戏行业：37手游重构数据体系建设 客户简介 37手游致力于手机游戏发行业务，在中国大陆地区，存在近10%的市场占有率。迄今为止，成功发行二十余款...
- 产品推荐
- 这些文档可能帮助您