应用场景
适用场景 OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析 实时数仓 电商大促数据分析 教育行业的直播质量分析 物流行业的运单分析 金融行业...
数据传输与迁移概述
离线数据批量数据写入（外表-湖仓一体）场景特征：主要用于数据联邦查询分析，偶尔需要对数据进行搬运。典型场景。类型 典型场景 OSS数据与MaxCompute数据上传 LOAD命令。外部表，湖仓一体。Hologres数据写入MaxCompute MaxCompute直读...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的...历史离线数据存放于MaxCompute，实时分析数据存放于交互式分析。基于阿里云Quick BI或第三方数据分析工具（如Tableau）执行数据可视化，以及构建各业务板块数据服务门户应用。
离线同步日志分析
本文为您介绍如何查看离线同步任务执行过程中的日志详情。进入日志详情页 您可以在运维中心或DataStudio界面查看任务运行日志。模块 描述 运维中心 您可以进入 周期实例、测试实例、补数据实例 等页面，通过筛选条件过滤出需要查询的实例，...
概述
在进行日志数据查询分析时，日志中的部分信息需要和外部存储（ExternalStore）的信息进行关联查询，从而进一步丰富日志服务中的日志数据。外部存储简介 外部存储和Logstore的区别 项目 外部存储（ExternalStore）Logstore 数据存储 日志...
集成与开发概览
开发：实时报表、日志分析、离线宽表、T+1数据快照、数据聚合、数据清洗、数据脱敏等。数据开发 数据库开发：跨库开发、定时任务、数据归档、数据迁移、报表开发等。数仓开发：数据入仓、数据清洗、数据加工、数据分层、报表开发、宽表开发...
使用前须知
下游生态友好 日志服务Trace数据、计算后的指标数据等都支持对接各类流计算平台、离线计算引擎，并支持自定义订阅数据进行定制化处理。提供多种内置的AIOps算法 自动分析Trace对于性能、错误率的影响，帮助开发者在复杂环境下快速排查问题...
云监控消费
提供日志数据实时分析、监控图表展示、报警服务的全套解决方案。基于阿里云Apsara Monitor服务，提供稳定可靠的日志监控体验。全SaaS服务，几乎无时间成本、人力成本和运维成本，让您快速拥有企业级业务日志实时监控能力。创建日志监控操作...
开启SQL独享版
当您使用SQL分析时，如果数据量较大，SQL普通版无法在一次查询中完整扫描指定时间段内的所有日志，返回的结果可能不包括所有匹配的数据，增加Shard可以提升读写能力，但只对新写入的数据生效。您可以通过开启SQL独享版，增加计算资源，提升...
查询MNS日志
您可以通过实时查询、实时计算和离线计算三种方式对日志进行分析计算。实时查询：在日志服务控制台上进行实时查询，例如：查询消息轨迹、写入量、删除量等。实时计算：使用Spark、Storm、StreamCompute、Consumer Library等方式对MNS日志...
最佳实践
分析Nginx访问日志 分析Apache日志 分析IIS日志 分析Log4j日志 分析网站日志 查询分析程序日志 分析负载均衡7层访问日志 分页显示查询分析结果 分析行车轨迹日志 分析销售系统日志 数据加工 调用函数清洗数据 事件判断 处理日期时间 数据...
查看离线计算实例详情
离线计算实例是由智能标签、表加工、质量评估、数据加工等业务产生的任务实例，运维监控支持查看离线计算任务实例的详情，包括实例信息、任务代码、实例日志。本文介绍查看离线计算实例详情。操作步骤 登录 数据资源平台控制台。在页面左上...
概述
离线任务 支持查看离线计算任务的属性信息，查看离线同步实例、离线计算实例的属性与运行日志。离线同步实例：支持以列表的方式展示离线同步实例信息，并提供离线同步实例属性与运行日志查看；可进行实例重跑的功能。离线计算任务：支持以...
任务中心
离线任务 支持查看离线计算任务的属性信息，查看离线同步实例、离线计算实例的属性与运行日志。离线同步实例：支持以列表的方式展示离线同步实例信息，并提供离线同步实例属性与运行日志查看；可进行实例重跑的功能。离线计算任务：支持以...
概述
离线任务 支持查看离线计算任务的属性信息，查看离线同步实例、离线计算实例的属性与运行日志。离线同步实例：支持以列表的方式展示离线同步实例信息，并提供离线同步实例属性与运行日志查看；可进行实例重跑的功能。离线计算任务：支持以...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
功能介绍
基础备份会将实例全量数据的快照压缩后存储到其它离线存储介质，实例在基础备份期间不会阻塞您的读写操作，同时，备份期间产生的操作日志也会进行备份从而保证基础备份的完整性。AnalyticDB PostgreSQL 6.0版 实例采用物理备份方式。...
查看离线计算实例详情
离线计算实例是由智能标签、表加工、质量评估、数据加工等业务产生的任务实例，运维监控支持查看离线计算任务实例的详情，包括实例信息、任务代码、实例日志。本文介绍查看离线计算实例详情。操作步骤 登录企业数据智能平台。在页面左上角...
查询和分析JSON日志的常见问题
首先，在查询和分析JSON日志时，如果数据量很大或结构复杂但相对固定，并且您对查询分析性能有要求时，建议对JSON叶子节点建立字段索引，然后再进行查询分析。如果数据量比较小，出于成本考虑，您可以不对JSON叶子节点建立字段索引，而是...
使用前须知
业务规划 您可以根据访问日志进行数据分析，提前规划业务规格。例如，根据加速区域的访问流量趋势，提前进行带宽升级以满足业务发展，或者进行带宽降级以节省成本；根据访问日志中的 http_host 字段，查看某段时间内访问应用的host列表，为...
观测云
计费说明 观测云支持按需购买，采用按量付费的计费方式，即按照DataKit数量、时间线数量、日志数据数量、备份日志数据数量、任务调用次数、用户访问PV数量、应用性能Trace数量、可用性监测拨测任务次数、短信发送次数等多个维度进行价格...
create_external_store
注意事项 说明 在进行日志数据查询分析时，日志中的部分信息需要和外部存储（ExternalStore）的信息进行关联查询，从而进一步丰富日志服务中的日志数据。更多信息，请参见 关联外部数据源简介、关联Logstore与OSS外表进行查询和分析 和 ...
采集企业云监控日志
您可以在云监控的控制台创建指标仓库，用于存储线下IDC（Internet Data Center）、阿里云产品和其他云厂商服务的监控数据，然后为监控数据创建监控大盘，通过监控大盘查看监控图表。本文为您介绍在云监控创建指标仓库的步骤。前提条件 已...
扫描（Scan）分析概述
背景信息 日志服务基于索引技术，提供快速查询和分析日志功能，但在某些场景下可能会遇到如下限制，无法创建或使用索引。为降低使用费用，而未对某些字段建立索引，但临时急需查询历史日志。字段值长度超过了索引限制，超出部分无法被查询...
常见问题
离线同步常见问题 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否所有数据都...
使用访问日志
日志库Logstore 日志服务中日志数据的采集、存储和查询单元。您可以 选择现有Logstore，也可以 新建Logstore。说明 执行此操作时，系统会判断全球加速是否拥有服务关联角色AliyunServiceRoleForGaFlowlog：如果全球加速不存在服务关联角色...
基于MaxCompute进行大数据BI分析
本实践以电商行业为例，通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理，并同步至分析型数据库MySQL（AnalyticDB MySQL）进行实时分析，再通过Quick BI进行可视化展示。背景信息 MaxCompute：用于进行大规模数据计算，详情请...
东软案例
将从遍布全国多地域的手机、平板等终端连接应用系统业务服务的数字足迹和客户数字体验数据、云端&数据中心网络抓包分析数据，应用运行代码链路和日志数据全量采集存储于阿里云Lindorm灵动云原生多模数据库，如下图所示。图 2.基于阿里云...
雷达图
日志服务提供雷达图，用于展示多维数据。本文介绍雷达图的基本配置。简介 雷达图支持不同数据在相同维度下的对比。例如在一个查询分析结果中包含request_method、total、avg_time和avg_length这4列数据，表示在一定时间范围内各个请求方法...
使用前须知
实时：DevOps、监控、报警等场景要求日志数据的实时性。传统型负载均衡结合日志服务强大的大数据计算能力，秒级分析处理实时产生的日志。重要 99.9%的情况下，日志延迟不超过3分钟。弹性：您可按CLB实例级别开通或关闭访问日志功能，可任意...
分析概述
重要 如果您要分析日志，则必须将日志采集到Standard Logstore中，且在配置索引时打开对应字段的 开启统计 开关。更多信息，请参见 Logstore类型对比、创建索引。日志服务默认存在保留字段。如果您要分析保留字段，请参见 保留字段。基础...
LogHub（SLS）数据源
字段类型 离线读（LogHub（SLS）Reader）离线写（LogHub（SLS）Writer）实时读 STRING 支持 支持 支持 其中：离线写LogHub（SLS）时 会将支持同步的各类型数据均转换成STRING类型后写入LogHub（SLS）。LogHub（SLS）Writer针对LogHub（SLS...
查看审计日志
审计日志记录了数据库活动的详细信息，通过查看审计日志，您可以跟踪潜在的恶意行为或未授权访问、调查安全事件原因。审计日志也可以帮您满足合规要求。本文介绍如何查看审计日志。前提条件 需要查看日志的数据资产类型在安全审计功能支持...
Quick BI v4.4.2版本说明
审计日志 支持查看数据集性能、支持用户日志分析。自助取数 自助取数默认支持系统里已创建的所有数据源。取数能力全新升级，独立部署支持千万级别数据导出。数据源 PolarDB for MySQL支持8.0版本。变更内容 数据大屏 支持 页面跳转，包括三...
使用MongoDB存储日志数据
本文以存储Web服务的访问日志为例，介绍如何使用MongoDB来存储、分析日志数据，让日志数据发挥最大的价值。本文的内容同样适用于其他的日志存储型应用。Web服务器日志 一个典型的Web服务器的访问日志类似如下，包含访问来源、用户、访问的...
集群自定义监控报表
集群数据库 io_write_rt SSStore 每次写入平均耗时 集群数据库 io_read_size SSStore 每秒读取数据量 集群数据库 io_size SSStore 每秒处理数据量 集群数据库 io_write_size SSStore 每秒写入数据量 集群数据库 transaction_multi_...
RDS SQL Server空间不足问题
数据空间的回收通常有如下几种方式：归档数据 删除数据库中不常用的数据（例如早期的历史数据），或者根据需要迁移到其他数据库实例中，或者以其他形式归档保存，通过直接减少数据量来降低已使用数据空间大小。这种方式是控制数据空间增长...
使用前须知
实时：DevOps、监控、报警等场景要求日志数据的实时性。结合日志服务强大的大数据计算能力，秒级分析处理实时产生的日志。弹性：可任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长需求。智能：基于达摩院智能AIOps算法，提供...
【通知】停止售卖云原生数据湖分析DLA
云原生数据仓库AnalyticDB MySQL湖仓版可提供湖仓一体的离线和在线分析服务，成本更低，性能更强，场景覆盖更广，体验更佳。产品详细介绍，请参见 云原生数据仓库AnalyticDB MySQL产品系列。如您有任何问题或迁移诉求，请联系阿里云技术...
通过操作审计查询行为事件日志
DIManageDatasourcePermission 数据集成数据源权限管理 DICreateTableByDDL DataStudio数据集成一键生成目标表结构 DIPreviewData DataStudio数据集成预览离线任务 DIUpdateDataxJob DataStudio数据集成更新离线任务 DIUpdateStreamxJob ...
- 产品推荐
- 这些文档可能帮助您