大数据分析
您可在用户中心订阅不同类型的账单数据并借助MaxCompute和DataWorks实现账单的大数据分析。订阅成功后，账单数据将会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
E-MapReduce弹性低成本离线大数据分析
离线大数据分析概述 主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm：Hadoop可以运用在很多商业应用系统，可以轻松集成结构化、半结构化以及非结构化数据集。Spark采用了内存计算，允许数据载入内存作反复查询，融合数据仓库、流...
大数据分析工具的常见问题和解决方法
概述 大数据分析是阿里云用户中心与DataWorks和MaxCompute联合推出的成本分析工具，提供大数据分析能力，解决因账单过大而导致无法分析的问题，当前仍处于灰度期间。在使用大数据分析时可能会碰到DataWorks或MaxCompute的权限问题，您可以...
在TDX实例中基于BigDL PPML构建全...Spark大数据分析应用
本文介绍在基于Intel ® TDX安全特性的g8i实例中，使用BigDL PPML解决方案运行分布式的全链路安全的Spark大数据分析应用。背景信息 随着越来越多的企业选择将数据和计算资源迁移上云，如何在云上保护大数据分析和人工智能应用的数据安全和...
基础分析
注意：关联性分析是以全部重复来电数据为分析对象，通过对大量数据分析找出高频的关联标签。重复来电是以某个客户为分析对象，找出他每通电话的标签，进而分析两通电话之间的关系。通话量趋势 通话量的趋势是分析全部通话的随时间的变化...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
移动数据分析SDK log数据包有多大？
MAS SDK log数据包大小 最大 6KB 最小 550B
文档修订记录
订阅成功后，账单数据会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时，也可将您的阿里云消费分析报告分享给其他用户。账单数据订阅及查询分析 2024.2.21 新增功能...
Quick BI中如何实现数据量很大日增超过百万的数据分析
问题描述 客户的数据分析基本都是基于上千万条的数据量，有的可能过亿，日增也是百万以上。对于这样的数据集加速缓存可以解决吗？加速缓存这块有没有定时任务的功能？客户生成数据集，并进行报表分析，发现数据量加载很慢，十几分钟都不会...
背景信息以及准备工作
背景信息 DLA作为无服务化的大数据分析服务，通过标准的SQL语句直接对存储在阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）中的数据进行清洗。例如，使用DLA对OSS中的历史数据按天进行清洗。DataWorks...
产品优势
全托管的Databricks数据洞察大数据分析平台，可以让您从繁杂的环境运维、内核优化等工作中解脱出来，专注于开发Spark作业本身。本文介绍Databricks数据洞察的产品优势。高效稳定 产品内核使用Databricks商业版的Runtime和Delta Lake。与...
Spark概述
Spark是一个通用的大数据分析引擎，具有高性能、易用性和普遍性等特点。架构 Spark架构如下图所示，基于Spark Core构建了Spark SQL、Spark Streaming、MLlib和Graphx四个主要编程库，分别用于离线ETL（Extract-Transform-Load）、在线数据...
面临的业务挑战
越来越多的企业大数据分析已不再局限于传统的T+1场景，对数据的实时性分析和处理要求提出了更高要求。传统的批处理模式往往有数小时甚至数天的延迟，不能满足T+0的业务需要，用户要求在秒级，甚至毫秒级完成对海量数据分析。系统极复杂 大...
分析平台概述
Dataphin提供了简单、快速、高效的数据分析平台，您可通过数据分析对数据仓库中的数据进行洞察、在线查询及可视化分析，提取出有效信息而形成结论，辅助决策。前提条件 需开通智能研发版。分析平台简介 在分析平台上，您可选择您有权限的...
数据可视化展现
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...
分析平台概述
Dataphin提供了简单、快速、高效的数据分析平台，您可通过数据分析对数据仓库中的数据进行洞察、在线查询及可视化分析，提取出有效信息而形成结论，辅助决策。前提条件 需开通智能研发版。分析平台简介 在分析平台上，您可选择您有权限的...
创建数据脱敏场景
在 数据分析 通过 SQL查询 功能查询数据时，查询的敏感数据会按照配置的脱敏规则进行脱敏。说明 EMR引擎暂不支持使用数据开发展示脱敏，Hologres引擎暂不支持使用数据开发/数据地图展示脱敏。数据分析展示脱敏 在 数据分析 通过 SQL Notes ...
配置数据质量监控
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于...后续操作 数据加工完成后，您可通过数据分析模块对数据进行可视化展示，详情请参见 数据可视化展现。
配置数据质量监控
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于...后续操作 数据加工完成后，您可通过数据分析模块对数据进行可视化展示，详情请参见 数据可视化展现。
创建并管理数据源
通过 数据分析 执行的查询任务。更换SQL查询数据源。数据质量 中 导致相关任务检查异常。已配置数据质量监控规则的任务，详情请参见 查看监控任务。前往运维中心，将任务与DQC规则取消关联。详情请参见 管理周期任务。克隆：可通过克隆功能...
背景信息以及准备工作
或者对存储在 阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）上的大数据进行分析之后，通过DLA把结果数据回写到MongoDB，供前台业务使用。前提条件 使用DLA读写MongoDB数据前，您需要通过以下操作在...
Quick BI的即席分析拖入字段会触发计算，数据量大的...
概述 本文主要描述了Quick BI的即席分析拖入字段会触发计算，数据量大的情况下需要等待很久，如何将各个字段配置完以后再触发计算的方法。详细信息 可以先切换到模型，将字段都拖拽好以后。再切换到数据，这样就只有一次取数了。适用于 ...
移动数据分析设置渠道名称是否区分大小写？
区分大小写，如果设置渠道名称大小写不同，控制台合作方名称会显示小写名称，如需要查看全部渠道名称，点击右侧渠道详情。
数据洞察
DataWorks数据洞察是指通过深度数据分析和解读来获取深刻的数据理解和发现，它支持数据探索和可视化。您可以通过数据洞察了解数据分布，创建数据卡片，并组合成数据报告。此外，数据洞察结果能够通过长图形式的报告进一步分享。该功能利用...
基于MaxCompute进行大数据BI分析
方案介绍 基于MaxCompute进行大数据BI分析的流程如下：通过数据集成同步业务数据和日志数据至MaxCompute。通过MaxCompute、DataWorks对数据进行ETL处理。同步处理后的结果数据至AnalyticDB MySQL。通过Quick BI可视化建立用户画像。方案...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
OSS访问日志分析
如果您选择的Bucket已开通日志转存功能，单击 确定 自动跳转到数据湖 SQL执行 页面，您可以在 SQL执行 页面对OSS访问日志进行数据分析，日志字段的含义请参见 日志转存。常见问题 首次开通OSS日志转存后，立刻在DLA中执行SQL查询遇到以下...
数据可视化展现
本文为您介绍如何通过DataWorks数据分析实现用户画像数据可视化展示。前提条件 在开始试验前，请确认您已经完成了 加工数据。即已通过数据开发DataStudio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户画像数据进行...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
同步数据
分析型数据库MySQL版支持多种数据加载方式，包括但不限于：通过阿里云数据传输服务DTS将MySQL/DRDS中的数据导入分析型数据库MySQL版，其中MySQL可为RDS for MySQL、其他云厂商或线上IDC的自建MySQL以及ECS自建MySQL。详细操作步骤请参见 ...
什么是Quick BI
Quick BI是一款全场景数据消费式的BI平台，秉承 全场景消费数据，让业务决策触手可及 的使命，通过智能的数据分析和可视化能力帮助企业构建数据分析系统，您可以使用Quick BI制作漂亮的仪表板、格式复杂的电子表格、酷炫的大屏、有分析思路...
简介
DMS数据分析与应用介绍 DMS通过Data Fabric+大模型构建数据管理底座，赋能数据分析与应用。该场景下核心的四个功能如下：安全托管：DMS在阿里集团数据库权限访问控制最佳实践，为企业提供一系列数据库权限管控的集合，可帮助企业实现多云...
ActionTrail日志清洗
以操作DLA的账号为例，该账号下每天会产生几千个数据文件，一个月的文件数将达到几十万个，大量的数据文件对大数据分析非常不便，分析数据耗时，且需要足够大的集群资源才能进行大数据分析。前提条件 使用ActionTrail日志清洗之前，您需要...
功能优势
通过Web App调用分析型数据库MySQL版的自定义函数生成向量特征，分析型数据库MySQL版后台通过调用特征提取服务从OSS读取非结构化数据，提取特征，并把特征向量保存在分析型数据库MySQL版中。所有这些操作只需要一条SQL便可轻松完成，SQL...
变更ECU配置
本章节为您介绍如何通过分析型数据库MySQL版控制台，变更ECU配置。前提条件 您的阿里云账号中没有未支付的续费订单。计费规则 变更ECU配置时将引起费用变化，详情请参见 变更ECU配置计费规则。操作步骤 登录 分析型数据库MySQL版控制台。在...
功能发布记录（2023年）
2023.4.18 所有地域 所有DataWorks用户 SQL查询 大数据公共数据集上线 基于大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等），通过DataWorks与MaxCompute快速完成TB级别大数据分析。2023.4.11 所有地域 所有DataWorks用户 SQL...
- 产品推荐
- 这些文档可能帮助您