通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
简介
结合大数据分析框架（如Spark）还可以进行穿越分析、区域分布热力图等。智慧物流与外卖递送 在物流与外卖等领域，需要实时监控车辆、骑手的位置，以便进行可靠的时间预测等服务。车辆和骑手的位置需要实时上报，云端需要处理高并发写入并...
简介
DMS数据分析与应用介绍 DMS通过Data Fabric+大模型构建数据管理底座，赋能数据分析与应用。该场景下核心的四个功能如下：安全托管：DMS在阿里集团数据库权限访问控制最佳实践，为企业提供一系列数据库权限管控的集合，可帮助企业实现多云...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。...
面临的业务挑战
越来越多的企业大数据分析已不再局限于传统的T+1场景，对数据的实时性分析和处理要求提出了更高要求。传统的批处理模式往往有数小时甚至数天的延迟，不能满足T+0的业务需要，用户要求在秒级，甚至毫秒级完成对海量数据分析。系统极复杂 大...
基础分析
注意：关联性分析是以全部重复来电数据为分析对象，通过对大量数据分析找出高频的关联标签。重复来电是以某个客户为分析对象，找出他每通电话的标签，进而分析两通电话之间的关系。通话量趋势 通话量的趋势是分析全部通话的随时间的变化...
读写RDS MySQL数据
因为RDS本身能承载的数据量有限，不适合大数据分析。更多的场景是在DLA中对存储在OSS、Tablestore中的大数据进行分析，分析完成之后把结果数据回写到RDS中，供前台业务使用。DLA如何读取OSS中的数据，请参见 操作步骤。以 person 表为例，...
删除实例
本操作只是取消了数据库实例与数据管理DMS控制台的关联，不涉及到数据库实例本身的删除与释放。如果您不再需要使用数据库实例，请前往云数据库控制台进行数据库实例本身的删除与释放。Q：删除实例后，付费管控模式是否会停止按量计费？A：...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
云产品集成
常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版 数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现 前提条件 已获取 OceanBase 数据库的基本连接信息，详细步骤请参见 获取连接参数。大数据开发治理平台 ...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
功能特性
参考文档 ZeroETL PolarDB MySQL版同步至AnalyticDB MySQL 3.0 联邦分析使用AnalyticDB MySQL的免费高速数据管道服务（APS）将PolarDB MySQL中的数据实时同步至AnalyticDB MySQL湖仓版（3.0）集群中，帮助您一站式完成数据同步与管理。...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
基于混合负载的查询优化
传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的代价。完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大...
SQL查询
已拥有某数据源在数据分析模块的查询权限：详情请参见 数据查询与分析管控。操作账号已被添加为工作空间的以下角色之一：数据分析师、模型设计师、开发、运维角色、空间管理员或项目所有者，详情请参见 为工作空间添加空间成员。说明 使用...
游戏运营融合分析
降低使用成本：DLA融合冷数据分析+ADB存储密集型温数据分析+ADB计算密集型热数据分析，在满足各种分析场景需求的同时，有效地降低客户的总体使用成本。学习成本低：Data Lake Analytics（简称DLA）和ADB兼容标准SQL语法，无需额外学习其他...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
Github实时数据同步与分析
实时数据分析与可视化 实时数据分析。进入 HoloWeb SQL编辑器，查询实时更新的过去24小时GitHub最活跃项目。SELECT repo_name,COUNT(*)AS events FROM hologres_dataset_github_event.hologres_github_event WHERE created_at>=now()-...
数据可视化展现
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...
操作指南
DataV可视分析地图 管理数据树 添加PolarDB PostgreSQL数据库 添加RDS PostgreSQL数据库 管理项目 数据源管理 图层管理 图层交互管理 其他更多操作请参见 操作指南。DataV可视分析创作间 创建数据集 可视分析数据集 自定义编辑卡片 分享...
删除服务访问点
删除VPC网络 进入 数据湖分析管理控制台。单击待删除VPC网络右侧的 删除。在弹出的 确认删除 框中，单击 确定。在弹出的 手机验证 框中，输入验证码，然后单击 确定 删除服务访问点。单击 更换手机，根据系统提示更换账号绑定手机。
DLA Spark快速入门
操作步骤 登录 云原生数据湖分析管理控制台。在 概览 页面的左上角，选择虚拟集群所在地域。单击左侧导航栏的 Serverless Spark>作业管理。在 作业编辑 页面，单击 创建作业模板，填写以下作业信息：新创建的作业中包含了SparkPi作业的默认...
数据地图概述
查找表、代码和API 在首页查找 您还可以通过 首页 中的 API 类目下展示的近期浏览的API、热门浏览的API、热门调用的API等列表快速获取相应的API，或者在搜索框中输入关键字搜索目标API，详情请参见 通用数据查询与管理。您可以通过 首页 中...
大数据分析
您可在用户中心订阅不同类型的账单数据并借助MaxCompute和DataWorks实现账单的大数据分析。订阅成功后，账单数据将会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时...
应用场景
EMR Serverless Spark不仅集成了任务调度系统，使得您能够便捷地构建与管理数据ETL流程，轻松实现自动化及周期性数据处理，而且还内置了先进的版本控制机制。这一机制确保了开发与生产环境的彻底隔离，确保符合企业级用户在研发和发布流程...
Quick引擎概述
“慢”虽然只是一种难以精确定义的体感，但想要解决以上问题，就需要BI产品拥有很强的大数据处理架构和能力，可以横向扩展支持不断增长的数据量和计算任务。Quick引擎架构在数据源和数据集之间，用来处理上层数据作品发送到数据集最终下放...
发展历程
2021年 IDC发布《IDC MarketScape：中国政务大数据管理平台市场厂商评估2021》报告，阿里云位居行业领导者位置，产品能力居中国第一。以MaxCompute为核心代表的阿里云数仓进入 Forrester Wave 2021 Q1云数据仓库卓越表现者象限，成为入选...
使用流程
可选：应用评估改造：帮助用户分析应用与数据库的关联关系，并分析从源库迁移到目标库的应用改造点与改造位置，同时，也可减少使用Java开发的部分业务的改造工作量。1.数据库评估 数据库采集 数据库画像 目标库选型建议 数据库评估分析 ...
账单数据订阅及查询分析
步骤二：订阅账单数据 在 大数据分析>数据订阅管理 区域，根据需要订阅相应账单数据，订阅后，相关账单数据会同步至指定的MaxCompute表。说明 该操作需要当前登录账号为账单分析指定的DataWorks工作空间（即步骤一中，由平台统一创建的工作...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
MaxFrame概述
背景信息 基于Python语言的易读性、高效开发及开放生态等优势，Python已经成为科学计算、机器学习以及AI开发领域的事实标准和主流编程语言，其整合了数据分析、机器学习等各类第三方包，如Pandas（数据处理与分析）、NumPy（数值计算）、...
应用场景
该场景可实现：在离线一体化 支持数据实时增删改、具备在线分析和ETL计算一体化，实现大数据与数据库的融合。通过资源组隔离让在离线计算任务不相互影响，保证业务稳定运行。计算存储资源弹性 采用计算存储分离架构，计算资源和存储资源按...
仪表盘
仪表盘是 数据管理DMS 数据分析的其中一种可视化应用类型，其提供自动布局和可交互能力，您可以通过使用仪表盘来进行数据分析和制作可视化报表。本文介绍仪表盘的基本概念、功能展示及操作步骤。基本概念 仪表盘集合：仪表盘集合是用户管理...
管理数据集
在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据分析。进入数据分析页面，单击 数据集 页签。单击 新建数据集，配置如下信息：配置项 是否必填 说明 名称 是 数据集名称，且在同一个用户下唯一。描述 否 用于描述数据集的属性。数据...
背景信息以及准备工作
或者对存储在 阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）上的大数据进行分析之后，通过DLA把结果数据回写到MongoDB，供前台业务使用。前提条件 使用DLA读写MongoDB数据前，您需要通过以下操作在...
数据分析概述
如果目标用户需要使用该功能，请联系 空间管理员 授权 数据分析师 角色权限，授权详情请参见 空间级模块权限管控。说明 如在2022年6月1日前未授权 数据分析师 角色权限，则在此之前仅具有 访客 及 自定义角色 的用户将无法继续使用数据分析...
创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
- 产品推荐
- 这些文档可能帮助您