Serverless Spark概述

解决方案 Serverless Spark是云原生数据湖团队基于Apache Spark打造的服务化的大数据分析与计算服务。方案架构图如下所示:Serverless Spark将Spark、Serverless、云原生技术,深度整合到一起,相对于传统开源Spark集群版方案,具体以下...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

数据分析整体趋势

Hadoop也在早期的MapReduce接口基础上增加了SQL接口,SQL语法逐渐成为大数据分析系统的标准配置。随着AWS,Azure,Alibaba,Google等云厂商的出现,云原生分布式数据仓库成为目前数据分析技术的主要解决方案,代表性云服务包括Amazon ...

基于混合负载的查询优化

传统数仓方案,通过组合多套数据库与大数据产品,利用各自不同的优势来解决不同的分析场景,带来的问题就是整个数据冗余,同时管理多个异构系统的代价。完备数据仓库,首要解决的问题包括:如何更好的支持数据库场景下的交互式分析以及大...

如何对JSON类型进行高效分析

PolarDB 列存索引(In Memory Column Index,IMCI)功能推出了完备的虚拟列列式JSON功能等,可以快速处理大数据和多种数据类型(包括结构化数据半结构化数据等),并提供高效的数据分析、查询流计算能力,适用于数据分析、数据仓库...

Quick BI如何接入TSDB

Quick BI是一个基于云计算致力于大数据高效分析与展现的轻量级自助BI工具服务平台。通过对数据源的连接和数据集的创建,对数据进行即时的分析与查询;通过电子表格或仪表板功能,以拖拽的方式进行数据的可视化呈现。连入成功后,您可以在...

Quick BI连接MaxCompute

背景信息 智能分析套件Quick BI是一个专为云上用户量身打造的易上手、性能强的大数据分析及可视化平台,可以让每个人都能成为数据分析师。Quick BI不仅是业务人员查看数据的工具,更是数据化运营的助推器。更多Quick BI信息,请参见 Quick ...

Github实时数据同步与分析

最终效果如下:(可选)历史离线数据分析 实时数仓Hologres与大数据计算服务MaxCompute深度融合,可以组成一体化的大数据查询与分析架构。在MaxCompute公共数据集中,存储了历史GitHub全量数据。如果想要做更长时间的数据分析,有两种方式...

典型场景

大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据,可通过采用数据集成服务(DataX)或通过对象存储服务(OSS),快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版,帮助您实现高性能分析处理和在线数据探索。...

Spark概述

Spark是一个通用的大数据分析引擎,具有高性能、易用性和普遍性等特点。架构 Spark架构如下图所示,基于Spark Core构建了Spark SQL、Spark Streaming、MLlib和Graphx四个主要编程库,分别用于离线ETL(Extract-Transform-Load)、在线数据...

ActionTrail日志清洗

以操作DLA的账号为例,该账号下每天会产生几千个数据文件,一个月的文件数将达到几十万个,大量的数据文件对大数据分析非常不便,分析数据耗时,且需要足够大的集群资源才能进行大数据分析。前提条件 使用ActionTrail日志清洗之前,您需要...

面临的业务挑战

越来越多的企业大数据分析已不再局限于传统的T+1场景,对数据的实时性分析和处理要求提出了更高要求。传统的批处理模式往往有数小时甚至数天的延迟,不能满足T+0的业务需要,用户要求在秒级,甚至毫秒级完成对海量数据分析。系统极复杂 大...

物联网设备数据上云存储

业务基于 TSDB 进行数据分析、监控和大数据分析。物联网平台规则引擎 物联网设备基于消息 Topic 进行通信,使用规则引擎对 Topic 中的数据进行处理然后转发到 TSDB。只需要在规则引擎中配置一些简单的规则,就可以将设备数据存储到指定的...

AnalyticDB MySQL助力Flowerplus业务高速发展

由此可见,Flowerplus对大数据分析的实时性要求较高,而传统的MySQL数据库无法满足这一需求。复杂数据查询性能 使用传统MySQL数据库对订单、商品流量、采购、业务转化率以及商品售罄报警等分析时速度较慢,数据达到千万级或者亿级时,复杂...

功能发布记录(2024年)

2024.2.6 所有地域 所有DataWorks用户 系统配置 2024-01 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发与数据分析的查询结果支持脱敏展示 数据保护伞支持对E-MapReduce表数据进行分类分级、敏感数据识别、数据脱敏展示...

在工作空间创建数据源或注册集群

工作空间创建完成后,您需要先将您的数据库或数据仓库,通过创建数据源的方式添加至DataWorks工作空间,或将您的集群注册至DataWorks工作空间,以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例,为您...

我是普通用户

SQLConsole SQL窗口 在单库查询中可以手动写SQL进行单库查询,适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 跨数据库查询为不同环境下的在线异构数据源,提供及时的关联查询服务。库表结构 结构设计 ...

公交出行:启迪公交

PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题,历经各届天猫双十一及阿里云各行业客户业务的考验,助力企业加速完成业务...实时和汇总大数据分析系统,支持公交领导产生更加快速有效的业务决策。

基础分析

注意:关联性分析是以全部重复来电数据为分析对象,通过对大量数据分析找出高频的关联标签。重复来电是以某个客户为分析对象,找出他每通电话的标签,进而分析两通电话之间的关系。通话量趋势 通话量的趋势是分析全部通话的随时间的变化...

应用场景

而智能质检通过对客服的通话记录识别成文本进行大数据分析,可以极大的提高质检覆盖率(达到100%),并减少人工成本。保险行业 在保险行业中,阿里云智能质检凭借强大的技术实力,迅速在行业中树立起标杆客户;例如:平安产险的金牌话术...

读写RDS MySQL数据

因为RDS本身能承载的数据量有限,不适合大数据分析。更多的场景是在DLA中对存储在OSS、Tablestore中的大数据进行分析,分析完成之后把结果数据回写到RDS中,供前台业务使用。DLA如何读取OSS中的数据,请参见 操作步骤。以 person 表为例,...

背景信息以及准备工作

背景信息 DLA作为无服务化的大数据分析服务,通过标准的SQL语句直接对存储在阿里云对象存储服务(Object Storage Service,简称 OSS)、表格存储(Table Store)中的数据进行清洗。例如,使用DLA对OSS中的历史数据按天进行清洗。DataWorks...

冷热分层

更多介绍请参见 结构化大数据分析平台设计、面向海量数据的极致成本优化-云HBase的一体化冷热分离 和 云上如何做冷热数据分离。冷热数据 数据按照实际访问的频率可以分为热数据、温数据和冷数据。其中冷数据的数据量较大,很少被访问,甚至...

数据上云场景

MaxCompute平台提供了丰富的数据上传下载工具,可以广泛应用于各种数据上云的应用场景,本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。

什么是Quick BI

极易上手完成报表制作 便捷数据准备 ETL引擎0代码完成数据准备,让数据自助分析不再有门槛 全场景 多端数据呈现 适配PC端、移动端和大屏端,实现不同设备上的数据分析与呈现 无缝办公协同 可集成至办公IM应用(钉钉、企业微信、飞书)中,...

MaxFrame概述

基于MaxFrame,用户可以通过统一的交互式开发环境,MaxCompute统一数据管理能力以及分布式数据开发接口,高效、一站式地完成数据分析、处理以及数据挖掘、建模全生命周期,打破大数据及AI开发使用边界,大大提高开发效率,加速AI创新应用...

数据可视化展现

数据分析模块,DataWorks为您提供数据可视化工具,能够将加工后的数据以图表形式直观展示,便于您快速提取关键信息。本文将以场景示例形式,为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前,请确认您已经...

数据传输迁移概述

数据分析汇总可视化展现。典型场景。类型 典型场景 数仓管理员对数据进行预览 DataWorks-数据分析、数据管理、数据开发调度(数据通道)。Kettle。商业智能,制作报表,看板 Quick BI。Superset。离线数据批量数据读取(外部表-湖仓一体...

Quick引擎概述

“慢”虽然只是一种难以精确定义的体感,但想要解决以上问题,就需要BI产品拥有很强的大数据处理架构和能力,可以横向扩展支持不断增长的数据量和计算任务。Quick引擎架构在数据源和数据集之间,用来处理上层数据作品发送到数据集最终下放...

数据源Data Lake Analytics

添加Data Lake Analytics数据源用于连通阿里云Data Lake Analytics数据库与Quick BI,连接成功后,您可以在Quick BI上进行数据分析与展示。Quick BI支持以公网连接阿里云Data Lake Analytics,本文为您介绍如何添加阿里云Data Lake ...

数据源Alibaba LindormTSDB

添加LindormTSDB数据源用于连通阿里云数据库LindormTSDB与Quick BI,连接成功后,您可以在Quick BI上进行数据分析与展示。Quick BI支持以公网连接阿里云数据库LindormTSDB,本文为您介绍如何添加阿里云LindormTSDB数据源。前提条件 已...

通过Quick BI连接StarRocks实例

添加StarRocks数据源用于连通StarRocks数据库与Quick BI,连接成功后,您可以在Quick BI上进行数据分析与展示。本文为您介绍如何通过Quick BI连接StarRocks实例。背景信息 Quick BI是由阿里云提供的一款全场景数据消费式的BI平台,无缝...

数据源对象存储OSS

添加对象存储OSS数据源用于连通阿里云对象存储OSS与Quick BI,连接成功后,您可以在Quick BI上进行数据分析与展示。Quick BI支持以公网的方式连接阿里云OSS,本文为您介绍如何添加阿里云OSS数据源。前提条件 已开通阿里云OSS服务并创建...

数据源AnalyticDB for MySQL 2.0

添加AnalyticDB for MySQL 2.0数据源用于连通阿里云AnalyticDB for MySQL 2.0数据库与Quick BI,连接成功后,您可以在Quick BI上进行数据分析与展示。Quick BI支持以公网连接阿里云AnalyticDB for MySQL 2.0,本文为您介绍如何添加阿里云...

背景信息以及准备工作

或者对存储在 阿里云对象存储服务(Object Storage Service,简称 OSS)、表格存储(Table Store)上的大数据进行分析之后,通过DLA把结果数据回写到MongoDB,供前台业务使用。前提条件 使用DLA读写MongoDB数据前,您需要通过以下操作在...

数据源Alibaba Lindorm宽表

添加Alibaba Lindorm宽表数据源用于连通阿里云数据库Alibaba Lindorm宽表与Quick BI,连接成功后,您可以在Quick BI上进行数据分析与展示。Quick BI支持以公网连接阿里云数据库Alibaba Lindorm宽表,本文为您介绍如何添加阿里云Alibaba ...

数据源MaxCompute

添加MaxCompute数据源用于连通阿里云MaxCompute数据库与Quick BI,连接成功后,您可以在Quick BI上进行数据分析与展示。Quick BI支持以公网连接阿里云MaxCompute,本文为您介绍如何添加阿里云MaxCompute数据源。前提条件 已创建阿里云...

自建数据源达梦

添加达梦数据源用于连通达梦数据库与Quick BI,连接成功后,您可以在Quick BI上进行数据分析与展示。Quick BI支持以公网或阿里云VPC的方式连接达梦数据库,本文为您介绍如何添加达梦自建数据源。前提条件 请确保您的网络连通性:您通过...

数据源Alibaba OceanBase

添加OceanBase数据源用于连通阿里云OceanBase数据库与Quick BI,连接成功后,您可以在Quick BI上进行数据分析与展示。Quick BI支持以公网或阿里云VPC的方式连接阿里云OceanBase,本文为您介绍如何添加阿里云OceanBase。前提条件 已创建...

数据源PolarDB for PostgreSQL

添加PolarDB for PostgreSQL数据源用于连通阿里云PolarDB for PostgreSQL数据库与Quick BI,连接成功后,您可以在Quick BI上进行数据分析与展示。Quick BI支持以公网或阿里云VPC的方式连接阿里云PolarDB for PostgreSQL,本文为您介绍...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云原生数据湖分析 (文档停止维护) 云原生大数据计算服务 MaxCompute 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用