MaxFrame概述

基于MaxFrame,用户可以通过统一的交互式开发环境,MaxCompute统一数据管理能力以及分布式数据开发接口,高效、一站式地完成数据分析处理以及数据挖掘、建模全生命周期,打破大数据及AI开发使用边界,大大提高开发效率,加速AI创新应用...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。...数据展现与分享:数据提取成功后,可以通过报表、地理信息系统等多种展现方式,展示与分享大数据分析处理后的成果。

兼容性概述

BI分析工具连接MaxCompute,能够充分利用MaxCompute强大的数据处理能力和高性能的计算资源,为您带来更高效的数据分析体验。为了帮助您更清晰地使用BI工具连接访问MaxCompute,本文为您介绍MaxCompute支持连接的BI分析工具,以及工具与...

客户案例

MaxCompute已被广泛应用于各大领域处理云上大数据,帮助众多企业解决了海量数据分析问题,同时降低企业运维成本,企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息,请参见 行业客户案例...

ActionTrail日志清洗

以操作DLA的账号为例,该账号下每天会产生几千个数据文件,一个月的文件数将达到几十万个,大量的数据文件对大数据分析非常不便,分析数据耗时,且需要足够大的集群资源才能进行大数据分析。前提条件 使用ActionTrail日志清洗之前,您需要...

客户案例

价值体现 从大数据平台上云整体“降本增效”的方案快速切入,迁移到大数据MaxCompute、实时计算、DataWorks后,部分任务有10倍以上的性能提升,存储从自建Hadoop 3PB降到900T,利用Flink实时数据处理能力,将宝宝树现有的场景实时化(...

应用场景

访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理,适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步,简化数据操作流程。

监控分析平台对比

对结果集大小进行限制,否则复杂的聚合查询或模糊查询等,在过大数据集上甚至直接导致内存溢出(OOM)。控制segment数量,必要时进行force merge,也需要评估force merge带来的大量IO和资源消耗。合理选择Filter和Query。在无需计算的场景...

功能概览

可解决企业批处理复杂大数据的难题,支持企业精细化运营、数据营销、智能推荐等大数据业务场景。离线集成概述 流式ETL 帮助您实现流式数据地抽取、数据转换和加工、数据装载。丰富企业实时数据处理和计算场景,赋能企业数字化转型。什么是...

实时数据消费概述

为您提供了一个强大的工具,用于结合流处理和批处理数据分析。更多信息,请参见 实时数据源集成。使用场景 构建实时分析报表及其他实时分析应用。结合增量实时物化视图构建流批一体的实时数仓。在采用SQL方式写入数据(UPSERT或UPDATE)...

快速体验

DataWorks的数据分析功能为企业提供了全面的数据分析和服务共享能力,可便捷地连接多种数据源、支持SQL查询,并提供电子表格等多样化的数据分析工具,以满足企业日常的数据提取和分析需求。本文将通过MaxCompute引擎在SQL查询中对公共数据...

产品简介

自然语言处理(Natural Language Processing,简称NLP),是为各类企业及开发者提供的用于文本分析及挖掘的核心工具,旨在帮助用户高效的处理文本,已经广泛应用在电商、文娱、司法、公安、金融、医疗、电力等行业客户的多项业务中,取得了...

一站式HTAP服务

这种存储形式和执行模型能够很高效地完成高并发的事务处理负载,但无法高效应对规模的数据分析负载。在重度OLAP的业务场景中,通常需要将数据从OLTP数据库中导出,然后将数据迁移并导入到专业的OLAP数据仓库,在数据仓库中进行规模的...

Yonghong BI连接MaxCompute

背景信息 Yonghong Desktop是一款桌面智能数据分析工具,基于本机安装,省去繁琐的部署环节,即装即用。提供一站式、敏捷、高效的数据治理、可视化分析及AI深度分析能力,可以帮助每一位用户轻松实现数据分析和数据可视化工作。更多...

T+1多库合并建仓

上述方案可解决因数据量大而导致的用户体验问题,但在对分库分表数据进行大数据分析时,逻辑上的一个表被拆成了多张表,由于没有类似TDDL中间件来屏蔽物理表的拆分,进行数据分析时变得十分复杂。解决方案 T+1多库合并建仓是指通过DLA控制...

产品更新动态

对业务人员提供真正友好的数据分析工具,经验与AI的碰撞获取分析灵感。创建数据集 探查数据集 管理数据集 数据卡片生成 数据卡片智能一键生成,提供多样化的可视化表现方式,帮助您快速获得数据分析灵感、保存数据见解。生成的卡片支持图表...

Kyuubi概述

使用场景 交互式分析:利用Kyuubi可以构建企业级分析平台,用于对大数据进行交互式可视化分析,支持常见的计算框架。Kyuubi支持JDBC和ODBC接口,您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台...

什么是Databricks数据洞察

Databricks数据洞察(简称DDI)是基于Apache Spark的全托管大数据分析平台。产品内核引擎使用Databricks Runtime,并针对阿里云平台进行了优化。DDI为您提供了高效稳定的阿里云Spark服务,您无需关心集群服务,只需专注在Spark作业的开发上...

Spark应用性能诊断

应用场景 Spark应用性能诊断主要适用于以下场景:数据集性能分析:使用Spark处理大规模数据时,需要对数据集进行性能分析。使用性能诊断工具可以快速定位性能瓶颈(例如:内存峰值、Spill等),提高数据处理效率。大规模应用负载均衡:...

产品优势

无论是数据湖中的非结构化或半结构化数据,还是数据库中的结构化数据,您都可使用 AnalyticDB MySQL 构建企业的数据分析平台,同时完成高吞吐离线处理和高性能在线分析,实现降本增效。弹性能力和扩展性 AnalyticDB MySQL版 采用云原生技术...

产品简介

DLA Ganos是基于云原生数据湖分析(Data Lake Analytics,DLA)系统设计开发的,面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化(Serverless)数据湖分析服务与内置的Spark计算引擎,DLA Ganos打通了阿里云各个存储系统,如...

什么是EMR Notebook

EMR Notebook是一个Serverless化的交互式数据分析和探索平台,满足大数据和AI融合下的数据处理需求,为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...

数据分析作业

MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库,支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业,推荐您使用SQL查询或DataWorks的临时查询等工具,高效便捷地完成数据分析...

功能特性

功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 DQL操作 DQL操作 DQL操作 函数开发 内建函数 MaxCompute提供丰富的内建函数,方便用户进行数据分析和数据加工。内建函数 自定义函数 MaxCompute支持...

什么是阿里云Elasticsearch

基于这些优化,您可以快速构建日志分析、异常监控、企业搜索和大数据分析等各业务应用,聚焦于业务应用本身,实现业务价值。产品组件 在阿里云Elastic Stack产品生态下,Elasticsearch作为实时分布式搜索和分析引擎,Kibana实现灵活的可视...

简介

本文主要介绍HBase Ganos的功能、优势和使用场景。重要 HBase增强版已全新升级为云原生多模数据库Lindorm,新的场景需求推荐您使用 Ganos时空服务功能。HBase Ganos是什么 HBase Ganos是...与Spark集成,ETL与多源空间数据分析处理更便捷。

应用场景

适用场景 OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析 实时数仓 电商大促数据分析 教育行业的直播质量分析 物流行业的运单分析 金融行业...

聚水潭:云原生数据仓库助力企业实现商业洞察

本文介绍聚水潭通过引入 AnalyticDB PostgreSQL版 构建企业级云原生数据仓库,解决业务需求过资源弹性扩展难等问题。客户介绍 上海聚水潭网络科技有限公司成立于2014年,是一家从事SaaS ERP应用服务研发且拥有完全自主知识产权的软件...

应用场景

云原生数据仓库AnalyticDB MySQL版 为千万家企业级客户提供了数据处理ETL、实时在线分析、核心报表、大屏和监控能力,为广大商家和消费者提供稳定的离线和在线数据服务。本文介绍 云原生数据仓库AnalyticDB MySQL版 的五个使用场景:实时数...

产品概述

数据总线DataHub与阿里云流计算引擎StreamCompute无缝连接,用户可以轻松使用SQL进行流数据分析。数据总线DataHub服务也提供分发流式数据到各种云产品的功能,目前支持分发到MaxCompute(原ODPS),OSS等。系统整体功能图 产品优势 高吞吐 ...

Transaction Table2.0概述

针对这些问题近几年大数据开源生态也推出了各种解决方案,最流行的就是Spark/Flink/Presto开源数据处理引擎,深度集成开源数据湖Hudi、Delta Lake和Iceberg三剑客,践行统一的计算引擎和统一的数据存储思想来综合提供解决方案,解决Lamdba...

便宜易用

对于业务具有间歇性定时任务,负载有波动或不可预测的需求,云数据库RDS支持 Serverless 计费方式,实例会根据业务情况对计算资源自动弹性伸缩,存储资源根据数据量自动扩容,避免闲置资源,降低数据库运维成本。更多信息,请参见 计费方式...

创建CDH Spark节点

Spark是一个通用的大数据分析引擎,具有高性能、易用和普遍性等特点,可用于进行复杂的内存分析,构建大型、低延迟的数据分析应用。DataWorks为您提供CDH Spark节点,便于您在DataWorks上进行Spark任务的开发和周期性调度。本文为您介绍...

整体架构

BSP模式,通过DAG进行任务切分,分批调度,满足有限资源大数据量计算,支持计算数据落盘。羲和计算引擎提供自动切换能力,即当查询使用MPP模式无法在一定耗时内完成时,系统会自动切换为BSP模式进行执行。湖仓版新增的开源Spark计算引擎...

后续指引

介绍:数据迁移 实践:数据迁移最佳实践 常见问题:数据上传下载常见问题 规模数据迁移 MaxCompute提供MMA(MaxCompute Migration Assist)迁移工具支撑规模数据迁移。开发与分析 数据类型 MaxCompute支持三种数据类型版本,为您介绍各...

阿里云Elasticsearch数据采集解决方案

Logstash Logstash是一个强大而灵活的工具,可以读取、处理和传送任何类型的数据,并且具有丰富的功能,但对设备资源的要求较高。目前Beats还不支持Logstash提供的一些丰富的功能,或者通过Beats执行成本太高,例如通过查找外部数据源来...

什么是基因分析平台?

平台支持GA4GH社区开放标准,集成丰富的流程工具和公共数据集,帮助用户安全高效、敏捷弹性地处理任意规模基因数据。相比于其他用户方案,基因分析平台提供完整的Serverless基因计算服务,简单易用、经济高效、灵活可靠、且超大规模。结合...

DataWorks V3.0

MapReduce:E-MapReduce(Elastic MapReduce,简称EMR)构建在阿里云云服务器ECS上,基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其它周边系统(例如Hive),来分析处理自己的数据的大数据引擎...

功能特性

数据分析概述 访问数据分析功能 管理数据集 仪表盘 Copilot Copilot是DMS基于阿里云模型构建的数据智能助手。其结合了DMS熟练的数据管理、数据使用能力,可帮助开发、运维、产品、运营、分析师和数据库管理员,更高效、规范地使用和管理...

大数据分析

您可在用户中心订阅不同类型的账单数据并借助MaxCompute和DataWorks实现账单的大数据分析。订阅成功后,账单数据将会定时同步至MaxCompute,您可使用DataWorks的数据分析功能查询并分析账单数据,将分析结果生成可视化图表卡片及报告,同时...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
阿里邮箱 云数据库 RDS 数据库备份 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用