云原生大数据计算服务 MaxCompute
云原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。
模型训练
在 PARAMETERS（参数设置）区域，配置training_frame（训练数据帧）、response_column（训练目标列）、validation_frame（验证数据帧）、blending_frame（混合模式数据帧）和leaderboard_frame（计算模型评分排行榜所用数据帧）。...
操作审计事件数据迁移至MaxCompute
参数 描述 大数据计算服务地域 被投递数据的MaxCompute项目所在地域。说明 操作审计会将审计日志投递至MaxCompute指定地域下的actiontrail_<阿里云账号ID>项目中。因为同一阿里云账号下MaxCompute项目名称唯一，若账号下已有actiontrail_...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
授权信息
本文为您介绍 云原生大数据计算服务 MaxCompute（MaxCompute）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。云原生大数据计算服务 MaxCompute（MaxCompute）的RAM代码（RamCode）为 odps，支持的授权粒度为 ...
计算设置概述
设置Dataphin实例的计算引擎为TDH或ArgoDB 星环TDH 6.x Transwarp Data Hub（TDH)是星环大数据平台 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持实时计算，具有高吞吐低延迟等优势，同时也支持离线计算与调度。...
发展历程
深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，成为国际TPC（Transaction Processing Performance Council）委员会大数据评测标准BigBench的委员会委员，是中国担任此国际性能标准化测试组织委员的唯一企业。...
什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
DataWorks V3.0
MaxCompute：大数据计算服务MaxCompute（原ODPS）是一种快速、完全托管的EB级大数据计算引擎，是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持，且最成熟完备的计算引擎，目前已基本覆盖MaxCompute的所有功能。详情请参见 ...
2023年
该地域项目的存储、下载后付费账单归属的 产品明细 将从 大数据计算服务MaxCompute（包月）变成 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute（按量付费）。当您使用的包年包月...
计算设置概述
计算引擎 说明 操作文档 离线计算引擎 MaxCompute 阿里原生的大数据计算平台，承载海量数据存储与计算能力，高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持...
ECS资源复用版
ECS资源复用版是MaxCompute按量付费类型中的一种实例规格，旨在将ECS闲置实例转换为可用的MaxCompute计算资源，该方式可以充分利用已有的计算资源，而不需要额外购买新的MaxCompute计算资源，从而在满足大数据处理需求的同时，提高资源利用...
查看账单详情
上图中，产品明细说明如下：大数据计算服务MaxCompute（按量付费）、消费类型为 后付费：指当日该账号开通MaxCompute按量付费标准版、开发者版中所有按量付费账单的汇总，包括存储、计算、公网下载的按量计费账单。大数据计算服务...
减灾与应急时空解决方案与案例
可在表级和操作级充分利用时空并行处理能力加快大数据计算效率。系统原生部署在云端，支持直接使用SQL实现传统GIS服务软件提供的大部分功能，还支持性能及存储空间同时线性扩展。项目价值 领域专业数据一体化融合管理和处理能力，提供存储...
升级和降配
在 变配 页面，配置升级后所需的CU数量，并勾选 大数据计算服务MaxCompute服务等级协议 和 阿里云产品服务协议-MaxCompute，单击 立即购买。订单价格计算规则如下：升级订单价格计算=新配置剩余时长购买金额（新配置的月单价/30/24×剩余时...
应用场景
GPU计算的处理优势在于拥有众多专用的并行计算单元以及超高的显存带宽，让多路大规模数据搬移和快速并行计算成为典型的计算模式，但该模式也导致了每路数据的处理延迟增加。在具有低延迟需求的在线业务场景中，例如语音识别等，在Batch值较...
计量计费
计算时数量的计算规则如下：计算时数量=max(CPU Core数量×时长,内存×时长/4)例如1小时消耗了2 个CPU Core和5 GB内存，则计算时数量为：计算时数量=max(2×1,5×1/4)=2 账单金额为：账单金额=计算时数量×单价 本例中账单金额为：2（计算...
支持的连接器
MySQL√流模式 SQL和DataStream 是 云数据库RDS MySQL版×流模式和批模式 SQL 是 大数据计算服务MaxCompute√流模式和批模式 SQL和DataStream 不支持更新和删除结果表数据，只支持插入数据。数据总线DataHub√流模式和批模式 SQL和...
RDS迁移至MaxCompute实现动态分区
本文为您介绍如何使用DataWorks数据集成同步功能自动创建分区，动态地将RDS中的数据迁移至MaxCompute大数据计算服务。前提条件 准备DataWorks环境 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 ...
基本概念
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB、PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将Lindorm数据导入...
功能发布记录（2024年）
所有DataWorks用户 数据治理中心概述 数据治理中心新增物化视图功能 当您在面对大数据计算任务频繁且存在大量相似子查询场景时，DataWorks支持自动化治理，智能推荐物化视图，为您提供了一种智能化、自动化的解决方案。当您启用此功能时，...
Tablestore外部表
本文将进一步为您介绍如何将来自Tablestore（原OTS）的数据纳入MaxCompute上的计算生态，实现多种数据源之间的无缝连接。背景信息 表格存储（Tablestore）是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务，提供海量结构化数据的存储...
PyODPS概述
如果后续操作的都是本地的DataFrame，则丧失了MaxCompute 的大规模并行计算能力，且数据量稍大时，单机内存就很容易产生OOM。提交到MaxCompute分布式执行（推荐）推荐您合理利用PyODPS提供的分布式DataFrame功能，将主要的计算提交到...
什么是自动驾驶开发平台
能够解决的问题如下 海量非结构化数据快速预处理 利用数据管理并行计算框架，在阿里云上以云原生的方式分布式处理海量非结构化数据，采集到的感知数据处理效率提高10倍。感知数据多模态检索 无论是经过标注还是未经标注的传感器输出数据，...
客户案例
入选英国《银行家》杂志公布的全球 1000 家大银行排行榜和全球银行品牌 500 强榜单，2017 年分列第 146 位和第 131 位。在互联网金融飞速发展的当下，南京银行积极转型，努力打造自己的互联网金融平台。李勇 南京银行信息技术部副总经理...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
E-MapReduce弹性低成本离线大数据分析
离线大数据分析概述 主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm：Hadoop可以运用在很多商业应用系统，可以轻松集成结构化、半结构化以及非结构化数据集。Spark采用了内存计算，允许数据载入内存作反复查询，融合数据仓库、流...
AI加速概述
TorchAcc（模型训练加速框架）支持数据并行训练，优化计算和通信overlap，提升分布式训练效果。支持AMP训练加速。支持自动显存优化等。EPL（大规模分布式训练框架）支持数据并行，算子拆分流水并行。支持自动并行策略，得到最优分布式训练...
排行榜
例如，排行榜根据销售额从大到小的顺序展示TOP 10城市。本文为您介绍如何为排行榜添加数据并配置样式。效果图 排行榜包含基础排行榜和占比滚动排行榜，效果图如下所示。配置数据 以 基础排行榜 为例为您介绍排行榜的数据配置。在组件库区域...
什么是人工智能平台PAI
千亿级特征样本的大规模并行计算框架Parameter Server。Spark、PySpark、MapReduce等业内主流开源框架。PAI提供的服务：可视化建模和分布式训练Designer，详情请参见 可视化建模（Designer）。Notebook交互式AI研发DSW（Data Science ...
产品架构
计算资源包括云原生资源（灵骏计算资源和通用计算资源）和大数据引擎资源（MaxCompute和Flink）。平台工具层（灵骏智算服务&人工智能框架）：人工智能框架：包括Alink、TensorFlow、PyTorch、Megatron、DeepSpeed及RLHF等智能框架，用于...
基于TairZset实现分布式架构排行榜
借助Tair自研客户端可实现分布式架构排行榜的能力，即可将计算任务分布至多个Key（子排行榜）中完成，您可自定义该Key的数量（默认为10），Tair会将自动数据分散到10个Key中（子排行榜）完成计算，实现分布式架构排行榜。背景信息 实现分布...
Kyuubi概述
使用场景 交互式分析：利用Kyuubi可以构建企业级分析平台，用于对大数据进行交互式可视化分析，支持常见的计算框架。Kyuubi支持JDBC和ODBC接口，您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台...
基于TairZset轻松实现多维排行榜
具备扩展能力（即 分布式架构排行榜），在数据分片容量或计算能力不足时，可以将其扩展到其他数据分片。实现奖牌榜 排名 参与方 金牌 银牌 铜牌 1 A 32 21 16 2 B 25 29 21 3 C 20 7 12 4 D 14 4 16 5 E 13 21 18 6 F 13 17 14 在奖牌榜中...
概述
PolarDB MySQL版 8.0版本重磅推出弹性并行查询框架，当您的查询数据量到达一定阈值，就会自动启动并行查询框架，从而使查询耗时指数级下降。功能简介 弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。...单击 更新，即可在 排行榜 图表中查看到数据排行榜信息。如下图所示：
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。...单击 更新，即可在 排行榜 图表中查看到数据排行榜信息。如下图所示：
数据总览
操作步骤 进入数据地图页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 进入数据地图。...热门表 根据数据地图表详情页访问PV，为您展示表访问量的排行榜。为实时统计的数据。
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
- 产品推荐
- 这些文档可能帮助您