包年包月资源隔离
对于使用MaxCompute的企业，通常会根据业务的差异性来创建多个MaxCompute项目进行数据隔离。由于每个MaxCompute项目对计算资源（CU）的需求不一致，需要对CU按照项目进行隔离，以便实现CU使用率最大化。本文为您介绍如何通过MaxCompute管理...
概述
MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 MaxCompute Spark支持...
2024年
2024-03-27 全部地域 镜像管理 MaxCompute分布式计算框架MaxFrame发布 MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute ...
ECS资源复用版
ECS资源复用版是MaxCompute按量付费类型中的...则04:00~05:00的账单详情（部分字段）示例如下：产品 产品明细 消费时间 实例ID 计费项code 单价 用量 官网价 云原生大数据计算服务 MaxCompute 大数据计算服务MaxCompute（按量付费）2023-12-30...
Python SDK概述
PyODPS是MaxCompute的Python SDK，能够方便地使用Python语言与MaxCompute进行交互和数据处理。通过该SDK，可以更高效地开发MaxCompute任务、进行数据分析和管理MaxCompute资源。本文为您介绍PyODPS的使用和常见方法。PyODPS介绍 PyODPS提供...
按量付费标准版
资源说明 基础资源 资源说明 计费规则 计算资源 资源池为共享型，计算作业按需抢占资源，例如SQL（含UDF）、MapReduce、Spark、交互式分析（Lightning）和Graph等。不可指定用量也无使用限制。说明 若瞬时作业过多，存在因多用户抢占而无法...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
MapReduce常见问题
MaxCompute会查看您的任务，如果存在一些任务的工作量特别大，便为其开启备份任务，两个任务执行一样的数据，结果用最先执行结束的任务，因此存在Backups。但是如果任务非常大，Backups也无法起作用，因为原本的任务和Backups都没有执行...
PyODPS概述
PyODPS提供了 to_pandas 接口，可以直接将MaxCompute数据转化成Pandas DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的...
配置选项
False DataFrame配置 选项 说明 默认值 interactive 是否在交互式环境。根据检测值。df.analyze 是否启用非ODPS内置函数。True df.optimize 是否开启DataFrame全部优化。True df.optimizes.pp 是否开启DataFrame谓词下推优化。True df....
开发PyODPS脚本
PyODPS是MaxCompute Python版本的SDK，提供对MaxCompute对象的基本操作和DataFrame框架，通过PyODPS，您可以在MaxCompute上进行数据分析。本文为您介绍如何开发PyODPS脚本，以实现与MaxCompute的高效交互和数据处理。前提条件 已配置Python...
基于Flink创建MaxCompute Paimon外表
'maxcompute.endpoint'='<maxcompute endpoint>','maxcompute.accessid'='<maxcompute access id>','maxcompute.accesskey'='<maxcompute access key>','maxcompute.project'='<maxcompute project>','maxcompute.oss.endpoint'='...
Paimon外部表
阿里云实时计算Flink版、开源大数据平台E-MapReduce 的常见计算引擎（如Spark、Hive或Trino）都与Paimon有完善的集成。借助Apache Paimon，您可以快速构建自己的数据湖存储服务在存储服务OSS上，并接入MaxCompute实现数据湖的分析。关于...
Quick BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI，对海量数据进行实时在线分析服务，同时支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...
2021年
新说明 MaxCompute支持您将MaxCompute项目数据接入观远数据（GuanData），帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。观远BI连接MaxCompute 2021年9月更新记录 时间 特性 类别 描述 产品...
SQL其他常见问题
本文为您介绍在MaxCompute中执行SQL时，与数据类型、SQL限制等相关的常见问题。问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合...
Sugar BI连接MaxCompute
Sugar BI是百度智能云推出的敏捷 BI 和数据可视化平台，MaxCompute支持您将MaxCompute项目数据接入Sugar BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用Sugar BI连接MaxCompute项目，并进行可视化数据分析。前提条件 ...
按量付费闲时版
计费单价如下：公共云：0.154元/计算时 金融云：0.293元/计算时 SpotSpark作业（指计算配额为os_SpotQuota的Spark作业）SpotSpark作业当日计算费用=当日总计算时×单价 计费单价如下：公共云：0.22元/计算时 金融云：0.418元/计算时 ...
观远BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入观远BI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。本文为您介绍如何通过MaxCompute JDBC驱动，连接观远BI和MaxCompute项目，并进行可视化...
权限自查建议
随着项目的不断演进，人员的权限也会更新迭代，您需要及时审视人员权限合理性，提升项目数据安全。本文为您介绍权限查询要点，并提供调整建议供参考。背景信息 在项目创建初期，为了提升业务处理效率，通常在用户和权限管理上相对宽松。...
发展历程
2022年 自研一体化大数据计算平台和数据仓库产品ODPS获世界互联网领先科技成果奖。在TPCx-BB 100TB标准测试中，连续6次获得全球冠军，保持性能和性价比第一。Forrester：每两年一次的全球云数仓评测中，进入卓越表现者象限，国内唯一。进入...
Tableau连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入Tableau进行可视化分析，您可以利用Tableau简便的拖放式界面，自定义视图、布局、形状、颜色等，帮助您展现自己的数据视角。本文为您介绍如何通过MaxCompute JDBC驱动，连接Tableau和MaxCompute...
使用须知
您可以查询并分析存储在MaxCompute上的大规模数据。MaxCompute SQL支持如下主要功能。功能项 说明 DDL操作 支持管理表、分区、列、生命周期及视图。DML操作 支持插入或更新表、分区数据。DQL操作 支持SELECT、子查询等多种查询操作。增强...
后续指引
介绍：数据迁移 实践：数据迁移最佳实践 常见问题：数据上传下载常见问题 大规模数据迁移 MaxCompute提供MMA（MaxCompute Migration Assist）迁移工具支撑大规模数据迁移。开发与分析 数据类型 MaxCompute支持三种数据类型版本，为您介绍各...
基于Hadoop集群支持Delta Lake或Hudi存储机制
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于开源的Hadoop集群提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据变化。背景信息 ...
FineBI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入FineBI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作。本文为您介绍如何通过MaxCompute JDBC驱动，连接FineBI和MaxCompute项目，并进行可视化数据分析。背景信息 FineBI是帆...
作业运行常见问题
导致MaxCompute作业运行时长不达预期（作业运行慢）的原因通常可分为资源不足、作业问题、模式回退三种：资源不足 对于使用 包年包月 计算资源的作业，可能由于总体作业运行数据量大、申请资源多、作业优先级低而导致该作业出现资源等待...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
网易有数BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入网易有数BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用网易有数BI连接MaxCompute项目，并进行可视化数据分析。背景信息 网易有数BI是新一代敏捷数据可视化分析平台，是包含...
FineReport连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入FineReport，您通过简单拖拽式操作便可制作中国式复杂报表。本文为您介绍如何通过MaxCompute JDBC驱动，连接FineReport和MaxCompute项目，并进行报表分析。背景信息 FineReport是帆软软件有限公司...
成本追踪
使用记录的下载请参见 MaxCompute账单用量明细分析。对于存储费用，按照小时推送计量信息，1天24次。计算存储价格时需要将字节数相加并计算一个24小时的平均值，之后再按照阶梯定价的公式进行计算最终得到存储价格。计量信息是以每一条任务...
数据科学计算概述
MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍...
成本分析
如果您希望了解和分析在使用MaxCompute时产生的费用、计算用量和存储用量，MaxCompute为您提供成本分析功能，从费用出发下钻到用量明细，为关注费用的管理人员提供更便捷的费用分析能力，方便您后续进行成本优化。本文为您介绍使用...
查询加速（MCQA）
调度策略 交互式配额组不支持显式指定，由服务端根据规则自动进行调度，具体调度策略取决于租户下的交互式配额组数量：●只有一个交互式配额组，则租户下的所有查询加速作业都会调度到这个配额组上。如果租户开通了多个交互式配额组，自动...
术语表
在开始使用MaxCompute产品前，您可以提前查阅MaxCompute所涉及的术语及其含义，为了解产品及快速上手提供帮助。本文为您介绍MaxCompute涉及的术语及其概念。A AccessKey 简称AK，包括AccessKey ID和AccessKey Secret，是访问阿里云API的...
Yonghong BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入Yonghong BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何连接Yonghong BI和MaxCompute项目，并进行可视化数据分析。背景信息 Yonghong Desktop是一款桌面智能数据分析工具，基于...
2021年
2021-12-30 全部地域 MaxCompute湖仓一体概述 MaxCompute支持渐进式计算 MaxCompute支持渐进式计算，在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据，在下一个周期执行时可以重复使用上周期已经计算好的...
Quota管理（新版）
Quota管理是为您在MaxCompute管理控制台提供计算资源消耗查看、调整、增删改查等涉及日常资源管理运维的功能模块。本文为您介绍Quota管理提供的各种能力。背景信息 MaxCompute Quota作为计算资源的单元，为MaxCompute SQL、MapReduce、...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
- 产品推荐
- 这些文档可能帮助您