计算费用（包年包月）
本文为您介绍MaxCompute的包年包月标准计算资源规格下的计算费用规则。背景信息 MaxCompute的计算费用（包年包月）是提前预定一部分资源，先付费后使用。包年包月的计算资源分为预留计算资源和非预留计算资源，即SQL、MapReduce、Spark等...
数据传输费用（按时计费）
如果您已购买包年包月规格的独享数据传输服务资源组，并想要在业务高峰期临时扩容部分并发资源满足资源供给，可使用按时计费规格。本文为您介绍按时计费规格的计费说明、使用说明及资源价格。背景信息 MaxCompute支持对数据传输服务的独享...
数据上云工具
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
使用DataWorks连接
DataWorks基于MaxCompute等引擎，提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间，绑定计算引擎后，您即可在DataWorks上创建对应引擎...
选择连接工具
使用DataWorks连接 否 基于MaxCompute项目以可视化方式实现全方位的数据开发、数据集成、数据服务等功能。当需要周期性调度作业时，推荐您使用该工具。MaxCompute Studio 是 基于流行的集成开发平台IntelliJ IDEA的开发插件，帮助您便捷、...
2022年
2022-03-01 全部地域 创建OSS外部表 MaxCompute兼容开源Spark的计算服务全新支持3.1版本 MaxCompute兼容开源Spark的计算服务继1.6、2.3、2.4版本之后，全新支持Spark 3.1版本。2022-03-01 全部地域 搭建Linux开发环境 2022-2 功能名称 功能...
2021年
新说明 MaxCompute支持渐进式计算，在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据，在下一个周期执行时可以重复使用上周期已经计算好的重叠时间部分的数据，从而降低了计算资源消耗、执行调度时间，为...
存储加密
工作空间创建成功后，在DataWorks提供的 大数据优质数据源推荐 列表中，单击MaxCompute后的 立即绑定。在弹出的数据开发（DataStudio）数据源页面，单击 新建数据源，选择 MaxCompte，根据界面指引创建数据源。详情请参见 通过新建...
2024年
2024-03-27 全部地域 镜像管理 MaxCompute分布式计算框架MaxFrame发布 MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute ...
开源支持
MaxCompute是阿里巴巴自研的一站式的快速、完全托管的TB/PB/EB级数据仓库解决方案。本文将为您介绍MaxCompute相关的开源功能。SDK MaxCompute提供Java SDK和Python SDK接口实现创建、查看、删除MaxCompute表等操作。通过SDK，您可以通过...
Transaction Table2.0概述
针对这些问题近几年大数据开源生态也推出了各种解决方案，最流行的就是Spark/Flink/Presto开源数据处理引擎，深度集成开源数据湖Hudi、Delta Lake和Iceberg三剑客，践行统一的计算引擎和统一的数据存储思想来综合提供解决方案，解决Lamdba...
SDK接口
使用说明 您可以基于MaxCompute Studio通过Java SDK使用MaxCompute流式数据通道服务。您可以使用以下配置在MaxCompute Studio上添加指定版本的pom依赖。groupId>...
新功能试用申请
支持用户通过SQL、PyODPS、Python等进行数据分析、探索，挖掘数据的价值，完成大数据与AI的融合应用开发。功能说明和使用请参见（邀测）MaxCompute Notebook使用说明。2023年3月 项目开启Volume权限 External Volume是MaxCompute提供的分布...
使用MaxCompute控制台（离线）
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
网易有数BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入网易有数BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用网易有数BI连接MaxCompute项目，并进行可视化数据分析。背景信息 网易有数BI是新一代敏捷数据可视化分析平台，是包含...
概述
创建或配置DataWorks工作空间，选择计算引擎服务为 MaxCompute，选择机器学习服务为 PAI Studio。通过DataWorks创建待导入数据集信息的表并导入数据。对导入的数据按照模型要求进行处理，并创建训练数据集和测试数据集。训练数据集用于模型...
PyODPS概述
PyODPS提供了 to_pandas 接口，可以直接将MaxCompute数据转化成Pandas DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的...
RDS外部表
RDS（Relational Database Service）是阿里云用户主要使用的服务，需要通过内网域名访问。如果您需要通过MaxCompute将数据加载至RDS的表中，可参考该文档进行操作。本文为您介绍如何在外网或VPC网络环境下基于RDS数据源创建外部表并写入...
实验介绍
云原生大数据计算服务MaxCompute 实现底层加工计算，您需提前开通该服务。详情请参见 开通MaxCompute。云数据库RDS MySQL版 本案例中用于存储用户信息数据。案例已默认提供该MySQL数据源基本信息，您无需单独开通该服务。对象存储OSS 本...
MapReduce
MaxCompute提供个两版本的MapReduce编程接口：MaxCompute MapReduce：MaxCompute的原生接口，执行速度快、开发快捷、不暴露文件系统。MaxCompute扩展MapReduce（MR2）：对MaxCompute MapReduce的扩展，支持更复杂的作业调度逻辑。MapReduce...
MaxCompute在电商场景中如何进行漏斗模型分析
本文以电商场景为例，为您介绍如何使用MaxCompute进行离线数据计算并连接Quick BI进行漏斗模型展示。背景信息 漏斗模型是通过产品各项数据的转化率来判断产品运营情况的工具。转化漏斗则是通过各阶段数据的转化，来判断产品在哪一个环节出...
存储费用
MaxCompute会对存储的数据（例如表或资源）及备份的数据，按照数据容量大小进行计费。本文为您介绍存储费用的计费规则。背景信息 MaxCompute数据的压缩比一般在5倍左右，因此多数情况下，您上传的数据文件大小与实际存储在MaxCompute的大小...
开发ODPS Spark任务
背景信息 MaxCompute Spark 是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限体系基础上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。在DataWorks中，您...
计费概述
本文为您介绍MaxCompute计费项、计费方式、查看账单详情、续费管理等计费相关说明。MaxCompute包含的计费说明如下表所示。计费管理 说明 计费项与计费方式 介绍MaxCompute费用组成、计费项与计费方式、计费方式选择。新用户免费试用额度 您...
网络开通流程
当您通过MaxCompute访问位于外网或VPC网络中的目标服务时，默认情况下，MaxCompute与目标服务之间的网络不可达。您需要开通网络连接以便访问外网或VPC中的目标服务（例如指定IP或域名、RDS、HBase集群、Hadoop集群等）。本文为您介绍...
SQL其他常见问题
本文为您介绍在MaxCompute中执行SQL时，与数据类型、SQL限制等相关的常见问题。问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合...
管理项目连接
在IntelliJ IDEA上通过MaxCompute Studio使用MaxCompute进行数据开发前，您必须连接MaxCompute项目，才可以查看、管理MaxCompute的数据和资源。本文为您介绍如何在MaxCompute Studio创建或修改MaxCompute项目连接。步骤一：创建MaxCompute ...
TPC-DS数据
Query样例文件 MaxCompute提供了针对不同数据规格的Query样例文件，每个文件内包含99个查询，这些查询的复杂性和扫描数据范围差异很大，请谨慎选取执行，避免产生大量计算费用。您也可以使用TPC-DS基准套件中的工具生成这些查询的不同版本...
欠费与停服说明
本文为您介绍MaxCompute欠费后服务与资源的状态变化。您在执行计算任务过程中，如果出现下述错误，则说明MaxCompute已停服或欠费。您可以通过 用户中心 首页，单击 充值 补充费用。ODPS-0420095:Access Denied-Authorization Failed[4093],...
迁移服务（MMA）
MaxCompute提供的数据迁移服务支持通过MMA（MaxCompute Migration Assist）服务，将Hive数据安全且高效地迁移到MaxCompute。迁移流程 使用限制 不支持迁移Hive数据至已开启Schema功能的MaxCompute项目。关于Schema介绍详情，请参见 Schema...
BigQuery数据迁移至MaxCompute
本文为您介绍如何通过公网环境将谷歌云GCP（Google Cloud Platform）的BigQuery数据集迁移至阿里云MaxCompute。前提条件 类别 平台 要求 参考文档 环境及数据 谷歌云GCP 已开通谷歌BigQuery服务，并准备好环境及待迁移的数据集。已开通谷歌...
使用云命令行（odpscmd）连接
注意事项 在任意区域启动MaxCompute的云命令行（odpscmd），云命令行的服务和临时存储服务默认都部署在上海区域，若您的项目在其他区域，使用此功能会存在数据安全风险，请谨慎使用。进入云命令行（odpscmd）环境 登录 MaxCompute控制台，...
核心概念的层次结构
通常MaxCompute的各层级概念的组织模式如下：租户代表组织，以企业为例，一个企业可以在不同地域开通MaxCompute按量付费服务或预先购买包年包月计算资源（Quota）。企业内的各个部门在开通服务的地域内创建和管理自己的项目（Project），...
TPC-DS性能测试
MaxCompute适用于TB、PB和EB等各个数量级的数据查询场景，并在业界具有较大的性能优势，本文基于MaxCompute提供的公开数据集及测试工具，以大数据基准测试TPC-DS为例为您验证MaxCompute的性能。准备工作 环境准备。在进行TPC-DS测试前，您...
选择付费方式
对周期性高密度计算作业使用包年包月模式，对非周期性的大规模数据处理作业使用按量计费模式。按量计费模式下可以不存储数据，通过读取其它账号下的表获取数据，从而可以节省数据存储费用。不同账号下跨表计算需要通过授权来实现，详细请...
数据加工过程卡点校验
离线系统卡点校验 MaxCompute将离线业务系统生成的数据，通过同步工具（DataWorks的数据集成或阿里云DTS）进入数据仓库系统（MaxCompute）。数据在数据仓库中进行清洗、加工、整合、算法和建模等一系列运算后，再通过同步工具输出到数据...
公共规范
本文为您介绍建设MaxCompute数据仓库的公共规范。层次调用约定 应用层应优先调用公共层数据，必须存在中间层CDM数据，不允许应用层跨过中间层CDM从ODS层重复加工数据。中间层CDM需要积极了解应用层数据的建设需求，将公用的数据沉淀到公共...
概述
Out[5]:0 1 0 1.0 NaN 1 1.0 1.0 PyODPS PyODPS使用MaxCompute计算和存储数据，而MaxCompute并不保证数据顺序，因此PyODPS不保证数据顺序，不支持时序操作。执行层 Mars Mars包含客户端和分布式执行层。您可以通过调用 o.create_mars_...
Hologres外部表
当您需要访问存储在Hologres中的数据时，MaxCompute支持使用外部表访问Hologres数据源数据，无需导入数据至MaxCompute中，实现快速查询Hologres数据。本文为您介绍如何在外部表建表语句中指定Hologres数据源、STS认证信息或打开双签名开关...
使用阿里云Flink（流式数据传输）
实时计算Flink版内置插件支持通过批量数据通道写入MaxCompute，受到批量数据通道并发数及存储文件数影响，内置版本插件会有性能瓶颈。MaxCompute提供了使用流式数据通道的Flink插件，支持使用Flink在高并发、高QPS场景下写入MaxCompute。...
- 产品推荐
- 这些文档可能帮助您