DataGrip连接MaxCompute
MaxCompute支持您通过数据库管理工具DataGrip访问MaxCompute项目，进行数据管理操作。本文为您介绍如何通过MaxCompute JDBC驱动，连接DataGrip和MaxCompute项目并管理数据。背景信息 DataGrip是面向开发人员的数据库管理环境，为查询、创建...
概述
MaxCompute Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据。MaxCompute提供的 数据上传和下载工具 是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口，不同版本的SDK在使用上有所差别，准确...
表
表是MaxCompute的数据存储单元。它在逻辑上是由行和列组成的二维结构，每行代表一条记录，每列表示相同数据类型的一个字段。MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中...
Paimon外部表
阿里云实时计算Flink版、开源大数据平台E-MapReduce 的常见计算引擎（如Spark、Hive或Trino）都与Paimon有完善的集成。借助Apache Paimon，您可以快速构建自己的数据湖存储服务在存储服务OSS上，并接入MaxCompute实现数据湖的分析。关于...
概述
MaxCompute项目 根据业务诉求，规划待创建的MaxCompute项目的归属地域、计费模式、采用的数据类型版本等信息，以便于创建MaxCompute项目。角色与权限 根据权限最小化原则，规划用户角色和权限。权限列表信息，请参见 权限列表。环境及工具 ...
项目管理（新版）
创建项目 MaxCompute控制台创建的Project允许被各客户端使用，DataWorks提供统一的全链路大数据开发治理平台，紧密的集成MaxCompute，其工作空间标准模式不支持绑定存量MaxCompute项目。推荐您直接通过DataWorks创建MaxCompute项目并进行...
2023年
2023-03-30 全部地域 向量计算（Proxima CE）概述 支持External Volume非结构化数据存储能力 External Volume是MaxCompute提供的非结构化大数据存储方案，是OSS路径在数仓中的映射和管理对象。2023-03-30 全部地域 External Volume操作 ...
快速体验MaxCompute
MaxCompute支持您使用 MaxCompute控制台、MaxCompute客户端、MaxCompute Studio和DataWorks工具处理数据。本文指导您基于MaxCompute提供的公开数据集，通过 MaxCompute控制台，快速体验在MaxCompute上执行SQL语句查询数据及下载查询结果到...
集成MaxCompute客户端
MaxCompute Studio集成了MaxCompute客户端，您可以在MaxCompute Studio中直接运行MaxCompute客户端。背景信息 MaxCompute Studio中已包含最新版MaxCompute客户端程序，并指定为默认客户端。您也可自行指定其他版本客户端程序。操作步骤 ...
成本优化概述
由于大数据的动态性和不断变化的性质，企业用户成本优化的活动应该持续不断的进行。您可以参考以下流程进行优化：在使用MaxCompute之前，建议您详细了解付费策略以及预估自己需要使用的资源，选择适合您的付费方式。详情请参见 选择付费...
2022年
2022-03-01 全部地域 创建OSS外部表 MaxCompute兼容开源Spark的计算服务全新支持3.1版本 MaxCompute兼容开源Spark的计算服务继1.6、2.3、2.4版本之后，全新支持Spark 3.1版本。2022-03-01 全部地域 搭建Linux开发环境 2022-2 功能名称 功能...
开发UDF
当MaxCompute提供的内建函数无法满足您的业务需求时，您可在MaxCompute Studio中自行开发UDF（自定义函数）以实现业务功能，本文介绍如何使用MaxCompute Studio开发及调试Java UDF。前提条件 您需要完成以下操作：管理项目连接 创建...
作业优先级管理与成本优化
本文为您介绍MaxCompute作业优先级管理与成本优化。作业优先级 MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统需要优先保障...由于大数据的动态性和不断变化的性质，成本优化应该持续进行，成本优化流程请参见 成本优化概述。
安全参数列表
为满足不同MaxCompute项目对数据安全的要求，MaxCompute支持项目所有者在项目级别（Project）配置安全属性，定制适合实际业务需求的安全机制。MaxCompute支持在项目级别通过如下安全参数配置安全机制，但是并非所有用户都需要使用这些安全...
SET操作
MaxCompute支持在Session级设置MaxCompute系统变量，本文为您介绍如何设置及查看MaxCompute系统变量，影响MaxCompute的行为。set操作相关命令如下。类型 功能 角色 操作入口 set 对当前Session设置MaxCompute系统变量。具备项目空间操作...
MaxCompute作业概述
数据类型 MaxCompute数据开发支持三个数据类型版本：1.0数据类型版本、MaxCompute 2.0推出了兼容开源主流产品的 2.0数据类型版本 和 Hive兼容数据类型版本。您可以根据您MaxCompute作业的实际情况选用合适的数据类型版本，详情请参见 数据...
观远BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入观远BI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。本文为您介绍如何通过MaxCompute JDBC驱动，连接观远BI和MaxCompute项目，并进行可视化...
Spark Connector
为了更好地融入大数据生态，MaxCompute开放了存储组件（Storage API），通过调用Storage API直接访问MaxCompute底层存储，有助于提高第三方引擎访问MaxCompute数据的速度与效率。本文为您介绍如何使用第三方计算引擎Spark通过Spark ...
术语表
在开始使用MaxCompute产品前，您可以提前查阅MaxCompute所涉及的术语及其含义，为了解产品及快速上手提供帮助。本文为您介绍MaxCompute涉及的术语及其概念。A AccessKey 简称AK，包括AccessKey ID和AccessKey Secret，是访问阿里云API的...
2024年
您可以以更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析及科学计算、ML/AL开发等工作。MaxFrame功能介绍和使用说明请参见 MaxFrame概述。您有任何相关问题或需要协助，可以通过您的专...
创建MaxCompute Java Module
MaxCompute Studio支持开发Java UDF、MapReduce和Graph等程序，首先您需要新建一个MaxCompute Java Module。本文为您介绍如何新建MaxCompute Java Module。前提条件 已连接MaxCompute项目，详情请参见 管理项目连接。操作步骤 在IntelliJ ...
管理项目连接
在IntelliJ IDEA上通过MaxCompute Studio使用MaxCompute进行数据开发前，您必须连接MaxCompute项目，才可以查看、管理MaxCompute的数据和资源。本文为您介绍如何在MaxCompute Studio创建或修改MaxCompute项目连接。步骤一：创建MaxCompute ...
配额
配额（Quota）是MaxCompute的计算资源池，为MaxCompute SQL、MapReduce、Spark、Mars、PAI等计算作业提供所需计算资源（CPU及内存）。您可以根据实际业务合理设置配额组，确保资源的合理分配和利用，防止某一部分任务占用过多资源而影响...
计费概述
本文为您介绍MaxCompute计费项、计费方式、查看账单详情、续费管理等计费相关说明。MaxCompute包含的计费说明如下表所示。计费管理 说明 计费项与计费方式 介绍MaxCompute费用组成、计费项与计费方式、计费方式选择。新用户免费试用额度 您...
LIST USERS
查看MaxCompute项目空间中的用户信息。使用限制 本文中的命令您可以在如下工具平台...相关命令 ADD USER：向MaxCompute项目空间添加阿里云用户或RAM用户。REMOVE USER：当一个用户离开MaxCompute项目团队时，需要将该用户从项目空间中移除。
数据科学计算概述
MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍...
概述
为了供您方便快捷的使用MaxCompute SQL进行数据分析和数据加工，MaxCompute提供了丰富的内建函数，以便您在日常开发和分析中使用，您可以根据需要从不同维度快速查询目标函数。MaxCompute支持的函数功能如下。按函数类型查找函数，请参见 ...
新功能试用申请
支持用户通过SQL、PyODPS、Python等进行数据分析、探索，挖掘数据的价值，完成大数据与AI的融合应用开发。功能说明和使用请参见（邀测）MaxCompute Notebook使用说明。2023年7月 Transaction Table2.0 MaxCompute推出Transaction Table2.0...
打包、上传及注册
当您完成Java程序开发及调试后，您需要将Java程序打包为JAR包并以资源形式上传至MaxCompute项目后，才可以注册MaxCompute UDF，供后续在数据开发中调用。本文为您介绍在MaxCompute Studio中一键完成Java程序打包为JAR包、上传JAR包为...
使用须知
您可以查询并分析存储在MaxCompute上的大规模数据。MaxCompute SQL支持如下主要功能。功能项 说明 DDL操作 支持管理表、分区、列、生命周期及视图。DML操作 支持插入或更新表、分区数据。DQL操作 支持SELECT、子查询等多种查询操作。增强...
可视化管理函数
MaxCompute Studio的Project Explorer提供了可视化编辑器，可以帮助您快速在MaxCompute项目中注册自定义函数（MaxCompute UDF），并提供查看MaxCompute UDF实现代码、删除MaxCompute UDF的操作入口。本文为您介绍如何通过Project Explorer...
删除表或MaxCompute项目
如果您不再需要示例数据或MaxCompute项目，可以删除数据或MaxCompute项目，以免产生不必要的资源浪费及账单费用。本文为您介绍如何删除表或MaxCompute项目。背景信息 您可以根据实际需要判断是否要保留示例数据及MaxCompute项目：如果需要...
存储加密
当MaxCompute项目中存有敏感信息如个人身份信息、财务记录、健康记录等，开启数据存储加密可保护这些数据不被未授权者访问。MaxCompute支持通过密钥管理服务KMS（Key Management Service）对数据进行加密存储，提供数据静态保护能力，满足...
通过日志服务迁移日志数据至MaxCompute
本文为您介绍如何通过日志服务的直接投递功能迁移日志数据至MaxCompute。前提条件 执行本操作的账号为主账号。已开通日志服务，详情请参见 开通日志服务。背景信息 日志服务提供将实时采集的日志数据投递至MaxCompute的功能。如果启用该...
项目
项目（Project）是MaxCompute的基本组织单元，它类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界。项目中包含多个对象，例如表（Table）、资源（Resource）、函数（Function）和实例（Instance）等，您...
2020年
新功能 MaxCompute Streaming Tunnel服务是MaxCompute批量数据通道的扩展服务，提供了一套全新的API及后端服务，方便流式服务作为上游服务将数据写入MaxCompute。流式数据通道概述 2020-12-24 新增MaxCompute Spark使用及常见问题视频。新...
资源
资源是指为了完成数据处理任务而需要使用的各种辅助文件或程序。这些资源通常用于运行MapReduce或UDF（User-Defined Function）等作业。MaxCompute的资源管理功能允许用户上传、注册和管理这些资源。概念 资源（Resource）是MaxCompute的...
兼容性概览
为了帮助您更清晰地使用外部工具连接访问MaxCompute，本文将为您介绍MaxCompute支持连接的数据库管理工具，以及工具与MaxCompute在数据库连通性、列举数据库、查看表等方面的兼容性。数据库管理工具与MaxCompute的兼容性如下。工具 连接...
RDS迁移至MaxCompute实现动态分区
本文为您介绍如何使用DataWorks数据集成同步功能自动创建分区，动态地将RDS中的数据迁移至MaxCompute大数据计算服务。前提条件 准备DataWorks环境 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 ...
使用Kettle调度MaxCompute
Kettle支持丰富的输入输出数据源，数据库支持Oracle、MySQL、DB2等，也支持各种开源的大数据系统，例如HDFS、HBase、Cassandra、MongoDB等。您可以在Kettle中通过创建Job的方式连接MaxCompute项目，并按照ETL流程调度作业。前提条件 在执行...
- 产品推荐
- 这些文档可能帮助您