数据科学计算概述
MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍...
Tablestore外部表
注意事项 MaxCompute与Tablestore是两个独立的大数据计算和存储服务，所以两者之间的网络必须保证连通性。MaxCompute公共云服务访问Tablestore存储时，推荐您使用Tablestore私网地址，即Host名以 ots-internal.aliyuncs.com 作为结尾的地址...
2020年
新功能 MaxCompute Streaming Tunnel服务是MaxCompute批量数据通道的扩展服务，提供了一套全新的API及后端服务，方便流式服务作为上游服务将数据写入MaxCompute。流式数据通道概述 2020-12-24 新增MaxCompute Spark使用及常见问题视频。新...
2020年
2020-12 功能名称 功能描述 发布时间 发布区域 相关文档 流式数据写入服务（Streaming Tunnel）开始公测 MaxCompute Streaming Tunnel服务，支持通过API方式实现流式数据无感知高QPS写入MaxCompute。2020-12-28 所有区域 流式数据通道概述 ...
术语表
在开始使用MaxCompute产品前，您可以提前查阅MaxCompute所涉及的术语及其含义，为了解产品及快速上手提供帮助。本文为您介绍MaxCompute涉及的术语及其概念。A AccessKey 简称AK，包括AccessKey ID和AccessKey Secret，是访问阿里云API的...
StarRocks Connector
StarRocks Connector通过实现External Catalog机制，无需数据导入或创建外部表即可无缝访问MaxCompute数据源，并执行复杂的SQL查询，提升了数据分析效率并降低了运维难度和成本。本文为您介绍如何通过StarRocks Connector访问MaxCompute。...
使用须知
您可以查询并分析存储在MaxCompute上的大规模数据。MaxCompute SQL支持如下主要功能。功能项 说明 DDL操作 支持管理表、分区、列、生命周期及视图。DML操作 支持插入或更新表、分区数据。DQL操作 支持SELECT、子查询等多种查询操作。增强...
按量付费闲时版
计费单价如下：公共云：0.154元/计算时 金融云：0.293元/计算时 SpotSpark作业（指计算配额为os_SpotQuota的Spark作业）SpotSpark作业当日计算费用=当日总计算时×单价 计费单价如下：公共云：0.22元/计算时 金融云：0.418元/计算时 ...
模拟IDC Spark读写MaxCompute实践
本文以开源大数据开发平台E-MapReduce（云上Hadoop）方式模拟本地Hadoop集群，为您介绍如何读写MaxCompute数据。背景信息 实践架构图如下所示。准备开发环境 准备E-MapReduce（EMR）环境。购买EMR集群。详情请参见 E-MapReduce快速入门。...
权限自查建议
随着项目的不断演进，人员的权限也会更新迭代，您需要及时审视人员权限合理性，提升项目数据安全。本文为您介绍权限查询要点，并提供调整建议供参考。背景信息 在项目创建初期，为了提升业务处理效率，通常在用户和权限管理上相对宽松。...
监控报警
监控报警方案 MaxCompute支持通过如下方式实现监控报警功能：通过 阿里云监控服务 配置 监控指标，对包年包月资源、实时作业消费、Tunnel上传下载数据量及作业运行时长 进行监控：通过监控大盘，实时观察监控图表，了解各监控指标的实时...
安装并登录MaxCompute本地客户端
MaxCompute本地客户端（odpscmd）直接在您的本地计算机上运行，提供了一个简单且高效的方式来执行命令和管理MaxCompute服务。本文为您介绍如何安装并启动MaxCompute客户端，启动成功后即表示已经登录MaxCompute客户端并进入MaxCompute项目...
计算费用（按量付费）
当您购买按量付费规格后，MaxCompute会对SQL、MapReduce、Lightning（交互式分析）、Spark、Mars（数据科学）和MCQA（查询加速SQL）计算类型按量付费。本文为您介绍不同计算类型下的计费规则。背景信息 MaxCompute是以作业的执行情况作为...
MaxCompute安全白皮书
RAM授权：MaxCompute支持通过使用阿里云的访问控制RAM（Resource Access Management）服务授权，将您云账号下MaxCompute资源的访问及管理权限授予RAM用户和RAM角色，按需为用户分配最小权限，从而降低企业的信息安全风险。MaxCompute还支持...
使用限制
包年包月计算资源可购买额度限制说明 MaxCompute包年包月计算资源（单位：CU）默认最多可购买额度上限为 2000 CU，若您希望购买超过2000 CU的计算资源，请您使用阿里云账号填写 申请表单 提交申请，MaxCompute产品工作人员会在三个工作日内...
周期性调度作业概述
如果您希望周期性运行MaxCompute作业，可使用DataWorks的DataStudio开发周期性MaxCompute作业，并配置周期性调度的时间属性、调度依赖等配置项，将作业整体提交至DataWorks的运维中心进行周期性调度。本文为您概要介绍当前使用DataWorks...
权限概述
为确保MaxCompute项目数据的安全性，项目所有者或者具备授权权限的用户需要对项目内成员的权限进行合理管控，确保权限不会过大也不会过小。本文为您介绍MaxCompute的权限管理体系。权限体系 类别 说明 权限主体 MaxCompute支持的权限主体...
使用本地客户端（odpscmd）连接
如果您习惯使用命令行工具或者需要快速执行任务且不需要图形界面，建议您使用MaxCompute客户端访问MaxCompute项目并执行命令。MaxCompute客户端直接在您的本地计算机上运行，提供了一个简单且高效的方式来执行命令和管理MaxCompute服务。...
采集数据
本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。章节目标 将MySQL存储的用户基本信息及OSS存储的网站访问日志，通过数据集成服务将数据同步至...
MapReduce常见问题
MaxCompute会查看您的任务，如果存在一些任务的工作量特别大，便为其开启备份任务，两个任务执行一样的数据，结果用最先执行结束的任务，因此存在Backups。但是如果任务非常大，Backups也无法起作用，因为原本的任务和Backups都没有执行...
包年包月资源隔离
对于使用MaxCompute的企业，通常会根据业务的差异性来创建多个MaxCompute项目进行数据隔离。由于每个MaxCompute项目对计算资源（CU）的需求不一致，需要对CU按照项目进行隔离，以便实现CU使用率最大化。本文为您介绍如何通过MaxCompute管理...
跨地域灾备
当您需要保证MaxCompute作业持续运行时，MaxCompute提供跨地域（Region）灾备功能，支持以项目（Project）为单位远程备份数据和元数据，确保备份地点与数据源的地理距离超过一百公里，以提升数据安全性。您能够自定义选择备份目标地域，并...
计算抵扣包和存储抵扣包
000 33000 75%24,750.00 计算抵扣包选择示例 例如您的阿里云账号开通使用MaxCompute上海区域的按量计费服务，主要使用SQL和Spark进行数据计算，每个月计算费用原价大概有 1000 元，一年则有 12000 元，那么您可以考虑购买计算抵扣包。...
使用说明
阿里公有云的弹性计算环境，默认查询最多100万行，若您需要查看更多数据时，可以配置此参数。说明 只有当 enableLimit 参数设置为 False 时，该参数才会生效。JDBC v3.2.29版本后，设置 autoSelectLimit 参数后，enableLimit 会自动设置为 ...
运行模式
Local模式 MaxCompute Spark支持用户以原生Spark Local模式进行作业调试。与Yarn Cluster模式类似，您首先需要做以下准备工作：准备MaxCompute项目以及对应的AccessKey ID、AccessKey Secret。下载MaxCompute Spark客户端。准备环境变量。...
MaxCompute项目设置RAM子账号为超级管理员
如果您使用MaxCompute按量计费计算资源，则可以通过MaxCompute的元数据服务提供的相关视图对已经使用的计算资源进行查看。例如，TASKS_HISTORY可以查看详细的审计作业执行情况，包括时间、Job内容、资源消耗等信息，详情请参见 TASKS_...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
查询加速（MCQA）
本文为您介绍MaxCompute查询加速MCQA（MaxCompute Query Acceleration）功能，并帮助您了解该功能的系统架构、关键特性、应用场景和使用限制。功能介绍 MaxCompute MCQA功能提供如下能力。支持对中、小数据量查询作业进行加速优化，将执行...
参考：Proxima CE全量参数说明
hash kmeans_resource_name 主要作用 cluster 索引分片模式，cluster 首先通过启动MaxCompute的graph图计算任务对原始数据进行kmeans聚类，该参数用于标识 kmeans 中心点名称。kmeans_resource_name kmeans_sample_ratio 主要作用 cluster ...
项目空间操作
创建MaxCompute项目空间后，您需要进入项目空间才可以执行后续开发、分析、运维等一系列操作。本文为您介绍如何进入或查看项目空间，以及设置或查看项目空间Project级的属性。项目空间操作的常用命令如下。类型 功能 角色 操作入口 进入...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
数据传输服务（上传）场景与工具
本文为您介绍如何将数据上传至MaxCompute或从MaxCompute下载数据，包括服务连接、SDK、工具和数据导入导出、上云等常见操作。背景信息 MaxCompute提供了多种数据上传下载的通道支持，方便您在各种场景下进行技术方案选型时参考。批量数据...
Sugar BI连接MaxCompute
Sugar BI是百度智能云推出的敏捷 BI 和数据可视化平台，MaxCompute支持您将MaxCompute项目数据接入Sugar BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用Sugar BI连接MaxCompute项目，并进行可视化数据分析。前提条件 ...
用户与权限
不涉及 数据管理 查看表列表 MaxCompute控制台（新版）MaxCompute客户端 MaxCompute Studio 支持 项目所有者 支持 MaxCompute角色：MaxCompute内置的角色及自定义的具备查看表列表操作权限的角色。不涉及 创建表 MaxCompute客户端 ...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
Endpoint
您在任意地域对云数据源或本地数据源使用Tunnel服务下载数据时：云服务器与MaxCompute在同一地域内，通过经典网络或VPC网络下载数据时免费。云服务器与MaxCompute不在同一地域内或无法实现同一地域访问，通过外网跨地域下载数据时计费。...
数据传输独享资源费用（包年包月）
数据传输服务（包年包月）资源组是MaxCompute为满足部分客户数据传输的需求推出的独享资源组，保障了数据传输资源的独享性，并提高了数据传输的稳定性。本文为您介绍MaxCompute的数据传输服务（包年包月）资源组的计费规则。背景信息 ...
用户认证
方式一：使用阿里云账号登录 阿里云官网，进入 MaxCompute控制台 或 DataWorks控制台，完成开通、创建MaxCompute项目空间、管理数据、管理用户、分析数据等操作。方式二：使用 MaxCompute客户端（odpscmd）基于AccessKey访问MaxCompute项目...
2024年
操作审计事件数据迁移至MaxCompute 2024-03-26 新增Pandas API 新说明 MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据...
- 产品推荐
- 这些文档可能帮助您