数据科学计算概述
MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍...
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
开源支持
使用Mars进行科学计算，不仅使大规模科学计算任务的实现从MapReduce上的数千行代码降低到Mars上的数行代码，更在性能上有大幅提升。Mars已经在Github上开源代码，您可以一起参与共建Mars。详情请参见GitHub开源代码 Mars。关于Mars的更多...
环境说明
4.5.4.58 numpy 科学计算库 1.21.4 scipy 科学计算库 1.7.2 matplotlib 绘图库 3.4.3 scrapy 数据抓取库 2.5.1 Python 3.6 模块名称 模块介绍 模块版本 oss2 OSS SDK 2.9.1 tablestore Tablestore SDK 5.1.0 aliyun-fc2 FC SDK 2.3.0 ...
环境说明
4.5.4.58 numpy 科学计算库 1.21.4 scipy 科学计算库 1.7.2 matplotlib 绘图库 3.4.3 scrapy 数据抓取库 2.5.1 Python 3.6 模块名称 模块介绍 模块版本 oss2 OSS SDK 2.9.1 tablestore Tablestore SDK 5.1.0 aliyun-fc2 FC SDK 2.3.0 ...
按需集群
该类型集群适用于绝大部分业务波峰明显的场景，阿里云批量计算服务依托强大的弹性计算能力，在渲染、基因、金融、游戏、科学计算等领域有极为广阔的应用。2.限制 各账号按需实例均存在配额限制，您可以直接打开 批量计算控制台，切换到对应...
功能概览
fold 将输入objects聚合成list<object>group 分组 groupCount 分组并计算组内的数量 identity 返回输入自身 label 返回表名或者图label loops 返回当前循环的次数 math 科学计算 max 计算最大值 mean 计算平均值 min 计算最小值 order 排序...
2024年
2024-03 功能名称 功能描述 发布时间 发布地域 相关文档 镜像管理功能发布 MaxCompute提供镜像管理功能，内置数据分析、科学计算、机器学习（如Pandas、Numpy、Scikit-learn、Xgboost）等各类常用镜像，并已对镜像进行预先加热，您可在SQL ...
镜像管理
MaxCompute提供镜像管理功能，内置数据分析、科学计算、机器学习（如Pandas、Numpy、Scikit-learn、Xgboost）等各类常用镜像，并已对镜像进行预先加热，您可在SQL UDF、PyODPS开发等场景中直接引用已有镜像，无需执行繁琐的镜像打包、上传...
为函数安装第三方依赖
例如，Python的科学计算库 numpy 对底层环境有依赖，如果使用M1芯片的Mac系统，不能使用本地构建方式安装依赖。使用Dockerfile文件构建层 如果依赖包含底层动态链接库，或者在本地安装依赖失败，可以使用Dockerfile的方式安装。具体操作，...
为函数安装第三方依赖
例如，Python的科学计算库 numpy 对底层环境有依赖，如果使用M1芯片的Mac系统，不能使用本地构建方式安装依赖。使用Dockerfile文件构建层 如果依赖包含底层动态链接库，或者在本地安装依赖失败，可以使用Dockerfile的方式安装。具体操作，...
2024年
跨地域灾备 2024-02-08 新增镜像管理 新说明 MaxCompute提供镜像管理功能，内置数据分析、科学计算、机器学习（如Pandas、Numpy、Scikit-learn、Xgboost）等各类常用镜像，并已对镜像进行预先加热，您可在SQL UDF、PyODPS开发等场景中直接...
集群概述
集群指运行高性能计算的节点集合，可以提供单节点不能提供的强大计算能力，拥有高性能、弹性扩展、稳定可靠等优点。本文介绍集群涉及的基本概念和功能。节点 E-HPC集群中的每个节点是一台ECS实例。按节点功能分类，可以分为登录节点、管控...
2024年
您可以以更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析及科学计算、ML/AL开发等工作。MaxFrame功能介绍和使用说明请参见 MaxFrame概述。您有任何相关问题或需要协助，可以通过您的专...
阿里云携手深势科技，助力泓博医药加速药物研发
深势科技是“AI for Science”科学研究范式的引领者和践行者，致力于运用人工智能和分子模拟算法，结合先进计算手段求解重要科学问题，为生物医药、能源、材料和信息科学与工程研究，打造新一代微尺度工业设计和仿真平台。过去，深势科技...
公告
计算成本优化功能在原计算资源优化功能（对 包年包月一级Quota 类型的计算资源生成更优的资源配置方案）的基础上增加支持查看使用 按量付费计算资源 调整为使用 包年包月计算资源 的资源配置推荐方案及效果推演，帮助您进一步优化计算成本...
产品规格
高主频 ecs.hfg6.16xlarge 处理器：3.1 GHz主频的Intel ® Xeon ® Platinum 8269（Cascade Lake）vCPU：64 内存：256GiB GPU：无 以太网：25Gbit/s 高效云盘 ESSD云盘 SSD云盘 需要高主频计算业务，如生命科学应用场景。内存型 ecs.re6.26...
什么是弹性高性能计算E-HPC
弹性高性能计算将计算能力积聚，用并行计算方式解决更大规模的科学、工程和商业问题，在科研机构、石油勘探、金融市场、气象预报、生物制药、基因测序、图像处理等行业均有广泛的应用。产品架构 弹性高性能计算的产品架构如下图所示。弹性...
计算费用（按量付费）
当您购买按量付费规格后，MaxCompute会对SQL、MapReduce、Lightning（交互式分析）、Spark、Mars（数据科学）和MCQA（查询加速SQL）计算类型按量付费。本文为您介绍不同计算类型下的计费规则。背景信息 MaxCompute是以作业的执行情况作为...
成本分析
spot spark Spark 作业计算 SpotSpark作业计算 odps_computation_spark odps_computation_mars_spot mars 数据科学（Mars）按量付费 SpotMars作业计算 odps_computation_mars odps_computation_mars_spot MapReduce MR作业计算 ...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
实践教程概览
使用Schrodinger软件计算分子结构 Schrodinger基于物理学的计算平台，集成了用于预测建模、数据分析的差异化解决方案，以实现对化学空间的快速探索，主要应用于药物发现，以及航空航天、能源、半导体和电子显示器等不同领域的材料科学。...
计费项与计费方式概述
计算费用（按量付费）MaxCompute支持对SQL、MapReduce、Spark、Mars（数据科学）、Lightning（交互式分析）和MCQA（查询加速）计算类型按量计费。说明 Lightning（交互式分析）服务将于2022年12月31日下线，详情请参见 MaxCompute ...
概述
Mars能利用并行和分布式技术，为Python数据科学栈加速，包括 Numpy、Pandas 和 Scikit-learn。Mars常用接口如下：Mars Tensor 接口 和Numpy保持一致，且支持大规模高维数组。示例代码如下。import mars.tensor as mt a=mt.random.rand...
基于Flink+Hologres搭建实时数仓
背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。除传统的面向海量数据加工场景设计的离线场景外，大量业务需要解决面向实时加工、实时存储、实时分析的实时场景问题。传统离线数仓搭建的方法论比较明确，通过定时调度...
MemVerge Memory Machine部署使用实践
背景信息 在HPC生命科学和EDA等领域，业务流程涉及到的大量应用算例都强依赖于大内存计算资源。这些算例会将数据先Load到内存，然后作计算分析，完成后将数据存储到存储设备中。因此该类场景对算力的内存和存储IO规格都有着较高要求，使得...
应用场景
本文主要介绍弹性高性能计算集群的主要应用场景，您可以根据不同的应用场景配置不同的资源类型。气象预报 E-HPC结合数值模型计算分析气象数据与环境数据，可以预测天气、环境等气象信息。能源勘探 E-HPC可以帮助勘探行业进行勘探数据分析，...
常见问题
[视觉计算服务]适用于哪些用户场景，解决哪些问题？序号 用户场景 解决问题 1 视频监控在民警侦查办案、治安防控中扮演着越来越重要的角色，但肉眼看视频费时费力，很多小案件因为看视频成本太高而被放弃 如何提升民警用视频侦查办案的效率...
混合云主控模式最佳实践
混合云主控模式集群的管理节点为云上新增集群的管理节点，计算节点由线下已有计算节点和云上新增计算节点组成。本文以E-HPC云上集群将线下已有计算节点纳入管理的场景为例，介绍混合云主控模式集群（SGE调度器）的部署方案。重要 本文的...
测试SCC集群性能
超级计算集群SCC具有无虚拟化损耗、高带宽低延迟网络的优点，可以保证高性能计算和人工智能、机器学习等应用的高度并行需求。本文为您介绍如何创建SCC集群，并测试SCC集群的相关性能。背景信息 超级计算集群SCC（Super Computing Cluster）...
混合云代理模式最佳实践
混合云代理模式集群的管理节点为已有集群的管理节点，计算节点由已有集群计算节点和云上新增计算节点组成。已有集群可以是线下集群，也可以是云上集群。本文介绍混合云代理模式集群（SGE调度器）的部署方案。背景信息 在HPC生命科学领域，...
使用Schrodinger软件计算分子结构
背景信息 Schrodinger基于物理学的计算平台，集成了用于预测建模、数据分析的差异化解决方案，以实现对化学空间的快速探索，主要应用于药物发现，以及航空航天、能源、半导体和电子显示器等不同领域的材料科学。更多信息，请参见 ...
2023年
升级前后对比如下：升级前 如果MaxCompute的项目默认计算资源选择的是包年包月计算资源，则项目的生命周期和这个包年包月计算资源的生命周期同步，项目设置默认计算资源请参见 计算资源使用。即当对应包年包月的计算资源到期时，项目会被停...
资源规划及规格选型
MaxCompute资源包含存储资源和计算资源（CU）两种，存储资源用于存储表或资源（Resource），计算资源用于运行作业。为实现以最低的费用，满足业务对存储资源、计算资源的需求，企业必须要根据自身情况合理规划资源。本文为您介绍如何规划...
查看账单详情
用量、用量单位 官网价计算公式：计费项 用量 单位 官网价计算公式 计算资源单元 新购、升级增加的计算资源量。CU 公共云：用量×单价（150元/CU/月）。金融云：用量×单价（285元/CU/月）。非预留计算资源 新购、升级增加的非预留计算资源...
什么是函数计算
函数计算 是事件驱动的全托管计算服务。使用 函数计算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算 为您准备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性能监控和报警等功能。视频介绍 什么是函数...
转换计费方式
Quota作为MaxCompute计算资源的单元，默认计算Quota的计费方式即代表项目计费方式，修改项目默认计算Quota即可转换计费方式。前提条件 您已经开通MaxCompute的 按量计费 和 包年包月 规格。转换计费方式说明 按量计费 与 包年包月 规格的...
什么是函数计算
函数计算 是事件驱动的全托管计算服务。使用 函数计算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算 为您准备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性能监控和报警等功能。视频介绍 什么是函数...
计算费用（包年包月）
本文为您介绍MaxCompute的包年包月标准计算资源规格下的计算费用规则。背景信息 MaxCompute的计算费用（包年包月）是提前预定一部分资源，先付费后使用。包年包月的计算资源分为预留计算资源和非预留计算资源，即SQL、MapReduce、Spark等...
按量付费闲时版
计费单价如下：公共云：0.154元/计算时 金融云：0.293元/计算时 SpotSpark作业（指计算配额为os_SpotQuota的Spark作业）SpotSpark作业当日计算费用=当日总计算时×单价 计费单价如下：公共云：0.22元/计算时 金融云：0.418元/计算时 ...
- 产品推荐
- 这些文档可能帮助您