Transaction Table2.0概述
而MaxCompute近一年在离线批处理计算引擎架构上，自研设计开发的增量数据存储和处理架构，同样可提供离线&近实时增量处理一体化解决方案，在保持经济高效的批处理优势下，同时具备分钟级的增量数据读写和处理的业务需求，另外，可提供...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
费用查询
1.背景 批量计算费用默认在 费用中心 可以查询，同时在费用中心可以看到各个云产品的费用情况；但是暂时无法看到单个云产品费用使用趋势，以及最近一周使用情况的分析。最近日志服务推出成本管家，通过成本管家可以自定义分析成本情况。...
开通批量计算服务
2.开通 BatchCompute 2.1 定位 BatchCompute 产品 点菜单中“产品”，在“弹性计算”中找到批量计算（BatchCompute）进入 产品主页。2.2 开通 BatchCompute 服务。点击“授权”，则开通批量计算。说明 主账号只能通过此方法开通批量计算...
作业类型
本文将向您介绍批量计算产品中涉及的几种作业类型，以便于您更好地选择批量计算产品。背景 批量计算依据您使用集群方式的区别，将作业分为固定集群作业，自动集群作业，组合集群作业三种类型。下面分别介绍三种作业的优缺点，您可依据业务...
批量计算服务等级协议
批量计算服务等级协议
准备工作
5.关于OSS 批量计算服务默认使用 OSS 作为持久化存储，所以很有必要先花 10 分钟时间了解 OSS。如果您已经对OSS有所了解，请忽略。6.选择合适的工具 批量计算服务提供基于 HTTP 的 API，在此之上我们还封装了一些工具，您可以使用这些工具...
访问实例
批量计算固定集群申请的实例信息默认不支持公网访问能力，若希望能够登录到机器做操作做些操作可以通过以下途径，临时访问方式和生产访问形式；临时访问支持做些简单的操作、如问题debug等；若存在数据拷贝则无法通过临时方案，需要走生产...
简介
批量计算服务（Batch Computing Service，简称BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。我们提供了丰富的API接口，您可以基于此API很方便使用BatchCompute的服务以及开发自己的应用程序。请确保在使用这些接口前，...
准备工作
注意：使用内网访问批量计算服务不支持跨region访问，例如当前机器在北京 region，那么只能通过内网访问北京 region的批量计算服务不支持访问其他 region 的批量计算服务，默认是通过公网的形式访问批量计算服务。设置内网访问批量计算命令...
集群网络
1.背景 批量计算只支持 VPC 集群的创建，即实例均创建在 VPC内。同一个 VPC内的集群实例可以通过私网 IP 互联，并且可以访问您在该 VPC内的其他阿里云服务。如您需要自建 Server 管理批量计算集群实例，只需在同一 VPC内部署相关服务即可。...
NAS挂载
使用用户专有网络创建集群 说明 用户程序要在批量计算集群节点中访问存储在NAS中的文件，需要在创建批量计算集群时同时指定VpcId和CidrBlock，将批量计算集群创建到用户专有网络中。VpcId：用户NAS挂载点所在的专有网络ID，用户需要将示例...
挂载NAS
为了方便客户读写云端计算数据，批量计算根据用户提供的挂载信息，自动将 NAS 的挂载点挂载到本地目录。完成 NAS 挂载后，对挂载目录里数据的读写行为将和读写本地数据完全相同。2.说明 网络限制：批量计算仅支持专有网络(Vpc)类型的挂载点...
按需集群
该类型集群适用于绝大部分业务波峰明显的场景，阿里云批量计算服务依托强大的弹性计算能力，在渲染、基因、金融、游戏、科学计算等领域有极为广阔的应用。2.限制 各账号按需实例均存在配额限制，您可以直接打开 批量计算控制台，切换到对应...
产品架构
BatchCompute 整体架构，包括：BatchCompute 入口 批量计算服务提供基于 RESTful 风格的 API。在 API 之上，用户可以通过 SDK，命令行工具，控制台等方式使用批量计算。您可以使用这些工具向 BatchCompute 提交作业，查询作业运行状态，并...
批量删除作业
3 执行删除动作 3.1 准备工作 复制脚本到执行机器，执行机器 必须安装批量计算的SDK：pip install batchcompute 若执行机器已经安装批量计算的 SDK，则建议更新到最新版本。pip install-upgrade batchcompute 准备好阿里云 AK 信息，且该...
名词解释
批量计算支持能以有向无环图 DAG（directed acyclic graph）形式描述的作业。任务间的依赖关系只能在作业提交时指定，提交完成后不能修改。实例 每个任务可以有一个或多个执行实例（Instance）。同一任务的各个实例并行处理各自的输入数据...
镜像制作时使用的ECS VM如何收费？
用户制作自定义镜像时需要使用 ECS 虚拟机，虚拟机的计费和普通 ECS 虚拟机的计费模式相同，批量计算不收取额外费用，建议使用按量付费以节省费用。
如何提交App作业
通过批量计算控制台作业列表的提交作业按钮进入作业提交页面。在作业提交页面选择 App 作业，并选择要使用的 App。各参数的含义如下：作业名称：作业的名称【必填参数】。备注：作业的备注信息【选填参数】。通知订阅：消息通知配置，用户...
实例规格
批量计算全面支持 ECS企业级实例规格，用户可以通过按量或者竞价的形式调用。在深圳（华南1），北京（华北2），杭州（华东1）区域提供的原有专属实例（规格名以bcs开头）不再对新客户售卖，原有客户可以继续使用。专属实例规格描述如下表。...
支持的地域
目前，批量计算服务支持的地域已覆盖亚洲、欧洲、北美洲。全部可用的地域(Region)如下：国内部分 RegionId 地域 cn-beijing 华北2（北京）cn-zhangjiakou 华北3（张家口）cn-huhehaote 华北5（呼和浩特）cn-hangzhou 华东1（杭州）...
使用镜像
BatchCompute 镜像有别于ECS公共镜像，来源有2种：直接使用批量计算服务官方提供的公共镜像。在云市场购买批量计算服务指定的镜像。1.公共镜像 BatchCompute 默认提供以下三种系统镜像供用户直接使用（支持经典网络和 VPC 网络）：操作系统...
GTX_FPGA 最佳实践
使用"pip install—upgrade batchcompute"更新批量计算 python SDK 到最新版本。3.2 执行命令 python test.py-reference oss:/xxx/ref/hg19.fa-fastq1 oss:/xxx/input/human30x_10m_1.fastq-fastq2 oss:/xxxx/_input/human30x_10m_2.fastq-...
如果程序执行失败怎么调试？
请注意AutoCluster的作业在失败后虚拟机将会被销毁，如果需要批量计算的support人员协助调查问题，建议用显式创建集群的方式运行作业以保留作业失败现场，以提供更多的调查线索。如果问题还未能解决，请联系 售后技术支持。
获取批量计算Metrics
本文主要介绍批量计算metrics统计项以及获取方式。批量计算对外的资源主要表现在集群和作业两个维度，因此metrics统计也从以上2个维度展现。集群 Metrics Metrics 项目 集群对外提供的 Metrics 统计项包括如下：统计项 名称 单位 聚合统计...
如何创建 App
在批量计算控制台，通过 App 列表的创建 App 按钮进入创建页面，各参数的含义如下：Name：App 的名称【必填参数】。Daemonize：在 App 执行时，是否只需要启动一次并保持后台运行，而不是每次都要重新启动。默认值 False【必填参数】。...
如何进行本地调试？
批量计算在程序运行时会设置一组环境变量，通过设置特定的环境变量可以简单模拟作业的运行情况。BATCH_COMPUTE_DAG_INSTANCE_ID：指定运行哪个Instance。如希望运行第0个Instance，则设置BATCH_COMPUTE_DAG_INSTANCE_ID=0；BATCH_COMPUTE_...
DAG作业快速开始
如果您还没开通批量计算服务，请先开通。命令行工具安装和配置 命令行工具安装和配置 作业准备 本作业的目的是求和，将 input.txt 中的数字全部加起来，求和后写入 output.txt。由于计算比较简单本作业只需 1 个任务。本例将 OSS 的目录...
如何提交作业
')批量计算上运行任务大致过程为：您提交作业到批量计算，批量计算会按照您提供的配置去申请虚拟机资源。批量计算启动虚拟机，并在虚拟机中运行 python test.py，得到结果后自动上传到 OSS 中。您前往 OSS 查看运行结果。1.提交作业的方法...
挂载磁盘
1.背景 您在创建批量计算节点时，因系统盘大小限制，若有较大本地数据需求，建议挂载数据盘。挂载数据盘后，对挂载目录里数据的读写行为将和读写本地数据完全相同。2.说明 数据盘挂载主要包含以下四点限制：类型限制：只支持 cloud_...
AttachCluster最佳实践
0 背景 AttachCluster作业是批量计算最新推出的 作业类型。它结合了固定集群作业和AutoCluster作业的优势，既能自动管理集群生命周期，弹性伸缩资源，又能使用分布式缓存节省资源。本文的目的在于介绍在阿里云批量计算服务上运行...
消息通知
批量计算使用 MNS 来实现消息通知。您负责主题的创建、管理和订阅，并在创建集群或提交作业时指定相关配置。批量计算会依据配置向指定的主题推送消息，您可在 MNS 控制台配置 URL、队列、邮件和短信四种方式获取消息通知。说明 支持的事件 ...
计算成本控制
MaxCompute是批量计算的服务，距离实时的计算服务还是存在一定距离的。如果间隔时间变短，计算频率增加，再加上使用SQL的不良习惯就会导致计算费用飙升，产生费用较高的账单。所以请尽量避免频繁调度，如果要进行频繁调度请通过CostSQL等...
CR 镜像管理
目前批量计算的用户也可以在 API 和 SDK 中通过配置相关镜像信息使用阿里云的容器镜像服务存放制作成功的镜像。1.准备工作 1.1 开通容器镜像服务 登录到容器镜像服务 控制台，首次登录需要设置Registry的登录密码，开通过程请参考 使用个人...
Cromwell Server 运维
1.widdler 安装 widdler 默认在阿里云批量计算提供的 Cromwell server 镜像中安装。可以直接使用，无需做安装操作。2.配置 widdler 由于涉及到个人阿里云运行数据的查询，需要在使用之前设置对应账号的 AK 信息、以及后端执行引擎所部署的...
提交作业
批量计算目前支持命令行，控制台和SDK提交作业，本文介绍将作业提交到批量计算的相关操作。提交作业的方法 使用命令行 bcs sub"python test.py"-p./test.py 该命令会将 test.py 文件打包成 worker.tar.gz 并上传到指定位置，然后再提交作业...
使用 docker-compose 一键启停 Cromwell
key:批量计算的 Access Key；root:Crowmell 运行时在 OSS 上的工作根目录；instance:Cromwell 默认运行时参数，实例类型；image:Cromwell 默认运行时参数，镜像ID；执行完以上命令后，会根据 Crowmell 配置文件模板生成配置文件，并通过 ...
消息通知
批量计算服务（BatchCompute）使用 MNS 提供的主题模式来实现消息通知。用户负责主题（Topic）的创建、管理和订阅，并在使用 BatchCompute 创建集群或提交作业时指定主题相关的配置。BatchCompute 依据配置向指定用户主题推送消息。用户可...
功能发布记录
2023-06-14 使用模板创建集群 2023年5月 功能名称 变更类型 功能描述 发布时间 相关文档 使用Schrodinger软件计算分子结构 新增 新增实践教程，介绍如何使用E-HPC集群运行Schrodinger软件来计算分子结构。2023-05-19 使用Schrodinger软件...
提交作业
批量计算目前支持命令行，控制台和SDK提交作业，本文介绍将作业提交到批量计算的相关操作。提交作业 最简单的作业 如果您已经按照 准备工作 里的步骤配置了默认镜像、实例类型和网络类型，可以通过以下的简单命令提交一个作业。bcs sub...