获取批量计算Metrics
本文主要介绍批量计算metrics统计项以及获取方式。批量计算对外的资源主要表现在集群和作业两个维度，因此metrics统计也从以上2个维度展现。集群 Metrics Metrics 项目 集群对外提供的 Metrics 统计项包括如下：统计项 名称 单位 聚合统计...
开通批量计算服务
2.开通 BatchCompute 2.1 定位 BatchCompute 产品 点菜单中“产品”，在“弹性计算”中找到批量计算（BatchCompute）进入 产品主页。2.2 开通 BatchCompute 服务。点击“授权”，则开通批量计算。说明 主账号只能通过此方法开通批量计算...
批量计算服务等级协议
批量计算服务等级协议
准备工作
5.关于OSS 批量计算服务默认使用 OSS 作为持久化存储，所以很有必要先花 10 分钟时间了解 OSS。如果您已经对OSS有所了解，请忽略。6.选择合适的工具 批量计算服务提供基于 HTTP 的 API，在此之上我们还封装了一些工具，您可以使用这些工具...
准备工作
注意：使用内网访问批量计算服务不支持跨region访问，例如当前机器在北京 region，那么只能通过内网访问北京 region的批量计算服务不支持访问其他 region 的批量计算服务，默认是通过公网的形式访问批量计算服务。设置内网访问批量计算命令...
Cromwell 工作流引擎支持
比如：default-runtime-attributes { cluster:"OnDemand ecs.sn1ne.large img-ubuntu-vpc"} 如果在某些 workflow 中不使用默认集群配置，也可以通过inputs文件中指定 workflow 中某个 task 的对应的批量计算的集群配置（将 cluster_config ...
如果程序执行失败怎么调试？
请注意AutoCluster的作业在失败后虚拟机将会被销毁，如果需要批量计算的support人员协助调查问题，建议用显式创建集群的方式运行作业以保留作业失败现场，以提供更多的调查线索。如果问题还未能解决，请联系 售后技术支持。
简介
BatchCompute 是阿里云上的批量计算服务，可以帮助用户进行大规模并行计算。OSS 是阿里云上的对象存储服务，可以存储海量数据。ECS 是阿里云上的云服务器，极易运维和操作,可以方便的制作系统镜像。渲管与这三个云产品的关系如下图 A)制作...
提交作业
批量计算目前支持命令行，控制台和SDK提交作业，本文介绍将作业提交到批量计算的相关操作。提交作业的方法 使用命令行 bcs sub"python test.py"-p./test.py 该命令会将 test.py 文件打包成 worker.tar.gz 并上传到指定位置，然后再提交作业...
服务条款
服务条款 本服务条款是阿里云计算有限公司（以下简称“阿里云”）与您就批量计算服务（Batch Computing Service，简称BatchCompute）的相关事项所订立的有效合约。您通过盖章、网络页面点击确认或以其他方式选择接受本服务条款，包括但不...
CR 镜像管理
目前批量计算的用户也可以在 API 和 SDK 中通过配置相关镜像信息使用阿里云的容器镜像服务存放制作成功的镜像。1.准备工作 1.1 开通容器镜像服务 登录到容器镜像服务 控制台，首次登录需要设置Registry的登录密码，开通过程请参考 使用个人...
Cromwell Server 运维
1.widdler 安装 widdler 默认在阿里云批量计算提供的 Cromwell server 镜像中安装。可以直接使用，无需做安装操作。2.配置 widdler 由于涉及到个人阿里云运行数据的查询，需要在使用之前设置对应账号的 AK 信息、以及后端执行引擎所部署的...
使用 docker-compose 一键启停 Cromwell
key:批量计算的 Access Key；root:Crowmell 运行时在 OSS 上的工作根目录；instance:Cromwell 默认运行时参数，实例类型；image:Cromwell 默认运行时参数，镜像ID；执行完以上命令后，会根据 Crowmell 配置文件模板生成配置文件，并通过 ...
费用查询
1.背景 批量计算费用默认在 费用中心 可以查询，同时在费用中心可以看到各个云产品的费用情况；但是暂时无法看到单个云产品费用使用趋势，以及最近一周使用情况的分析。最近日志服务推出成本管家，通过成本管家可以自定义分析成本情况。...
集群镜像
1.背景 提交作业或者创建集群时，批量计算将使用您指定的镜像来启动实例。为了方便集群管理和运行状态收集，批量计算提供了预置管理软件的基础镜像。您可以直接使用这些基础镜像，也可以通过在基础镜像内安装业务所需的软件制作自定义镜像...
集群网络
1.背景 批量计算只支持 VPC 集群的创建，即实例均创建在 VPC内。同一个 VPC内的集群实例可以通过私网 IP 互联，并且可以访问您在该 VPC内的其他阿里云服务。如您需要自建 Server 管理批量计算集群实例，只需在同一 VPC内部署相关服务即可。...
访问实例
批量计算固定集群申请的实例信息默认不支持公网访问能力，若希望能够登录到机器做操作做些操作可以通过以下途径，临时访问方式和生产访问形式；临时访问支持做些简单的操作、如问题debug等；若存在数据拷贝则无法通过临时方案，需要走生产...
Call Caching 用法详解
查看元数据 工作流执行时，每一个 task 的每一个 call（对应批量计算的一个作业）都会有 metadata，记录了这个步骤的运行过程，当然也包括 Call Caching 的详细信息，通过下面的命令可以查询一个工作流的 metadata：widdler query-m...
SGE集群支持
批量计算提供了名为 BatchCompute SGE 的公共镜像，使用该镜像可快速、可靠的构建 SGE 集群，具体的流程如下：请在 云市场 搜索关键字 BatchCompute SGE 了解该镜像，它完全免费使用，使用流程请参考 使用镜像市场的镜像创建实例。...
SGE集群1.1版本
批量计算提供了名为 BatchCompute SGE 的公共镜像，使用该镜像可快速、可靠的构建 SGE 集群，具体的流程如下：请在 云市场 搜索关键字 BatchCompute SGE 了解该镜像，它完全免费使用，使用流程请参考 如何通过镜像创建实例。2.自定义镜像...
作业类型
本文将向您介绍批量计算产品中涉及的几种作业类型，以便于您更好地选择批量计算产品。背景 批量计算依据您使用集群方式的区别，将作业分为固定集群作业，自动集群作业，组合集群作业三种类型。下面分别介绍三种作业的优缺点，您可依据业务...
使用镜像
BatchCompute 镜像有别于ECS公共镜像，来源有2种：直接使用批量计算服务官方提供的公共镜像。在云市场购买批量计算服务指定的镜像。1.公共镜像 BatchCompute 默认提供以下三种系统镜像供用户直接使用（支持经典网络和 VPC 网络）：操作系统...
功能特性
用户使用工具（如 SDK，命令行工具等）向 BatchCompute 提交作业，BatchCompute 使用用户指定的镜像（如：ubuntu）启动虚拟机（VM）,在虚拟机中运行用户程序,运行完成后释放虚拟机（VM）。BatchCompute 中使用 OSS 作为持久化存储。您可以...
支持的地域
目前，批量计算服务支持的地域已覆盖亚洲、欧洲、北美洲。全部可用的地域(Region)如下：国内部分 RegionId 地域 cn-beijing 华北2（北京）cn-zhangjiakou 华北3（张家口）cn-huhehaote 华北5（呼和浩特）cn-hangzhou 华东1（杭州）...
NAS挂载
以上是用户在批量计算中使用NAS过程中最重要的三个概念，如果需要了解购买和使用NAS、VPC其他相关内容，请参考：NAS官方文档、专有网络官方文档。2.使用NAS 说明 在批量计算中使用NAS，需要按照如下步骤进行操作：2.1.数据准备 说明 以下...
按需集群
该类型集群适用于绝大部分业务波峰明显的场景，阿里云批量计算服务依托强大的弹性计算能力，在渲染、基因、金融、游戏、科学计算等领域有极为广阔的应用。2.限制 各账号按需实例均存在配额限制，您可以直接打开 批量计算控制台，切换到对应...
GTX_FPGA 最佳实践
使用"pip install—upgrade batchcompute"更新批量计算 python SDK 到最新版本。3.2 执行命令 python test.py-reference oss:/xxx/ref/hg19.fa-fastq1 oss:/xxx/input/human30x_10m_1.fastq-fastq2 oss:/xxxx/_input/human30x_10m_2.fastq-...
如何创建 App
在批量计算控制台，通过 App 列表的创建 App 按钮进入创建页面，各参数的含义如下：Name：App 的名称【必填参数】。Daemonize：在 App 执行时，是否只需要启动一次并保持后台运行，而不是每次都要重新启动。默认值 False【必填参数】。...
前言
App 是什么 App 是批量计算中资源配置的模板，包括使用什么镜像、什么实例类型、VM 个数。镜像中封装了运行作业的程序或算法，使用 App 提交作业，只需要指定输入数据和输出路径即可以运行作业，而不用关心上述的资源配置以及程序运行的...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
产品架构
BatchCompute 整体架构，包括：BatchCompute 入口 批量计算服务提供基于 RESTful 风格的 API。在 API 之上，用户可以通过 SDK，命令行工具，控制台等方式使用批量计算。您可以使用这些工具向 BatchCompute 提交作业，查询作业运行状态，并...
消息通知
批量计算使用 MNS 来实现消息通知。您负责主题的创建、管理和订阅，并在创建集群或提交作业时指定相关配置。批量计算会依据配置向指定的主题推送消息，您可在 MNS 控制台配置 URL、队列、邮件和短信四种方式获取消息通知。说明 支持的事件 ...
提交作业
批量计算目前支持命令行，控制台和SDK提交作业，本文介绍将作业提交到批量计算的相关操作。提交作业 最简单的作业 如果您已经按照 准备工作 里的步骤配置了默认镜像、实例类型和网络类型，可以通过以下的简单命令提交一个作业。bcs sub...
如何提交App作业
通过批量计算控制台作业列表的提交作业按钮进入作业提交页面。在作业提交页面选择 App 作业，并选择要使用的 App。各参数的含义如下：作业名称：作业的名称【必填参数】。备注：作业的备注信息【选填参数】。通知订阅：消息通知配置，用户...
镜像制作时使用的ECS VM如何收费？
用户制作自定义镜像时需要使用 ECS 虚拟机，虚拟机的计费和普通 ECS 虚拟机的计费模式相同，批量计算不收取额外费用，建议使用按量付费以节省费用。
DAG作业快速开始
如果您还没开通批量计算服务，请先开通。命令行工具安装和配置 命令行工具安装和配置 作业准备 本作业的目的是求和，将 input.txt 中的数字全部加起来，求和后写入 output.txt。由于计算比较简单本作业只需 1 个任务。本例将 OSS 的目录...
挂载OSS
挂载文件 说明 需求：我在OSS上有多个不同前缀下的文件，需要挂载到批量计算VM中的同一个目录下，该如何使用；假设 bucket1 和 bucket2 下有两个文件挂载到 VM 本地的/home/data/下：oss:/bucket1/data/file1 挂载到/home/data/file1 oss:/...
如何提交作业
')批量计算上运行任务大致过程为：您提交作业到批量计算，批量计算会按照您提供的配置去申请虚拟机资源。批量计算启动虚拟机，并在虚拟机中运行 python test.py，得到结果后自动上传到 OSS 中。您前往 OSS 查看运行结果。1.提交作业的方法...
简介
批量计算服务（Batch Computing Service，简称BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。我们提供了丰富的API接口，您可以基于此API很方便使用BatchCompute的服务以及开发自己的应用程序。请确保在使用这些接口前，...
- 产品推荐
- 这些文档可能帮助您