Transaction Table2.0概述
而MaxCompute近一年在离线批处理计算引擎架构上，自研设计开发的增量数据存储和处理架构，同样可提供离线&近实时增量处理一体化解决方案，在保持经济高效的批处理优势下，同时具备分钟级的增量数据读写和处理的业务需求，另外，可提供...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
费用查询
1.背景 批量计算费用默认在 费用中心 可以查询，同时在费用中心可以看到各个云产品的费用情况；但是暂时无法看到单个云产品费用使用趋势，以及最近一周使用情况的分析。最近日志服务推出成本管家，通过成本管家可以自定义分析成本情况。...
Cromwell 工作流引擎支持
Cromwell 是 Broad Institute 开发的工作流管理系统，当前已获得 阿里云批量计算服务 的支持。通过 Cromwell 可以将 WDL 描述的 workflow 转化为批量计算的作业（Job）运行。用户将为作业运行时实际消耗的计算和存储资源付费，不需要支付...
开通批量计算服务
2.开通 BatchCompute 2.1 定位 BatchCompute 产品 点菜单中“产品”，在“弹性计算”中找到批量计算（BatchCompute）进入 产品主页。2.2 开通 BatchCompute 服务。点击“授权”，则开通批量计算。说明 主账号只能通过此方法开通批量计算...
作业类型
本文将向您介绍批量计算产品中涉及的几种作业类型，以便于您更好地选择批量计算产品。背景 批量计算依据您使用集群方式的区别，将作业分为固定集群作业，自动集群作业，组合集群作业三种类型。下面分别介绍三种作业的优缺点，您可依据业务...
批量计算服务等级协议
批量计算服务等级协议
准备工作
5.关于OSS 批量计算服务默认使用 OSS 作为持久化存储，所以很有必要先花 10 分钟时间了解 OSS。如果您已经对OSS有所了解，请忽略。6.选择合适的工具 批量计算服务提供基于 HTTP 的 API，在此之上我们还封装了一些工具，您可以使用这些工具...
简介
批量计算服务（Batch Computing Service，简称BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。我们提供了丰富的API接口，您可以基于此API很方便使用BatchCompute的服务以及开发自己的应用程序。请确保在使用这些接口前，...
准备工作
注意：使用内网访问批量计算服务不支持跨region访问，例如当前机器在北京 region，那么只能通过内网访问北京 region的批量计算服务不支持访问其他 region 的批量计算服务，默认是通过公网的形式访问批量计算服务。设置内网访问批量计算命令...
集群网络
1.背景 批量计算只支持 VPC 集群的创建，即实例均创建在 VPC内。同一个 VPC内的集群实例可以通过私网 IP 互联，并且可以访问您在该 VPC内的其他阿里云服务。如您需要自建 Server 管理批量计算集群实例，只需在同一 VPC内部署相关服务即可。...
NAS挂载
使用用户专有网络创建集群 说明 用户程序要在批量计算集群节点中访问存储在NAS中的文件，需要在创建批量计算集群时同时指定VpcId和CidrBlock，将批量计算集群创建到用户专有网络中。VpcId：用户NAS挂载点所在的专有网络ID，用户需要将示例...
挂载NAS
为了方便客户读写云端计算数据，批量计算根据用户提供的挂载信息，自动将 NAS 的挂载点挂载到本地目录。完成 NAS 挂载后，对挂载目录里数据的读写行为将和读写本地数据完全相同。2.说明 网络限制：批量计算仅支持专有网络(Vpc)类型的挂载点...
按需集群
该类型集群适用于绝大部分业务波峰明显的场景，阿里云批量计算服务依托强大的弹性计算能力，在渲染、基因、金融、游戏、科学计算等领域有极为广阔的应用。2.限制 各账号按需实例均存在配额限制，您可以直接打开 批量计算控制台，切换到对应...
产品架构
BatchCompute 整体架构，包括：BatchCompute 入口 批量计算服务提供基于 RESTful 风格的 API。在 API 之上，用户可以通过 SDK，命令行工具，控制台等方式使用批量计算。您可以使用这些工具向 BatchCompute 提交作业，查询作业运行状态，并...
批量删除作业
3 执行删除动作 3.1 准备工作 复制脚本到执行机器，执行机器 必须安装批量计算的SDK：pip install batchcompute 若执行机器已经安装批量计算的 SDK，则建议更新到最新版本。pip install-upgrade batchcompute 准备好阿里云 AK 信息，且该...
名词解释
批量计算支持能以有向无环图 DAG（directed acyclic graph）形式描述的作业。任务间的依赖关系只能在作业提交时指定，提交完成后不能修改。实例 每个任务可以有一个或多个执行实例（Instance）。同一任务的各个实例并行处理各自的输入数据...
镜像制作时使用的ECS VM如何收费？
用户制作自定义镜像时需要使用 ECS 虚拟机，虚拟机的计费和普通 ECS 虚拟机的计费模式相同，批量计算不收取额外费用，建议使用按量付费以节省费用。
如何提交App作业
通过批量计算控制台作业列表的提交作业按钮进入作业提交页面。在作业提交页面选择 App 作业，并选择要使用的 App。各参数的含义如下：作业名称：作业的名称【必填参数】。备注：作业的备注信息【选填参数】。通知订阅：消息通知配置，用户...
前言
App 是什么 App 是批量计算中资源配置的模板，包括使用什么镜像、什么实例类型、VM 个数。镜像中封装了运行作业的程序或算法，使用 App 提交作业，只需要指定输入数据和输出路径即可以运行作业，而不用关心上述的资源配置以及程序运行的...
实例规格
批量计算全面支持 ECS企业级实例规格，用户可以通过按量或者竞价的形式调用。在深圳（华南1），北京（华北2），杭州（华东1）区域提供的原有专属实例（规格名以bcs开头）不再对新客户售卖，原有客户可以继续使用。专属实例规格描述如下表。...
功能特性
作业描述 用户需要提交一个作业（Job）描述 JSON 文件到批量计算服务，该 JSON 文件中详细描述了需要执行哪些程序（支持多个程序），运行哪些程序需要启动多少台机器，机器的规格（内存和CPU等），运行日志打印到哪里，完成后结果输出到...
支持的地域
目前，批量计算服务支持的地域已覆盖亚洲、欧洲、北美洲。全部可用的地域(Region)如下：国内部分 RegionId 地域 cn-beijing 华北2（北京）cn-zhangjiakou 华北3（张家口）cn-huhehaote 华北5（呼和浩特）cn-hangzhou 华东1（杭州）...
使用镜像
BatchCompute 镜像有别于ECS公共镜像，来源有2种：直接使用批量计算服务官方提供的公共镜像。在云市场购买批量计算服务指定的镜像。1.公共镜像 BatchCompute 默认提供以下三种系统镜像供用户直接使用（支持经典网络和 VPC 网络）：操作系统...
GTX_FPGA 最佳实践
使用"pip install—upgrade batchcompute"更新批量计算 python SDK 到最新版本。3.2 执行命令 python test.py-reference oss:/xxx/ref/hg19.fa-fastq1 oss:/xxx/input/human30x_10m_1.fastq-fastq2 oss:/xxxx/_input/human30x_10m_2.fastq-...
如果程序执行失败怎么调试？
请注意AutoCluster的作业在失败后虚拟机将会被销毁，如果需要批量计算的support人员协助调查问题，建议用显式创建集群的方式运行作业以保留作业失败现场，以提供更多的调查线索。如果问题还未能解决，请联系 售后技术支持。
获取批量计算Metrics
本文主要介绍批量计算metrics统计项以及获取方式。批量计算对外的资源主要表现在集群和作业两个维度，因此metrics统计也从以上2个维度展现。集群 Metrics Metrics 项目 集群对外提供的 Metrics 统计项包括如下：统计项 名称 单位 聚合统计...
如何创建 App
在批量计算控制台，通过 App 列表的创建 App 按钮进入创建页面，各参数的含义如下：Name：App 的名称【必填参数】。Daemonize：在 App 执行时，是否只需要启动一次并保持后台运行，而不是每次都要重新启动。默认值 False【必填参数】。...
环境变量
1.背景 批量计算为客户提供了系统环境变量和自定义环境变量功能，您可以在代码中直接使用这些环境变量。2.说明 目前批量计算支持两种类型运行环境，您可以按需使用：VM 环境变量：作业 ID：BATCH_COMPUTE_DAG_JOB_ID 任务名称：BATCH_...
如何进行本地调试？
批量计算在程序运行时会设置一组环境变量，通过设置特定的环境变量可以简单模拟作业的运行情况。BATCH_COMPUTE_DAG_INSTANCE_ID：指定运行哪个Instance。如希望运行第0个Instance，则设置BATCH_COMPUTE_DAG_INSTANCE_ID=0；BATCH_COMPUTE_...
DAG作业快速开始
如果您还没开通批量计算服务，请先开通。命令行工具安装和配置 命令行工具安装和配置 作业准备 本作业的目的是求和，将 input.txt 中的数字全部加起来，求和后写入 output.txt。由于计算比较简单本作业只需 1 个任务。本例将 OSS 的目录...
如何提交作业
')批量计算上运行任务大致过程为：您提交作业到批量计算，批量计算会按照您提供的配置去申请虚拟机资源。批量计算启动虚拟机，并在虚拟机中运行 python test.py，得到结果后自动上传到 OSS 中。您前往 OSS 查看运行结果。1.提交作业的方法...
AttachCluster最佳实践
0 背景 AttachCluster作业是批量计算最新推出的 作业类型。它结合了固定集群作业和AutoCluster作业的优势，既能自动管理集群生命周期，弹性伸缩资源，又能使用分布式缓存节省资源。本文的目的在于介绍在阿里云批量计算服务上运行...
挂载磁盘
1.背景 您在创建批量计算节点时，因系统盘大小限制，若有较大本地数据需求，建议挂载数据盘。挂载数据盘后，对挂载目录里数据的读写行为将和读写本地数据完全相同。2.说明 数据盘挂载主要包含以下四点限制：类型限制：只支持 cloud_...
简介
BatchCompute 是阿里云上的批量计算服务，可以帮助用户进行大规模并行计算。OSS 是阿里云上的对象存储服务，可以存储海量数据。ECS 是阿里云上的云服务器，极易运维和操作,可以方便的制作系统镜像。渲管与这三个云产品的关系如下图 A)制作...
使用App
App 是阿里云批量计算新推出的一个功能，支持第三方软件封装成 App，供其他用户使用。App 是批量计算中资源配置的模板，包括使用什么镜像，什么实例类型，VM 个数等描述信息。查看 App 获取 App 列表 bcs a 获取 App 参数 bcs a:cromwell#...
云产品事件触发器概述
批量计算事件 批量计算事件类型包括Job已取消事件、Instance已经Ready事件和Project创建事件等。弹性伸缩事件 弹性伸缩事件类型包括阿里云平台对资源执行的操作事件、API调用和控制台的操作事件等。资源编排事件 资源编排事件类型包括资源...
云产品事件触发器概述
批量计算事件 批量计算事件类型包括Job已取消事件、Instance已经Ready事件和Project创建事件等。弹性伸缩事件 弹性伸缩事件类型包括阿里云平台对资源执行的操作事件、API调用和控制台的操作事件等。资源编排事件 资源编排事件类型包括资源...
消息通知
批量计算使用 MNS 来实现消息通知。您负责主题的创建、管理和订阅，并在创建集群或提交作业时指定相关配置。批量计算会依据配置向指定的主题推送消息，您可在 MNS 控制台配置 URL、队列、邮件和短信四种方式获取消息通知。说明 支持的事件 ...
计算成本控制
MaxCompute是批量计算的服务，距离实时的计算服务还是存在一定距离的。如果间隔时间变短，计算频率增加，再加上使用SQL的不良习惯就会导致计算费用飙升，产生费用较高的账单。所以请尽量避免频繁调度，如果要进行频繁调度请通过CostSQL等...
- 产品推荐
- 这些文档可能帮助您