作业指提交到E-HPC集群进行高性能计算的基本工作单元,包括Shell脚本、可执行文件等,具体作业执行顺序根据您设置的队列以及调度器决定。E-HPC管理控制台提供了作业相关的提交作业、停止作业、查看作业状态等功能,本文介绍如何使用E-HPC...
实时计算Flink版完全兼容开源Apache Flink API,从访问控制、网络、存储、备份恢复、操作审计等方面,提供全面的安全加固功能来保障您的数据安全。租户隔离 支持多租户的使用场景,通过阿里云账号认证体系(认证方式采用AccessKey对称密钥...
容器镜像相比于代码包有更好的可移植性和更丰富的工具链生态,但其自带的与应用无关的数据极易使镜像臃肿,GB级镜像会导致分钟级冷启动。开启镜像加速后提速约90%,将分钟级的镜像拉取缩短至秒级。本文介绍使用ACR个人版实现镜像启动加速的...
事件总线EventBridge 作为一种Serverless事件总线服务,支持包括弹性计算、存储服务、数据库、容器、大数据处理、可观测性服务及中间件服务在内的几乎所有阿里云官方事件源。事件总线EventBridge 与 函数计算 集成后,接入 事件总线...
2.开通 BatchCompute 2.1 定位 BatchCompute 产品 点菜单中“产品”,在“弹性计算”中找到批量计算(BatchCompute)进入 产品主页。2.2 开通 BatchCompute 服务。点击“授权”,则开通批量计算。说明 主账号只能通过此方法开通批量计算...
容器镜像相比于代码包有更好的可移植性和更丰富的工具链生态,但其自带的与应用无关的数据极易使镜像臃肿,GB级镜像会导致分钟级冷启动。开启镜像加速可分两阶段共提速约90%,将分钟级的镜像拉取缩短至秒级。本文介绍使用ACR企业版实现镜像...
函数计算应用继承了阿里云函数计算事件驱动的编程模型,同时作为Serverless计算框架,让您专注于业务逻辑开发,无需为程序启动、消息流转、日志查询、进程保活等基础工作耗费精力。函数计算应用的代码来源有两种:使用阿里云函数计算服务...
与常规的异构实例相比,阿里云弹性加速计算实例EAIS具有解耦性、低成本、弹性、多适配性和高性能的优势。解耦性 常规GPU实例的CPU、内存和GPU是部署在同一台物理机上的。EAIS实例可以将CPU与GPU成功解耦,其CPU、内存和GPU可以存在于不同的...
背景信息 MaxCompute原支持对包年包月预留计算资源进行自定义Quota切分以及分时配置(一天最多可分为三个时段),配置不同Quota在不同时段占用不同的预留CU量,极大提高了计算资源的使用率。MaxCompute新推出弹性预留CU,通过合理的评估后...
MaxFrame是由阿里云自研的分布式计算框架,支持Python编程接口、兼容Pandas接口且自动进行分布式计算,同时可直接使用MaxCompute计算资源及数据接口,与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
使用实时计算Flink版需要开通工作空间,每个工作空间的计算资源隔离,开发控制台相互独立。本文为您介绍开通Flink工作空间的操作步骤,以及开通过程中的注意事项。前提条件 已拥有阿里云账号。如果您还没有阿里云账号,请先完成注册,详情...
这种架构的存储层可以比较方便的扩展,但是计算节点需要引入分布式协调机制保证数据同步和一致性,因此计算节点的可扩展性有一个上限。Shared Nothing 每个计算节点自己挂载存储,一个节点只能处理一个分片的数据,节点之间可以通信,最终...
阿里云视觉计算服务Visual Compute Service(简称VCS)是一款弹性可伸缩的视觉智能计算服务。提供视觉数据接入、AI算法训练、计算资源调度的能力,通过API支撑开发业务应用,同时帮助开发者提升视觉AI创新效率,专注核心业务创新。VCS支持...
本文介绍如何通过 Serverless 工作流、函数计算、文件存储、对象存储、及日志服务的组合方案,部署一个高弹性高可用的音视频处理系统。应用场景 有大量的视频需要上传。上传的视频需要及时处理去适配各种终端及网络条件。可以在短时间内...
如果您对作业进行了修改(例如更改SQL代码、增删改WITH...输出窗口数(Drain):该选项用于永久性终止作业,具体原理请参见 Drain。重要 如果您希望稍后再重新启动作业,请不要选中该选项。因为恢复作业时,可能会出现错误的结果。单击 确定。
理论浮点峰值是该计算机理论上每秒可以完成的浮点计算次数,主要由CPU的主频决定。理论浮点峰值=CPU主频×CPU核数×CPU每周期执行浮点运算的次数。本文将为您介绍如何利用HPL测试实测浮点峰值。准备工作 创建一个E-HPC集群。具体操作,请...
添加项目空间 说明 创建项目空间前,请确保工作空间可分配资源大于1 CU,即包年包月工作空间已购买大于所有项目空间已分配资源总和,按量付费工作空间的配额上限大于所有项目空间配额上限总和。资源调整操作请参见 资源调整。登录 实时计算...
计算巢服务的各个功能模块相互独立,您可以根据业务场景选择部分功能模块来优化服务管理工作。服务的全生命周期如下图所示。服务构建:计算巢服务提供一系列的服务标准规范,服务商可以遵照规范创建服务,服务的类型包括应用交付、运维和...
不设置 x-fc-status:函数计算 默认本次调用是成功执行的,但是您的函数可能有异常,没有向 函数计算 汇报,函数计算 会认为这次函数执行没有报错,在业务逻辑上可能没有影响,但是在监控可观测性上会有影响。如下图所示:设置 x-fc-status...
当您需要在保证作业完成的前提下降低包年包月规格计算资源的费用或遇到基于现有资源配置作业完成时间达不到预期的情况时,MaxCompute为您提供 计算成本优化 功能,可基于实际作业请求量和资源配置期望,对 包年包月一级Quota 类型的计算...
本文为您介绍创建EAIS实例的准备工作及具体操作。前提条件 完成如下创建EAIS实例的准备工作:创建账号,以及完善账号信息。注册阿里云账号,并完成实名认证。具体操作,请参见 阿里云账号注册流程。创建按量付费实例,您的阿里云账户余额、...
更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景,MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案,本文为您介绍本方案可解决的业务痛点和主要架构功能。现状分析 当前典型...
背景介绍 DataWorks当前已经支持通过函数计算节点调用函数计算服务,在函数计算服务中可以自定义各种功能,最终可通过DataWorks进行调用。前提条件 已开通DataWorks服务,详情请参见 开通DataWorks服务。已开通函数计算服务,详情请参见 ...
适用环境(条件必选)当工作组为 专业模式 时,可设置云计算资源的使用环境,分为开发和生产环境,对生产环境的数据读写权限、任务上线发布进行严格权限控制。云计算资源创建后,云计算资源标识自动添加后缀:_dev(开发)、_prod(生产)...
适用环境(条件必选)当工作组为 专业模式 时,可设置云计算资源的使用环境,分为开发和生产环境,对生产环境的数据读写权限、任务上线发布进行严格权限控制。云计算资源创建后,云计算资源标识自动添加后缀:_dev(开发)、_prod(生产)...
本文为您介绍如何在DataWorks中通过函数计算节点调用函数计算服务,实现周期性对OSS中的增量PDF文件添加水印。背景介绍 DataWorks当前已经支持通过函数计算节点调用函数计算服务,在函数计算服务中可以自定义各种功能,最终可通过DataWorks...
背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间,绑定计算引擎后,您即可在DataWorks上创建对应引擎的计算任务,并进行周期调度。使用DataWorks连接MaxCompute有如下方式:数据分析的 SQL查询 功能:实现编辑MaxCompute SQL、...
本文介绍如何通过OSS加速域名,配合函数计算和 云工作流,快速打造低成本、高效的跨境对象存储数据同步传输系统。应用场景 需要跨境传输对象存储数据。对数据的跨境传输成本有严格的控制。对文件同步延时不敏感,能接受一定程度的网络抖动...
本产品(弹性高性能计算/2018-04-12)的OpenAPI采用 RPC 签名风格,签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求,...
最大可响应并发值 不同的实例并发数,函数实例可响应的最大并发值计算逻辑如下:单实例单并发 最大可响应并发值=函数实例数量 单实例多并发 最大可响应并发值=函数实例数量×单实例并发度 关于实例并发度的应用场景、优势、配置及影响,请...
函数计算 为您提供按量模式和预留模式两种实例使用模式。您可以根据两种模式对应的实例总数及实例扩容速度的限制信息配置对应的弹性伸缩规则。在预留模式下,您可以通过定时修改限制和根据指标修改限制两种方式解决预留实例利用不充分的...
本文介绍如何通过OSS加速域名,配合函数计算和 Serverless 工作流,快速打造低成本、高效的跨境对象存储数据同步传输系统。应用场景 需要跨境传输对象存储数据。对数据的跨境传输成本有严格的控制。对文件同步延时不敏感,能接受一定程度的...
本文介绍了工作流调度固定版本或预留资源函数和 Serverless工作流 实现的具体步骤。简介 在实际生产场景中,任务流所调度的函数因为业务场景变化可能需要频繁变更,我们会考虑到如何避免变更带来的非预期行为,控制变更稳定性。在 ...
MaxFrame是由阿里云自研的分布式计算框架,支持Python编程接口、兼容Pandas接口且自动进行分布式计算,同时可直接使用MaxCompute计算资源及数据接口,与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
本文介绍 函数计算 的运行时扩展功能原理、如何配置PreFreeze和PreStop回调函数及回调函数日志查询。背景信息 传统应用迁移Serverless架构的痛点 传统常驻的虚拟机或者托管容器类服务通常从实例启动到结束作为计费区间,即使该时间段没有...
如果您希望周期性运行MaxCompute作业,可使用DataWorks的DataStudio开发周期性MaxCompute作业,并配置周期性调度的时间属性、调度依赖等配置项,将作业整体提交至DataWorks的运维中心进行周期性调度。本文为您概要介绍当前使用DataWorks...
MaxFrame是由阿里云自研的分布式科学计算框架,是对历史相关产品功能(PyODPS、Mars)的重大升级,在MaxCompute之上提供一套完全兼容Pandas接口的API,让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍...
计算巢AppFlow是计算巢平台上的一种高效的应用集成和自动化工具,旨在提升企业的工作流程自动化和数据流管理效率。AppFlow通过提供易于使用的界面和强大的后端逻辑,允许用户无需深入编程即可设计、部署和监控各种自动化任务和数据流。本...
您可以通过版本管理功能发布多个版本的函数,实现软件开发生命周期中的持续集成和发布,确保函数的稳定性和可靠性。什么是版本 函数计算 提供函数级别的版本控制功能,支持您为自己的函数发布一个或多个版本。版本相当于函数的快照,包括...
为了更好的冷启动体验,推荐您使用以下最佳实践:容器镜像地址推荐使用与 函数计算 同地域的VPC镜像地址,以减少镜像拉取延时,提高稳定性。镜像最小化,基于类似Alpine或Ubuntu这样的最小镜像或者是其他镜像中精简版本构建自定义镜像。仅...