使用 Gang Scheduling
cat|kubectl apply-f-apiVersion:v1 kind:ResourceQuota metadata:name:object-counts namespace:test-gang spec:hard:pods:"2"EOF 我们创建一个 Job，该 Job 期望创建 3 个 Pod，因为 ResourceQuota 限制只能运行 2 个 Pod，因此该 Job ...
通过注册集群实现IDC中K8s集群以Serverless方式使用云...
IDC中K8s集群只有一个6 CPU节点，最多启动2个Nginx Pod（系统资源预留，无法启动3个Pod），剩余的2个副本在IDC节点资源不足后，将自动使用阿里云Serverless ECI运行Pod。kubectl scale deployment nginx-replicas 4 执行以下命令，查看Pod...
基础使用
因为每个作业都和一个Job Manager一一对应，因此不会出现一个Job Manager因为运行多个Job而导致负载过高的问题。缺点：每次运行一个作业都要启动一个专属Flink集群，启动作业的开销更大。根据以上特点，该模式通常适合运行时间较长的作业。...
背景知识
安装完成后会有2个快捷方式：Kitematic:用来管理 docker container 的图形化界面 Docker Quickstart Terminal:可以快速启动 docker 命令行界面。linux 上请自行到 官网下载安装。注意：确保安装的 Docker 版本>=1.10,否则会有兼容问题。B)...
手动执行脚本
集群创建完成后，您可以通过手动执行脚本功能批量选择节点来运行指定脚本，以实现个性化需求。本文为您介绍如何添加手动执行脚本。背景信息 手动执行功能适用于长期存在的集群，对按需创建的临时集群，应使用引导操作来完成集群初始化工作...
加工原理
调度机制 对每一个加工规则，加工服务的调度器会启动一个或多个运行实例，每个运行实例扮演一个消费者的角色去消费1个或者多个源Logstore的Shard，调度器会根据运行实例对内存与CPU的消耗情况决定并行的运行实例数，最多启动与源Logstore的...
基于ECI运行Job任务
本文主要为您介绍通过虚拟节点运行Job任务的方式，您可以用最小的运维成本（无需调整节点数量）来应对集群计算资源高峰压力。背景信息 Kubernetes集群的节点资源配置不足会导致Pod无法及时运行，购买过多的节点又会导致资源的闲置浪费。而...
查看并管理已生成实例
2 运行中 有等待中、运行中状态的实例，则补数据实例的状态为运行中。3 失败 没有等待中、运行中状态的实例，只要有一个失败状态实例，则补数据实例的状态即为失败。4 成功 所有实例的状态均为成功，则补数据实例的状态即为成功。查看已...
查看并管理已生成实例
2 运行中 有等待中、运行中状态的实例，则补数据实例的状态为运行中。3 失败 没有等待中、运行中状态的实例，只要有一个失败状态实例，则补数据实例的状态即为失败。4 成功 所有实例的状态均为成功，则补数据实例的状态即为成功。查看已...
查看并管理已提交实例
2 运行中 存在等待中或运行中的实例且没有运行失败的实例，则补数据实例的状态为运行中。3 失败 存在失败的实例，则补数据实例的状态即为失败。4 成功 所有实例状态均为成功，则补数据实例的状态即为成功。查看已提交实例列表 补数据实例运...
查看并管理已提交实例
2 运行中 存在等待中或运行中的实例且没有运行失败的实例，则补数据实例的状态为运行中。3 失败 存在失败的实例，则补数据实例的状态即为失败。4 成功 所有实例状态均为成功，则补数据实例的状态即为成功。查看已提交实例列表 补数据实例运...
查看并管理明细及汇总表实例
使用说明 规范建模采用动态物化逻辑，因此您可基于以下2个运维视角进行运维管理：在 物理运维视角 下，您可能需要通过查看最新物化节点代码或运行日志的方式，了解每次针对物化节点的操作会影响的字段或逻辑表任务节点。例如，对某个逻辑表...
查看并管理明细及汇总表实例
使用说明 规范建模采用动态物化逻辑，因此您可基于以下2个运维视角进行运维管理：在 物理运维视角 下，您可能需要通过查看最新物化节点代码或运行日志的方式，了解每次针对物化节点的操作会影响的字段或逻辑表任务节点。例如，对某个逻辑表...
性能测试工具-图形工具
运行环境 请确保压测客户端运行环境满足以下条件：Linux系统 JDK 1.8+Python 2.7 建议客户端CPU配置为独享16Core以上 启动服务 启动AHBench-jenkins服务后，您可以通过在浏览器中输入目标地址（例如：HTTP://IP:PORT）来访问服务。...
Cromwell 工作流引擎支持
一个常见的场景是如果一个工作流有 n 个 task，当执行到中间某一个 task 时由于某些原因失败了，排除了错误之后，再次提交这个工作流运行后，Cromwell 判断如果满足条件，则已经完成的几个 task 不需要重新执行，只需要从出错的 task 开始...
Enclave CLI子命令说明
说明 阿里云虚拟化Enclave中的度量值，也称为PCR（Platform Configuration Register），在Enclave运行时由vTPM生成，完全遵循TPM 2.0标准。用法 enclave-cli build-enclave \-docker-uri<repository>:<tag>\-output-file...
Databricks Runtime
Databricks Runtimes是在Databricks集群上运行的一组核心组件。Databricks提供了几种类型的Runtime。Databricks Runtime Databricks Runtime包括Apache Spark，但还添加了许多组件和更新，这些组件和更新极大地提高了大数据分析的可用性，...
Spring任务
但当一个应用中的多个应用在多个实例中运行时，不同优先级的任务被调度到不同实例执行，可能导致低优先级任务被优先执行。SchedulerX通过可抢占的优先级队列规避了这种可能性，并保证同时在池子中等待的高优先级任务被优先执行。更多信息，...
Spring任务
但当一个应用中的多个应用在多个实例中运行时，不同优先级的任务被调度到不同实例执行，可能导致低优先级任务被优先执行。SchedulerX通过可抢占的优先级队列规避了这种可能性，并保证同时在池子中等待的高优先级任务被优先执行。更多信息，...
Group Identity功能说明
Alibaba Cloud Linux 2（内核版本 4.19.91-24.al7 开始）和Alibaba Cloud Linux 3（内核版本 5.10.46-7.al8 开始）支持Group Identity功能，您可以通过该功能为每一个CPU cgroup设置不同的身份标识，以区分不同CPU cgroup中进程任务的优先...
升级安全沙箱运行时
第二批次升级2个节点的运行时。第三批次升级4个节点的运行时。第四批次升级5个节点的运行时（虽然2 3=8，但是集群只有50个节点，每批次最大为50×10%5）。第五批次升级5个节点的运行时。以此类推。暂停升级 通过升级暂停功能，您可以在运行...
Quota调度策略说明
MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统可以并发运行多个作业，因此涉及到计算资源的分配。MaxCompute中每个包年包月二级Quota的调度策略分为FIFO（先进先出）和FAIR（公平调度）。您可以通过设置二级Quota的调度...
【产品变更】运行时终止支持计划
Python 2.7运行时终止支持计划 自2023年06月01日起，函数计算将不再提供Python 2.7运行时的技术支持和安全更新，您将不能再使用Python 2.7运行时创建新函数。自2023年07月01日起，您将不能更新已有Python 2.7运行时函数。函数计算建议您在...
Docker 镜像制作
RUN apt-get autoclean#安装python RUN apt-get install-y python#启动时运行这个命令 CMD["/bin/bash"]运行以下命令，build 镜像：cd dockerUbuntu#进入 dockerUbuntu 目录 docker build-t myubuntu./正式build,命名为 myubuntu 注意：...
安全沙箱概述
相比于原有Docker运行时，安全沙箱为您提供了一种新的容器运行时选项，可以让您的应用运行在一个轻量虚拟机沙箱环境中，拥有独立的内核，具备更好的安全隔离能力。安全沙箱特别适合于不可信应用隔离、故障隔离、性能隔离、多用户间负载隔离...
流水线的运行
待到日常环境测试阶段运行结束后，空闲下来，开始再次运行，此时是接续持续集成阶段第三次运行的版本继续运行，而不是接续持续集成阶段第二次运行的版本继续运行。亦支持在前一阶段运行完成时，若后一阶段正在运行，强制中止后一阶段当前...
DSW连接EMR集群
本教程包括以下4个运行步骤：选择EMR集群 连接指定集群 使用spark-submit提交作业 运行PySpark交互式应用 常见问题 DSW实例重启后，运行Spark作业报错，应如何解决？DSW实例重启后，需要重新执行 选择EMR集群 和 连接指定集群，初始化EMR...
SetSchedulerInfo-设置调度器信息
SchedInterval 指调度周期，单位：秒 调度周期指运行多个作业之间时间间隔，如设置为 60，表示本次作业开始运行 60 秒后才能开始运行下次作业。默认值：60 60 SchedMaxJobs integer 否 集群调度的最大作业数。若集群排队和运行的作业数总和...
GetPipelineRunNode-获取工作流任务节点信息
工作流任务中包含多个节点，通过该接口获取节点的详细信息。接口说明 PAIFlow支持复合形式的工作流，这些工作流在运行时也会体现为复合形式的节点。想要获取到这类节点的详细信息，可以传入Depth参数（默认值为2），可以递归地获取到所查询...
配置do-while节点
视图右侧为每次循环的具体信息，单击循环记录列表中的某次循环，即可展示出该循环每个实例的运行情况。在内部节点页面，单击左侧的次数，并右键单击相应节点，选中 查看运行日志。查看第N次循环的详细执行日志。在内部节点页面，单击左侧的...
如何解决ECS实例中部署的Web网站运行速度慢
概述 本文主要介绍如何解决ECS实例中部署的Web网站运行速度慢。详细信息 Web网站的运行速度较慢，提供如下解决方法供您参考。查看服务器的CPU、硬盘、内存是否使用率过高，然后检查是什么进程占用服务器的运行速度。检查服务器是否中了病毒...
计算资源计费
OR-68B18B81EE 624 2688 ecs.g6.26xlarge 2 混合容量中型单元，适用于在单个云盒上运行多个团队的应用程序。ecs.c6.26xlarge 2 ecs.r6.26xlarge 2 OR-218DCFD832 936 3648 ecs.g6.26xlarge 4 混合容量大型单元，适用于在单个云盒上运行不同...
安装Docker并使用（Linux）
安装并使用docker-compose docker-compose是Docker官方提供的用于定义和运行多个Docker容器的开源容器编排工具，可以使用YAML文件来配置应用程序需要的所有服务，然后使用docker-compose运行命令解析YAML文件配置，创建并启动配置文件中的...
运行失败
本文为您介绍任务运行失败的报错信息及解决方法。Seek阶段pk重复导致运行失败 报错信息 解决方法 打开运行MaxCompute任务的Logview，并查看StdOut中的值。Loview使用方法请参考 使用Logview查看作业运行信息。如果该实例的record number比...
自动伸缩最佳实践
启动自动伸缩之后，如果集群未运行作业，会尝试保持最小节点数（2个节点）。由于已经存在一个计算节点，因此会在low队列中扩容一个计算节点。创建作业脚本并提交作业。在左侧导航栏，选择 作业与性能管理>作业。在 集群 列表中，选择...
脚本任务
执行模式：单机运行：如果部署了多个Agent，每次随机选择一个Agent运行脚本。广播运行：如果部署了多个Agent，每次广播所有Agent同时运行脚本，一般用于批量运维。分片运行：请参见 多语言版本分片模型。ECI 接入前提：已创建ECI应用。具体...
脚本任务
执行模式：单机运行：如果部署了多个Agent，每次随机选择一个Agent运行脚本。广播运行：如果部署了多个Agent，每次广播所有Agent同时运行脚本，一般用于批量运维。分片运行：请参见 多语言版本分片模型。ECI 接入前提：已创建ECI应用。具体...
使用临时查询快速查询SQL（可选）
创建一张分区表sale_detail 您可以查看本次运行的费用预估，单击 运行 选项，在 参数 弹框中选择 运行资源组，单击 运行。您可以在下方的日志窗口，查看运行情况和最终结果。如果本次运行成功，结果为 OK。您可以使用同样的方法执行 SELECT...
Python SDK使用说明
具体示例代码如下：job=fastgpu.make_job(name="fastgpu_test",#实例集群名称 num_tasks=2,#实例数量，创建2个实例 instance_type="ecs.gn6v-c8g1.2xlarge",#实例类型 image_type="ubuntu_18_04",#实例镜像类型，比如为Ubuntu 18.04 disk_...
基本概念
容器（Container）打包应用及其运行依赖环境的技术，一个节点可运行多个容器。镜像（Image）容器镜像是容器应用打包的标准格式，封装了应用程序及其所有软件依赖的二进制数据。在部署容器化应用时可以指定镜像，镜像可以来自于Docker Hub，...
- 产品推荐
- 这些文档可能帮助您