创建集群模板
在使用数据开发工作流完成作业任务时，如果您只关注作业任务是否完成，可以使用集群模板功能来快速建立集群，调度系统会在工作流启动时按照模板创建一个集群，然后将作业下发到该集群上执行。当工作流结束后，调度系统会自动释放该集群。...
故障排查
ACK集群异常 添加Kubernetes集群节点的常见问题 容器镜像仓库构建服务失败问题排查 容器镜像服务源码绑定失败问题排查 Kubernetes集群如何指定安全组 Kubernetes集群网络异常的排查方法 容器服务ACK应用故障排查 如何升级集群？排查故障的...
虚拟交换机剩余IP状态感知调度
原生Kubernetes集群调度器对节点所属虚拟交换机是否有剩余IP不感知。在多个集群同时使用同一个虚拟交换机或多个节点同时使用同一个虚拟交换机时，可能出现Pod调度到节点上后由于虚拟交换机可用IP不足启动失败的情况。这种情况下，Pod控制器...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群 节点上 执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的...
使用负载感知调度
ACK集群Pro版 调度器的负载感知调度功能会根据节点的实际负载情况，将Pod优先调度到负载较低的节点，以实现节点负载均衡，降低节点故障风险。前提条件 已安装ack-koordinator组件，且版本为1.1.1-ack.1及以上。具体操作，请参见 ack-...
历史功能发布记录（2023年）
全部 创建节点池 分布式云容器平台 ACK One 基于ACK One多集群网关实现同城容灾 结合 ACK One GitOps 应用的多集群分发能力，ACK One多集群网关可以帮助您快速实现应用的同城容灾系统。全部 基于多集群网关实现同城容灾 2023年10月 产品 ...
HTTP触发器节点
其他调度系统的触发配置 在外部调度系统中进行触发配置时，您可以通过以下三种方式：Java方式、Python方式或API调用方式。Java方式 安装Java SDK，详情可参见 开始使用。其中，DataWorks的SDK请用下面的pom配置。groupId>...
大规模ACK Pro集群使用建议
分类 说明 隔离性 使用多个集群可以确保不同集群（例如生产集群和测试集群）的隔离性，避免某个集群的问题影响全部业务，降低故障爆炸半径。位置 某些服务需要部署在离终端用户更近的特定地理位置，以满足可用性、低延时的需求。在此场景下...
在ACK集群部署多租户任务调度管理
在ACK集群中，企业可以通过AI套件中的任务管理工具Arena、队列调度管理系统Kube Queue、配额管理工具ElasticQuotaTree以及Prometheus监控打造企业级任务调度系统。本文将从实际案例出发自底而上地介绍如何基于ACK集群构建一个任务调度系统...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、容器组件等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 Pod诊断...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 ...
操作指南指引
ACK灵骏集群 ACK灵骏托管版集群管理 ACK灵骏托管版集群调度 关于ACK灵骏托管版集群操作指南的更多信息，请参见 ACK灵骏托管版集群操作指南。云原生AI套件 环境准备 弹性数据集 AI负载调度 AI任务管理 AI服务部署 AI控制台使用指南 关于云...
管理MySQL集群
资源分配策略 专属集群资源调度的默认分配策略：均衡分配：最大化追求更稳定的系统表现，优先从未分配资源或已分配资源较少的主机中分配资源。紧凑分配：最大化追求更充分的资源利用率，优先从创建时间较早且已分配资源较多的主机中分配...
工作流编辑
选择集群模板：表示调度系统在工作流启动时先按模版创建一个集群，然后将作业下发到该集群上执行。在工作流结束后，调度系统会自动释放该集群，详情请参见 创建集群模板。说明 选择当前已存在集群 的下拉列表中只会出现当前项目已关联的...
E-HPC集群调度器插件
本文为您介绍E-HPC集群调度器插件的概念及组成。什么是调度器插件 E-HPC作为一款PaaS平台，集成了常用的开源调度器来提供平台级服务。当您的业务需要迁移到云上时，往往需要将云下的调度器集成至云上，但因HPC行业调度器众多，且不同调度器...
舰队管理概述
随着Kubernetes集群的广泛应用，企业往往需要...作业分发：离线作业多集群调度，选择适合的集群运行离线作业。全局监控：多集群监控大盘，一个监控大盘查看所有集群的监控指标。相关文档 ACK One概述 开启舰队管理功能 管理关联集群 ArgoCD
管理系统集群
查看系统集群详情 在系统集群列表中，您还可以单击系统集群名称，进入该系统集群的详情页，查看详细信息，主要包括以下信息：基本信息：展示了系统集群名称、集群地址获取方式、地址/域名、负载均衡策略、创建人、创建时间与描述。...
SetSchedulerInfo-设置调度器信息
默认值：20000 20000 SchedMaxQueuedJobs integer 否 集群调度的最大排队作业数。若集群排队作业数量超过此数值则无法再继续提交作业。默认值：10000 10000 SlurmInfo object[]否 Slurm 调度器信息列表。BackfillInterval integer 否 ...
调度集群管理概述
Dataphin支持连接不同调度集群，并将所有集群可用于调度的资源进行统一管理，使每个租户可以使用不同集群的资源用于创建自定义资源组，从而解决跨Region数据传输以及资源隔离等问题。使用限制 当前仅支持基于最新架构部署的客户使用调度...
弹性伸缩概述
资源层弹性，主要是集群的容量规划不能满足集群调度容量时，会通过弹出ECI资源的方式进行调度容量的补充。两层的弹性组件与能力可以分开使用，也可以结合在一起使用，并且两者之间是通过调度层面的容量状态进行解耦。弹性伸缩组件介绍 调度...
什么是容器服务灵骏版
请参见：ACK灵骏托管版集群计费说明 ACK灵骏托管版集群管理 创建集群 查看集群信息 管理集群 删除集群 灵骏节点池 灵骏节点池概述 ACK灵骏托管版集群组件 组件概述 管理组件 ACK灵骏托管版集群调度 使用共享GPU调度（eGPU）产品简介 ACK...
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
管理集群
资源分配策略 专属集群资源调度的默认分配策略：均衡分配：最大化追求更稳定的系统表现，优先从未分配资源或已分配资源较少的主机中分配资源。紧凑分配：最大化追求更充分的资源利用率，优先从创建时间较早且已分配资源较多的主机中分配...
管理集群
资源分配策略 专属集群资源调度的默认分配策略：均衡分配：最大化追求更稳定的系统表现，优先从未分配资源或已分配资源较少的主机中分配资源。紧凑分配：最大化追求更充分的资源利用率，优先从创建时间较早且已分配资源较多的主机中分配...
成本估算策略介绍
使用单资源估算策略：如果使用内存单资源估算，计算成本为200*90%180 元，符合集群调度情况。如果使用CPU单资源估算，计算成本为200*20%40 元，而此时集群只剩10%的内存可供继续调度，还会产生大量的闲置成本无法得到分配。使用权重混合...
FTP Check节点
该节点通常作为DataWorks调度系统与其他调度系统之间传递信号使用。本文为您介绍使用FTP Check节点的流程和注意事项。前提条件 已创建FTP数据源。已创建好业务流程，详情请参见 创建业务流程。背景信息 FTP Check节点的典型应用场景：当...
虚拟节点调度方案对比及介绍
ACK集群基础版 和 ACK专有集群 调度方式 典型场景 优先级调度 优先缩容ECI Pod 是否推荐使用 相关操作文档 labels:alibabacloud.com/eci=true 只调度到虚拟节点。不支持 支持 推荐。通过虚拟节点将Pod调度到ECI上运行 UnitedDeployment 将...
调度周期：年调度
年调度是指调度任务在每年的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每年一月的最后一天执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，年...调度详情 调度系统会自动为任务生成实例并运行，如下图所示。
成本数据模型介绍
在ACK集群中，Pod作为最小的可部署单元，是衡量集群成本的关键因素。但不同Pod可能有不同的资源配置、...您可以基于集群调度水位估算Pod成本，包括单资源（CPU、内存）估算和权重混合（CPU-内存混合）的资源估算，请参见 成本估算策略介绍。
离线模式调度配置
调度周期 调度周期即在生产环境调度系统中，多久会真实执行一次该任务中的代码。当一个任务被成功提交后，该任务调度将提交当天次日开始按照该任务的时间属性配置生成自动调度的周期实例，并根据上游依赖的实例运行结果和时间点运行。调度...
离线模式调度配置
调度周期 调度周期即在生产环境调度系统中，多久会真实执行一次该任务中的代码。当一个任务被成功提交后，该任务调度将提交当天次日开始按照该任务的时间属性配置生成自动调度的周期实例，并根据上游依赖的实例运行结果和时间点运行。调度...
配置集群连接
步骤三：下载描述文件并完成应用部署 按照下图操作指引，选择需要配置集群连接的集群，进入 调度集群管理 对话框。在 集群连接配置引导 对话框中，下载应用安装描述文件。步骤四：执行安装命令 在目标集群导入下载的描述文件并解压后执行...
调度周期：周调度
调度详情 调度系统会自动为任务生成实例并运行。重要 使用 补数据 功能对周调度任务执行补数据操作时，请注意补数据选择的为 业务日期，业务日期=定时调度日期-1。例如：每周一的任务在执行补数据操作时应选择业务时间为上周日。若补数据...
设置集群身份映射
CDP与CDH的集群身份映射配置操作基本一致，本文以CDH为例，为您介绍相关操作详情。映射类型说明 在DataWorks注册CDH集群时，可通过 默认访问身份 参数，配置后续在DataWorks运行CDH集群任务时，实际在CDH集群内执行任务代码使用的账号，...
离线任务调度属性配置
调度周期 调度周期即在生产环境调度系统中，多久会真实执行一次该任务中的代码。当一个任务被成功提交后，该任务调度将提交当天次日开始按照该任务的时间属性配置生成自动调度的周期实例，并根据上游依赖的实例运行结果和时间点运行。调度...
离线任务调度属性配置
调度周期 调度周期即在生产环境调度系统中，多久会真实执行一次该任务中的代码。当一个任务被成功提交后，该任务调度将提交当天次日开始按照该任务的时间属性配置生成自动调度的周期实例，并根据上游依赖的实例运行结果和时间点运行。调度...
调度周期：月调度
调度详情 调度系统会自动为任务生成实例并运行，如下图所示。重要 使用 补数据 功能对月调度任务执行补数据操作时，请注意补数据选择的为 业务日期，业务日期=定时调度日期-1。例如：每月一号的任务在执行补数据操作时应选择业务时间为上个...
使用Prometheus配置报警规则的最佳实践
此问题有可能是由于大规模集群调度，任务压力过大引起的。ACK Pro版集群增强集群调度等核心能力，并提供SLA保障。推荐升级为ACK Pro版集群。更多信息，请参见 ACK Pro版集群概述。容器CPU限流频繁 Warning rate(container_cpu_cfs_...
调度至Arm虚拟节点
集群调度器默认优先调度到ECS节点，ECS节点资源不足时调度到虚拟节点。在不修改调度器计分插件权重的情况下，如集群中存在资源充足的x86 ECS节点，即使通过nodeAffinity配置了优先调度到Arm架构的节点，Pod也可能会被调度到x86架构的ECS...
调度至Arm虚拟节点
集群调度器默认优先调度到ECS节点，ECS节点资源不足时调度到虚拟节点。在不修改调度器计分插件权重的情况下，如集群中存在资源充足的x86 ECS节点，即使通过nodeAffinity配置了优先调度到Arm架构的节点，Pod也可能会被调度到x86架构的ECS...
- 产品推荐
- 这些文档可能帮助您