Dataphin补数据任务空跑调度了是什么原因
补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度日期就是20221001，而调度周期是月调度，并没有包含每个月的1日，所以补数据选择20220930时任务是空跑运行的。解决方案 在调度...
E-HPC集群调度器插件
E-HPC提供了调度器插件作为平台的外扩组件，在E-HPC现有调度器类型或版本不满足当前业务时，您可以通过该插件构建自定义调度器并接入E-HPC平台的能力。本文为您介绍E-HPC集群调度器插件的概念及组成。什么是调度器插件 E-HPC作为一款PaaS...
管理工作流
如果您需要安排任务在指定的时间运行，可以创建工作流并在工作流中定义调度节点以及调度策略。本文为您介绍如何创建和运行工作流。前提条件 已创建工作空间，详情请参见 管理工作空间。已完成任务开发且任务处于发布状态。创建工作流 进入...
Group Identity功能说明
开启该特性后，身份为 ID_UNDERCLASS 的任务将受到绝对压制，即运行队列中只要有 ID_NORMAL 或者 ID_HIGHCLASS 任务，ID_UNDERCLASS 的任务就无法得到调度，最坏情况将导致 ID_UNDERCLASS 任务饿死，因此开启该特性前需评估混合部署场景中...
调度中心字段说明
创建调度组填写字段详解 名称 含义 说明 调度组名称 调度组的名称，标识不同的调度组 同一账号的调度组名称 不允许重复。并发数 标识该调度组最多可以同时执行多少任务 取值范围：1～100。建议按照实际业务的带宽，估算 最大 支持多少实例...
调度参数
本文为您介绍调度参数的相关问题。调度参数典型场景 调度参数往前取一个小时，如何处理跨天参数替换的问题 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 节点定时时间为每天20:00，节点内参数取值为定时时间...
调度参数返回值二次处理的典型场景
调度参数只支持获取时间类型数据，部分节点（例如，离线同步节点）配置了调度参数后，调度参数的返回值不能直接使用，需要进行函数转换等二次处理。本文为您介绍二次处理调度参数返回结果的典型场景。背景信息 调度参数支持的时间类型未...
弹性伸缩概述
例如，HPA是典型的调度层弹性组件，通过HPA可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。资源层弹性，主要是集群的容量规划不能满足集群调度容量时，会通过弹出ECI资源的方式进行调度容量的...
工作原理
本文介绍定时SQL功能的背景信息、功能简介、基本概念、调度与执行场景、使用建议等信息。背景信息 基于时间的数据（日志、指标）在日积月累后的数量是惊人的。例如每天产生1000万条数据，则一年为36亿条数据。一方面，长时间的数据存储需要...
弹性伸缩概述
例如，HPA是典型的调度层弹性组件，可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。节点伸缩（资源层弹性）：在集群的容量规划不能满足集群调度容量时，会扩容节点资源，进行调度容量的补充。两...
集群概述
调度服务：主要作用是运行PBS或Slurm等调度工具的服务端，处理作业提交、管理调度等。域账号服务：集中管理E-HPC集群内用户信息。重要 管控节点负责作业的管理调度和域账号解析，请勿在管控节点进行编译软件、上传下载打包数据等操作，以免...
创建混合云集群
您可以利用本地的HPC集群在阿里云扩容计算节点资源，统一调度云上资源和您的本地资源进行高性能计算。本文介绍如何通过E-HPC管理控制台创建混合云集群。前提条件 已创建专有网络VPC和交换机。具体操作，请参见 创建专有网络 和 创建交换机...
RestAPI Reader最佳实践
请求参数配置为 startTime=${extract_day}${start_time}&endTime=${extract_day}${end_time} 后续调度配置的调度参数中，新增三个调度参数：extract_day=${yyyy-mm-dd}、start_time=00:00:00、end_time=23:59:59。假设运行日期为2023-01-05...
资源伸缩和系统扩展
例如，HPA是典型的调度层弹性组件，通过HPA可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。资源层弹性，主要是集群的容量规划不能满足集群调度容量时，会通过弹出ECS或ECI等资源的方式进行调度...
配置规则：按表（单表）
若无21天采样记录，您可在配置了动态阈值类规则且规则关联调度任务后，通过 补数据 功能补齐21天采样记录。进入按表配置监控规则页面 进入数据质量页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据...
共享GPU调度
容器服务 Kubernetes 版 ACK（Container Service for Kubernetes）开源了GPU共享调度之后，您能在阿里云、AWS、Google Compute Engine和自己数据中心的容器集群上通过GPU共享调度框架实现多个容器运行在同一个GPU设备上的目标。ACK开源GPU...
在DataWorks中通过函数计算节点实现动态为PDF添加水印
DataWorks提供的调度参数，可实现调度场景下代码动态传参。打开右侧的 调度配置，在 参数 区域设置参数。本文示例添加参数 current_date，参数值为$[yyyy-mm-dd]，表示运行任务时的当前年月日。更多调度参数的配置，请参见 调度参数支持的...
调度概述
本文介绍弹性调度、任务调度、异构资源调度、负载感知调度和精细化调度的主要功能。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和ECI，以及不同的付费类型如包年...
GPU调度概述
本文介绍调度GPU资源的不同方法，包括使用Kubernetes默认GPU调度、提升GPU资源使用率的共享GPU调度、以及加速任务执行的GPU拓扑感知调度。普通GPU调度 申请Kubernetes GPU集群后，通过运行TensorFlow的GPU实验环境，关于如何使用Kubernetes...
节点运维
对于部分Pod可能存在指定节点调度的情况，需检查被驱逐的Pod是否正常被调度到了其他可用节点，确保业务是正常的；对于有状态应用例如StatefulSet的驱逐，要确保调度的节点有足够的资源；如果驱逐了ADP-Local本地运维控制台，请尝试黑屏恢复...
kube-scheduler
kube-scheduler是一个控制面组件，负责结合节点资源使用情况和Pod的调度要求将Pod调度到集群的合适节点上。组件介绍 基于Pod申明的Request和节点的Allocatable属性，kube-scheduler可以为调度队列中每个Pod确定其可放置的节点，并保证节点...
Quick BI v4.3版本说明
支持多种调度方式，包括手动调度，周期调度和动态参数调度。支持任务发布状态管理和运维管理。移动端 移动端图表展示支持栅格布局，一行可放置多个图表。支持布局缩放来调整单个组件尺寸和位置。支持布局个性化隐藏Tab内的单个图表。可视化...
调度应用至指定节点
通过设置节点标签和nodeSelector策略，您可以将应用调度到指定节点上。前提条件 已 创建Kubernetes托管版集群 或 创建Kubernetes专有版集群。已 创建无状态工作负载Deployment 或 创建有状态工作负载StatefulSet。步骤一：设置节点标签 ...
将调度失败的Pod调度到ECI
在ACK集群中创建的Pod默认会调度到真实节点（即ECS节点）上，当ECS节点的计算资源不足时，Pod会调度失败。基于该场景，您可以在ACK集群中部署virtual-kubelet-autoscaler插件，该插件会自动将因为资源不足而调度失败的Pod二次调度到虚拟...
数据开发：开发者
本文以使用MaxCompute数据源，在DataWorks上运行MaxCompute作业任务为例，为您介绍开发人员如何使用数据开发（DataStudio）创建一个周期调度任务，帮助您快速了解数据开发（DataStudio）模块的基本使用。前提条件 已完成开发前的环境准备，...
Dataphin的调度任务到了设置的调度时间状态还是等待中
问题描述 Dataphin的调度任务到了设置的调度时间状态还是等待中。问题原因 上游任务全部运行成功之后，实例就会进入等待状态。等待中分为等待调度时间和等待调度资源：任务到达了定时调度时间，但是由于调度资源不足，所以处于等待调度资源...
调度应用至指定节点池
您可以给节点池设置标签（labels），使得应用Pod调度到对应标签节点池下的节点上。前提条件 已 创建Kubernetes托管版集群 或 创建Kubernetes专有版集群。已 创建无状态工作负载Deployment 或 创建有状态工作负载StatefulSet。操作步骤 给...
常见问题
调度 Pod显示已调度至virtual-kubelet，但一直未成功，怎么办？ACK+Virtual Node的场景下，kube-proxy、coredns被调度到了虚拟节点，启动失败怎么办？网络 如何修改ECI Pod的ClusterDomain？在ACK Serverless集群的Ingress中设置了鉴权，但...
创建手动任务
说明 DataWorks提供内置参数及相关自定义参数，可供任务调度时实现参数动态赋值。若在代码开发时定义了变量，您可在此处对该变量进行赋值。资源属性 用于配置任务发布至生产环境后使用哪个资源组下发任务。该配置下拉选择的为当前工作空间...
功能特性
工作流调度简介 定时调度 EventBridge事件调度 应用（Application）Serverless工作流旧版控制台应用中心是专门针对Serverless架构下工作流应用的管理和开发平台，提供一键部署与模块化应用构建。提供一个便捷、高效、一体化的环境，来开发...
功能特性
Fleet实例会根据任务需要的资源和关联集群的剩余资源，执行动态调度策略，选择适合的关联集群下发任务。托管ArgoCD(GitOps)ACK One舰队的Fleet实例托管了ArgoCD，同时集成ACK One多集群能力，实现多集群的GitOps持续交付，满足应用的高可用...
数据归档至Lindorm
周期调度 配置项 说明 调度周期 选择调度任务的周期：小时：按设定的小时执行任务调度，需要配置定时调度。日：按每日一次的频率执行任务调度，需要配置每日调度的具体时间。周：以周为周期，每个指定天执行一次任务调度，需要配置指定时间...
数据归档至Lindorm
周期调度 配置项 说明 调度周期 选择调度任务的周期：小时：按设定的小时执行任务调度，需要配置定时调度。日：按每日一次的频率执行任务调度，需要配置每日调度的具体时间。周：以周为周期，每个指定天执行一次任务调度，需要配置指定时间...
使用DMS进行数据归档
调度周期配置表 配置项 说明 调度周期 选择调度任务的周期：小时：按设定的小时执行任务调度，需要配置定时调度。日：按每日一次的频率执行任务调度，需要配置每日调度的具体时间。周：以周为周期，每个指定天执行一次任务调度，需要配置...
通过DMS管理作业
云原生多模数据库 Lindorm 计算引擎支持通过数据管理DMS的任务编排功能来调度Lindorm Spark任务，并查看Lindorm Spark任务发布记录和日志，满足用户在数据生产、交互式分析、机器学习和图计算等场景中的计算需求。本文介绍通过DMS管理...
PAI-TF概述
PAI-TF的作业都是基于底层的分布式调度系统动态调度至不同机器。当您提交PAI-TF作业时，无需担心是否需要提前申请GPU物理主机，PAI-TF所需要的GPU资源随作业的提交动态分配，随作业的结束动态释放。全局计算调度 当您在使用MaxCompute计算...
集群任务限流
为避免负载过重，控制数据消费的速率，集群任务提供了动态和静态两种流控能力。限流原理 如上图所示，一个 Chunk（分片）的执行分为如下三个阶段，这三个阶段构建成一个循环。Read 阶段 Reader 读取一批数据，读取数据接口返回数据列表和...
工作流调度简介
双向集成调度 调度名称 标准执行模式工作流调用方式 快速执行模式工作流调用方式 定时调度 异步调用 同步调用 SLS调度 异步调用 同步调用 MNS调度 异步调用 同步调用 Kafka调度 异步调用 同步调用 RocketMQ调度 异步调用 同步调用 RabbitMQ...
AI负载调度
本文介绍弹性资源调度、AI任务调度、异构资源调度和任务队列调度，帮助用户提升集群的资源利用率和作业运行效率。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和...
通过Docker安装并使用cGPU服务
cGPU服务会从Slice 1开始调度，但如果没有使用某个容器，或者容器内没有进程打开GPU设备，则跳过调度，切换到下一个时间片。示例如下：只创建一个容器Docker 1，获得Slice 1时间片，在Docker 1中运行2个TensorFlow进程，此时Docker 1最大...
- 产品推荐
- 这些文档可能帮助您