配置同周期调度依赖
被推荐的节点需在前一天提交至调度系统，待第二天数据产出后，才可被自动推荐功能识别。因此，自动推荐的节点存在T+1的延迟。本节点输出 本节点的输出是其他节点与本节点建立依赖关系的媒介。其他节点可通过本节点的输出名称找到本节点，并...
Hologres开发：周期性调度
这里通过{bizdate}参数控制分区键值，在调度系统中自动赋值完成周期性调度。关于参数的配置，请参见DataWorks文档 DataWorks调度配置。其中，insert的分区数据必须和分区键（本文示例为ds）的值保持一致，否则会报错。在HoloStudio中，单击...
通过OpenAPI创建、修改、删除离线同步任务
由于DataWorks调度系统的规则，cron表达式有以下限制：最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型，包括NOT_DAY（分钟、小时）和DAY（日、周、月）。该参数与 DataWorks控制台 中，...
通过OpenAPI创建、修改、删除离线同步任务
由于DataWorks调度系统的规则，cron表达式有以下限制：最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型，包括NOT_DAY（分钟、小时）和DAY（日、周、月）。该参数与 DataWorks控制台 中，...
GetFile
NodeId Long 300001 提交文件后，在调度系统生成的调度任务ID。AdvancedSettings String {"queue":"default","SPARK_CONF":"-conf spark.driver.memory=2g"} 任务的高级配置。该参数与 DataWorks控制台 中，EMR Spark Streaming和EMR ...
管理工作流
系统调度 创建工作流时配置了 调度类型 选择了 调度器，创建完成后打开 调度状态 开关，可以在指定的生效时间点触发工作流运行。手动运行 在 任务编排 页面，单击目标工作流的名称，然后单击右上角的 手动运行，触发当前工作流的运行。查看...
配置共享GPU调度节点选卡策略
Spread：调度系统会尽量将Pod分散到这个节点的各个GPU上，避免一张GPU卡坏掉后，影响的业务过多。以下示例表示，某个节点有2张GPU卡，每张卡有15 GiB显存，Pod1申请2 GiB显存，Pod2申请3 GiB显存。步骤一：创建节点池 默认情况下，节点的选...
调度中心字段说明
本文介绍了调度中心使用中，相关字段的详细解释。创建调度组填写字段详解 名称 含义 说明 调度组名称 调度组的名称，标识不同的调度组 同一账号的调度组名称 不允许重复。并发数 标识该调度组最多可以同时执行多少任务 取值范围：1～100。...
调度参数返回值二次处理的典型场景
调度参数只支持获取时间类型数据，部分节点（例如，离线同步节点）配置了调度参数后，调度参数的返回值不能直接使用，需要进行函数转换等二次处理。本文为您介绍二次处理调度参数返回结果的典型场景。背景信息 调度参数支持的时间类型未...
弹性伸缩概述
安装Elastic Workload 资源层弹性组件介绍 组件名称 组件介绍 适用场景 资源交付速度 参考文档 cluster-autoscaler Kubernetes社区开源组件，节点水平伸缩组件，阿里云提供了调度、弹性优化、成本优化的功能。全场景支持，适合在线业务、...
确认表血缘
场景二：设置了调度依赖，但由于参数配置导致下游取上游表数据早于上游表数据产出 同周期依赖配置情况下，由于上游产出的表分区与下游取表数据的分区匹配不上，可能会导致下游取数出现质量问题，或下游任务报错。如下图所示。说明 ...
RestAPI Reader最佳实践
测试运行 本实践使用了调度参数，因此完成离线同步任务的配置后，您可以在离线同步节点页面顶部单击 带参运行，根据界面提示填写测试的调度参数取值，进行离线同步任务测试。测试运行完成后，您可以在界面下方查看运行日程，检查调度参数...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
基于AnalyticDB实现城市公交系统智能化
票务管理工作台将用户检录的数据实时同步到 AnalyticDB MySQL版 中，业务人员即可使用SQL进行自由灵活的计算分析，得出实时客流，然后结合公交车机具上传的监控信息进行实时分析，指挥车辆调度。客户价值 基于 AnalyticDB MySQL版 和DRDS...
实现任务调度
在EDAS控制台中，已经无缝集成了阿里巴巴的分布式任务调度系统SchedulerX作为核心组件，以实现高效的任务调度管理功能。本文将介绍如何在您的Spring Cloud应用中使用SchedulerX实现任务调度，并部署到EDAS中，实现一个 简单Job单机版 的...
使用GPU拓扑感知调度（Tensorflow版）
ACK基于Scheduling Framework机制，实现GPU拓扑感知调度，即在节点的GPU组合中选择具有最优训练速度的组合。本文介绍如何使用GPU拓扑感知调度来提升TensorFlow分布式训练的训练速度。前提条件 已创建ACK Pro集群，且集群的实例规格类型选择...
依赖关系
配置调度依赖前您需先了解以下内容 什么是调度依赖 为什么要设置调度依赖 DataWorks上如何设置调度依赖？哪些场景不支持设置调度依赖？不需要依赖的表如何删除？调度依赖配置常见问题 提交节点报错：当前节点依赖的父节点输出名不存在 提交...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
创建混合云集群
调度器节点主机名 本地集群中部署了调度器的节点的主机名称。账号系统 本地集群中域账号服务的类型。本地集群域名 本地集群的域名。账号节点IP 本地集群中部署了域账号服务的节点的IP地址。账号节点主机名 本地集群中部署了域账号服务的...
创建数据源质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、代码检查触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
Dataphin的调度任务到了设置的调度时间状态还是等待中
问题描述 Dataphin的调度任务到了设置的调度时间状态还是等待中。问题原因 上游任务全部运行成功之后，实例就会进入等待状态。等待中分为等待调度时间和等待调度资源：任务到达了定时调度时间，但是由于调度资源不足，所以处于等待调度资源...
运行及排错
提交节点后，需要到第2天才能看到调度系统自动执行的结果。DataWorks为您提供测试运行、补数据和周期运行三种触发方式，帮助您确认实例运行的定时时间、相互依赖关系、数据结果产出是否符合预期。测试运行：手动触发方式。如果您仅需要确认...
什么是阿里云CDN
链路质量系统 链路质量探测系统会实时监测缓存系统中的所有节点和链路的实时负载以及健康状况，并将结果反馈给调度系统，调度系统根据用户请求中携带的IP地址解析用户的运营商和区域归属，然后综合链路质量信息为用户分配一个最佳接入节点...
配置任务调度
本文以配置任务write_result的调度周期为周调度为例，为您介绍如何设置DataWorks的调度属性和依赖属性。前提条件 已创建虚拟节点（start）和ODPS SQL节点（insert_data，详情请参见 创建业务流程。已创建同步节点 write_result 生成的同步...
ack-ai-installer
ack-ai-installer是增强ACK Pro版集群和 ACK Edge集群Pro版 调度能力的Device Plugin（设备插件）的组件集合，支持结合ACK Scheduler（ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统）...
调度概述
ACK Scheduler是ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统。ACK Scheduler支持不同弹性资源的混合调度、异构资源的精细化调度、批量计算的任务调度等，提升应用的性能和集群整体资源...
共享GPU调度
容器服务 Kubernetes 版 ACK（Container Service for Kubernetes）开源了GPU共享调度之后，您能在阿里云、AWS、Google Compute Engine和自己数据中心的容器集群上通过GPU共享调度框架实现多个容器运行在同一个GPU设备上的目标。ACK开源GPU...
kube-scheduler
kube-scheduler是一个控制面组件，负责结合节点资源使用情况和Pod的调度要求将Pod调度到集群的合适节点上。组件介绍 基于Pod申明的Request和节点的Allocatable属性，kube-scheduler可以为调度队列中每个Pod确定其可放置的节点，并保证节点...
AI负载调度
本文介绍弹性资源调度、AI任务调度、异构资源调度和任务队列调度，帮助用户提升集群的资源利用率和作业运行效率。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和...
GPU调度概述
本文介绍调度GPU资源的不同方法，包括使用Kubernetes默认GPU调度、提升GPU资源使用率的共享GPU调度、以及加速任务执行的GPU拓扑感知调度。普通GPU调度 申请Kubernetes GPU集群后，通过运行TensorFlow的GPU实验环境，关于如何使用Kubernetes...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照以下操作指引，进入离线集成...
节点运维
对于部分Pod可能存在指定节点调度的情况，需检查被驱逐的Pod是否正常被调度到了其他可用节点，确保业务是正常的；对于有状态应用例如StatefulSet的驱逐，要确保调度的节点有足够的资源；如果驱逐了ADP-Local本地运维控制台，请尝试黑屏恢复...
服务定时自动部署
如果您在步骤一中引入了Designer全局变量，请参考 示例2：定时调度参数替换，在节点调度配置中将全局变量的配置替换成所需的系统变量。步骤三：部署后查看定时更新的服务版本 查看定时部署的模型服务版本，具体操作步骤如下。登录 PAI控制...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
离线同步任务运维
任务调度与管理 离线同步依托DataWorks强大的调度能力，为您实现离线任务的周期性自动调度执行，同时，可以结合DataWorks调度参数，实现增量数据和全量数据写入到目标表对应分区，离线同步任务的运维操作与其他离线调度任务操作一致，支持...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
概念原理
本文介绍任务调度的概念原理。任务分步 一个简单任务可以拆分成多个执行步骤（step），由不同的执行器（handler）按顺序执行。前置步骤成功完成后才开始执行下一个步骤。例如，“对账”任务的处理步骤是：下载银行的清算文件>根据约定格式...
运维中心概述
查看并管理周期任务 周期任务运维为您展示任务提交到调度系统后的调度任务列表与调度环境产生的 周期实例。周期任务面板展示当前所有的调度节点，您可以在周期任务面板修改周期调度任务使用的资源组、责任人等信息。DataWorks每晚会根据 ...
- 产品推荐
- 这些文档可能帮助您