依赖关系
配置调度依赖前您需先了解以下内容 什么是调度依赖 为什么要设置调度依赖 DataWorks上如何设置调度依赖？哪些场景不支持设置调度依赖？不需要依赖的表如何删除？调度依赖配置常见问题 提交节点报错：当前节点依赖的父节点输出名不存在 提交...
工作流调度简介
在事件驱动的计算模型中，事件源是事件的生产者，工作流是事件的处理者，而工作流调度提供了一种集中、统一的方式来管理不同的事件源。在事件源中，当事件发生时，如果满足工作流调度定义的规则，事件源会自动调用工作流调度关联的工作流。...
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
工作原理
场景二：从某个历史时间点开始执行定时SQL任务 在当前时间点创建定时SQL任务后，按照调度规则对历史数据进行处理，从调度的开始时间创建补运行的实例，补运行的实例依次执行直到追上数据处理进度后，再按照预定计划执行新实例。场景三：...
调度参数返回值二次处理的典型场景
调度参数只支持获取时间类型数据，部分节点（例如，离线同步节点）配置了调度参数后，调度参数的返回值不能直接使用，需要进行函数转换等二次处理。本文为您介绍二次处理调度参数返回结果的典型场景。背景信息 调度参数支持的时间类型未...
常见问题
Q：对移动调度中心服务访问失败的处理机制是什么？A：若访问移动调度中心服务失败，表示无法拉取到 IP 列表，则发起 RPC 请求时仍需使用域名。Q：用当前 App 缓存中的 IP 访问失败后的详细处理机制是什么？A：使用 IP 发起 RPC 请求失败后...
其他问题
base_xykxfmx_mzf_di_节点周期调度是10分钟，在节点模式中查看 dwd_xykyw_xfmx_mzf_di的上游节点ods_base_xykxfmx_mzf_di的调度周期是3分钟。dwd_xykyw_xfmx_mzf_di的周期是15分钟。到周期时间后，各节点运行情况如下：dwd_xykyw_xfmx_mzf_...
数据预处理
对于文本数据而言，通常文本数据里面会含有很多跟任务无关的噪音，这时应该进行文本的预处理。在NLP自学习平台内置了一些预处理规则，如果您觉得有必要进行预处理，可以选择这些规则。我们内置的规则包括：去除 URL 链接；去除 emoji 表情...
Dataphin中小时调度的任务可以依赖天调度的任务吗？
概述 本文主要介绍Dataphin中小时调度的任务能否上游依赖天调度的任务。详细信息 不建议小时调度的任务上游依赖天调度的任务，可能会出现每个小时跑的数据都一样的情况。对于这种情况，建议上游任务也是小时调度。或者上游任务中数据是定时...
调度依赖配置指引
DataWorks的调度依赖是指周期调度节点间的上下游依赖关系。通过节点的依赖关系有序调度运行上下游节点，即当上游节点运行成功后，下游节点才会启动运行，保障适时的产出有效业务数据。本文为您介绍调度依赖的配置指引，避免因调度依赖配置...
功能特性
在事件驱动的计算模型中，事件源是事件的生产者，工作流是事件的处理者，而工作流调度提供了一种集中、统一的方式来管理不同的事件源。在事件源中，当事件发生时，如果满足工作流调度定义的规则，事件源会自动调用工作流调度关联的工作流。...
CreateSchedruleOnDemand-为代播实例创建一条调度规则
为代播实例创建一条调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
ConfigSchedruleOnDemand-修改代播实例的调度规则
修改代播实例的调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
弹性伸缩概述
例如，HPA是典型的调度层弹性组件，通过HPA可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。资源层弹性，主要是集群的容量规划不能满足集群调度容量时，会通过弹出ECI资源的方式进行调度容量的...
CreateSchedule-创建一个定时调度
创建一个定时调度。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
Hologres开发：周期性调度
HoloStudio与DataWorks无缝连通，您可以通过HoloStudio将MaxCompute数据导入Hologres，并基于DataWorks的底层能力，前往DataWorks进行定时调度，实现周期性导入数据至Hologres。本文为您介绍如何将MaxCompute源表数据导入Hologres进行周期...
UpdateSchedule-更新一个定时调度
更新一个定时调度。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
DescribeSchedule-获取一个定时调度
获取一个定时调度信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
基础配置相关问题
本文介绍堡垒机基础配置相关问题及解决方案。如何进入堡垒机管理界面？登录堡垒机控制台。在堡垒机控制台上方，选择堡垒机实例所在的地域。在左侧导航栏，单击 实例。在 实例 页面，定位到目标堡垒机实例，单击 管理。购买堡垒机后为什么看...
自定义资源组
如何处理添加自定义调度资源服务器失败的情况？如何处理服务器突然终止服务且重启失败的情况？如何处理自定义调度资源下的任务长期等待资源的情况？如何暂停和初始化Agent服务？重启ECS后，如何使Agent自行恢复服务？如何处理无法启动...
创建倍速转码任务
针对带有视频流转码的任务，媒体处理MPS基于智能转码引擎和强大的云上资源调度能力，通过将视频源切分为多个较小的片段，使用多台转码机并行转码的方式提升视频流转码效率，显著缩短处理耗时。实现原理如下图：功能特性 类型 说明 加速倍数...
ConfigInstanceSecurityGroups-为指定的堡垒机实例...
为指定的堡垒机实例配置安全组。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 ...
弹性伸缩概述
例如，HPA是典型的调度层弹性组件，可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。节点伸缩（资源层弹性）：在集群的容量规划不能满足集群调度容量时，会扩容节点资源，进行调度容量的补充。两...
EnableInstancePublicAccess-打开指定堡垒机实例公网...
打开指定堡垒机实例公网访问开关。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
ModifyInstanceTwoFactor-修改堡垒机实例的双因子配置
修改堡垒机实例的双因子配置。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
ModifyInstanceAttribute-修改指定堡垒机实例的信息
修改指定堡垒机实例的信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值...
通过Docker安装并使用cGPU服务
cGPU服务会从Slice 1开始调度，但如果没有使用某个容器，或者容器内没有进程打开GPU设备，则跳过调度，切换到下一个时间片。示例如下：只创建一个容器Docker 1，获得Slice 1时间片，在Docker 1中运行2个TensorFlow进程，此时Docker 1最大...
智能解析调度不准问题
概述 本方法只针对使用阿里云解析DNS产品的域名，若您的域名托管在其他厂商的DNS服务器上，请联系您的DNS服务器厂商处理。使用阿里云解析DNS服务器的域名，如果您设置的智能解析线路出现调度不准的情况，可以参考如下内容进行排查。说明 ...
任务管理
当系统发生调度时，高优先级任务可以抢占低优先级任务的处理器资源得到调度执行。系统在无任务可调度时，就运行空闲任务，其优先级最低。任务被创建时，需要为任务指定执行体入口地址、栈大小、优先级等信息，创建过程中内核为任务分配任务...
函数计算节点
函数是调度与运行的基本单位，是一段代码的处理逻辑。您需根据函数计算提供的函数接口形式编写代码，并将代码以函数的形式部署到函数计算进行应用。创建函数，详情请参见 创建函数。背景信息 函数计算 是一款事件驱动的全托管计算服务，...
调度概述
本文介绍弹性调度、任务调度、异构资源调度、负载感知调度和精细化调度的主要功能。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和ECI，以及不同的付费类型如包年...
产品功能
通过SchedulerX可以管理定时调度任务、查询任务执行记录和运行日志。本文介绍SchedulerX调度、执行和运维三个方面的功能。定时调度 Crontab 支持Unix Crontab表达式，不支持秒级别调度。更多信息，请参见 Cron。Fixed rate Crontab必须被60...
概念原理
例如，“对账”任务的处理步骤是：下载银行的清算文件>根据约定格式解析文件>文件数据与机构日间交易数据核对>结果处理（差错账生成及处理）。每一个步骤可以由对应的 handler 单独执行。任务分片 任务分片功能适用于执行时间很长的任务。...
设置调度器参数
调度器是集群上调度作业的软件，负责分发作业、处理作业优先级、按需分配计算节点资源（如vCPU、内存、节点个数）等。您可以根据作业大小，预估使用的节点资源和作业完成时间，设置集群的调度器参数，从而提高资源使用率。本文介绍如何在...
PAI-TF概述
MaxCompute全局计算调度服务能够将PAI-TF作业自动调度至相应的GPU集群，并将基于CPU集群的数据预处理作业和基于GPU集群的模型训练作业连接起来。GPU卡映射 PAI-TF支持将不同算子（Operators）指定至特定的CPU或GPU上。基于GPU卡映射，您...
概述
任务调度 TS（Task Scheduler）提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化对金融企业不同业务系统的任务进行统一的调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和...
CPU拓扑感知调度
Kubernetes虽然有CPU Manager解决方案处理以上问题，但是因为CPU Manager特性是节点级别的CPU调度选择，所以无法在集群维度中选择最优的CPU Core组合。同时CPU Manager特性要求Pod是Guaranteed时（Pod中的每个容器必须指定CPU请求和CPU限制...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务...
集群概述
调度服务：主要作用是运行PBS或Slurm等调度工具的服务端，处理作业提交、管理调度等。域账号服务：集中管理E-HPC集群内用户信息。重要 管控节点负责作业的管理调度和域账号解析，请勿在管控节点进行编译软件、上传下载打包数据等操作，以免...
创建安全沙箱应用
说明 应用非亲和性调度的设置方式与亲和性调度相同，但是相同的调度规则代表的意思不同，请根据使用场景进行选择。调度容忍 容忍被应用于Pod，允许这个Pod被调度到相对应的污点上。调度到虚拟节点 设置是否调度到虚拟节点。如果您集群中...
- 产品推荐
- 这些文档可能帮助您