数据开发常见问题
调度依赖常见问题 配置须知 什么是调度依赖？为什么要设置调度依赖？DataWorks上如何设置调度依赖？下游任务依赖上游任务的运行规则是什么？节点的输出名称的作用是什么？一个节点可以有多个输出名称吗？哪些场景不支持设置调度依赖？典型...
依赖关系
配置调度依赖前您需先了解以下内容 什么是调度依赖 为什么要设置调度依赖 DataWorks上如何设置调度依赖？哪些场景不支持设置调度依赖？不需要依赖的表如何删除？调度依赖配置常见问题 提交节点报错：当前节点依赖的父节点输出名不存在 提交...
Dataphin补数据任务空跑调度了是什么原因
问题描述 Dataphin补数据任务空跑调度了是什么原因？问题原因 按当前的调度配置，补20220930（月末）的数据空跑了是正常的。补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度...
SetSchedulerInfo-设置调度器信息
为指定集群设置调度器配置信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
概述
更多任务调度的详情，请参见 什么是任务调度。数据访问代理 SOFAStack 数据访问代理是金融级分布式数据库中间件，用于解决海量请求下数据访问的瓶颈及数据库的容灾问题，提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。数据...
OpenAPI问题
接口限流策略是什么?每分钟可以调用几次?每个接口，单用户1分钟100次。用API创建K8s任务，控制台报错无法打开页面怎么办？K8s任务必须配置xAttrs属性。更多信息，请参见 Demo。支持API创建工作流吗？暂不支持。API触发任务，可以指定单次...
GetSchedulerInfo-查询指定集群的调度器配置
调用GetSchedulerInfo查询指定集群的调度信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
创建SMC迁移任务
您需要在弹窗中确认相关信息，并选择是否加入调度组（什么是调度组？然后点击 提交，即可发起SMC迁移。名称 含义 说明 是否加入分组调度 是否加入调度组 是：可以将任务加入状态为 开启 的调度组，CMH会按照调度规则自动调度。否：不加入...
Dataphin天调度任务如何依赖小时调度任务
概述 本文为您介绍Dataphin中天调度任务依赖小时任务调度是如何调度的。详细信息 判断下游天任务与上游小时任务是否是同周期。同周期：判断上游小时任务是否是自依赖：上游小时任务如果不是自依赖（即小时任务本身没有配置依赖上周期）,则...
使用ECI弹性调度
ECI弹性调度是阿里云提供的弹性调度策略。您可以在部署服务时通过添加Annotations来声明只使用ECS或ECI弹性资源，或者是在ECS资源不足时自动申请ECI资源。通过ECI弹性调度可以满足您在不同工作负载的场景下对弹性资源的不同需求。本文介绍...
YARN调度器
基础架构&核心流程 CapacityScheduler的主调度流程有三种触发方式：节点心跳驱动（Node-Heartbeat Driven）：是面向节点的局部调度（当调度器收到每个节点心跳时触发，为当前节点选择可调度的应用），受限于心跳间隔时间与接近随机调度，...
调度Pod到x86架构的虚拟节点
对于 ACK Serverless集群，所有Pod均运行在虚拟节点（默认x86架构）上，无需进行调度；对于ACK集群，即混合使用标准节点（ECS）和虚拟节点（ECI，基于VK）的模式下，默认会将Pod调度到ECS节点，您可以根据需要将Pod调度到虚拟节点。本文...
通过ack-co-scheduler组件实现协同调度
与原生的Kubernetes调度器相比，容器服务ACK的调度器扩展出更多其他功能，例如Gang Scheduling、CPU拓扑感知、ECI弹性调度等。本文介绍通过为注册集群安装ack-co-scheduler组件的方式，以实现在您的本地集群中使用阿里云容器服务ACK的调度...
BUILD
配置BUILD调度优先级 BUILD调度是按照单表某个一级分区新增数据量排序下发任务，新增数据量大的分区先下发任务，根据下发时间的先后排序执行任务。当需要按业务紧急程度调度BUILD任务时，可以通过Hint或者 SET ADB_CONFIG 调整单表或多表...
ConfigSchedruleOnDemand-修改代播实例的调度规则
修改代播实例的调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
CreateSchedruleOnDemand-为代播实例创建一条调度规则
为代播实例创建一条调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
通过ack-co-scheduler实现多级弹性调度
在混合云场景下，通过多级弹性调度，可以使您线上线下混合部署的业务能更好的发挥混合云的优势，实现业务高可用，并能根据波峰波谷进行弹性资源申请等。本文介绍如何通过ack-co-scheduler进行多级弹性调度。前提条件 已创建注册集群，并将...
自定义弹性资源优先级调度
自定义弹性资源优先级调度是阿里云提供的弹性调度策略。您可以在应用发布或扩容过程中，自定义资源策略（ResourcePolicy），设置应用实例Pod被调度到不同类型节点资源的顺序。同时，在缩容过程中按照原调度顺序逆序缩容。重要 自调度器版本...
RunServiceSchedule-执行设备服务调度
调用RunServiceSchedule根据客户ID&IP基本信息，为终端设备最优调度空闲资源（实例设备/容器POD），并完成虚拟设备环境的初始化。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以...
函数计算节点
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其他类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。前提条件 已开通函数计算。您需要先开通函数计算服务后，才可在DataWorks使用函数计算...
OSS数据离线同步至MaxCompute
背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。还有多种存储类型供您选择，全面优化存储成本。数据集成支持从OSS...
OSS数据离线同步至MaxCompute
背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。还有多种存储类型供您选择，全面优化存储成本。数据集成支持从OSS...
创建业务流程
说明 由于DataWorks的调度依赖主要保障的是调度节点定时更新的表数据，通过节点调度依赖保障下游取数没有问题，所以不是DataWorks平台上调度更新的表，平台无法监控。当存在非周期性调度生产数据的表，有节点select这类表数据时，您需要...
RunInstances-批量创建实例
调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 InstanceType string 是 实例规格。ens.sn1.small InstanceChargeType string 是 实例付费方式。取值：PrePaid：预付费，包年包月。PostPaid：按量付费。...
GPU调度概述
想进一步了解：关于什么是共享GPU调度，请参见 共享GPU调度概述。关于如何开启共享GPU，请参见 安装共享GPU组件；关于如何关闭共享GPU显存隔离能力，请参见 关闭共享GPU显存隔离能力。关于如何使用共享GPU调度，请参见 运行共享GPU示例、...
共享GPU调度
进一步了解，请参见：关于什么是共享GPU调度，请参见 共享GPU调度概述。关于如何开启共享GPU调度专业版，请参见 安装共享GPU调度组件。关于如何使用共享GPU调度专业版，请参见 运行共享GPU调度示例、通过共享GPU调度实现多卡共享。若ACK...
工作流调度简介
什么是工作流调度 工作流调度（即触发器）是触发工作流执行的方式。在事件驱动的计算模型中，事件源是事件的生产者，工作流是事件的处理者，而工作流调度提供了一种集中、统一的方式来管理不同的事件源。在事件源中，当事件发生时，如果...
产品相关问题
任务调度的核心功能是什么？分布式调度：提高系统的可用性、伸缩性，且调度与业务的分离，让研发更专注业务逻辑的开发。多种任务类型：简单任务，集群任务，消息任务，流式任务，满足不同场景需求。丰富的管理功能：包括定时触发、事件触发...
DATASOURCE:FNF:Schedules
DATASOURCE:FNF:Schedules类型用于获取定时调度列表。语法 {"Type":"DATASOURCE:FNF:Schedules","Properties":{"FlowName":String } } 属性 属性名称 类型 必须 允许更新 描述 约束 FlowName String 是 是 定时调度绑定的流程名称。该名称...
无服务器弹性（ECI弹性调度）
无服务器弹性（ECI弹性调度）是阿里云提供的弹性调度策略。您可以在部署服务时通过添加Annotations来申明只使用ECS或ECI弹性资源，或者是在ECS资源不足时自动申请ECI资源。通过无服务器弹性（ECI弹性调度）可以满足您在不同工作负载的场景...
如何使单应用支持十万以上的定时任务
应用场景 常见应用场景是每个定时任务调度时间都不一样，无法通过MapReduce分布式任务解决（MapReduce分布式任务每个子任务调度时间是一致的）。物联网智能开关 智能开关可以设置定时开启、关闭，是由用户自定义设置的，所以每个开关的定时...
实现任务调度
相关内容，请参见 什么是分布式任务调度SchedulerX。在 application.properties 文件中添加您阿里云账号的AccessKey ID和AccessKey Secret的配置。spring.cloud.alicloud.access-key=xxxxx spring.cloud.alicloud.secret-key=xxxxx 后续...
其他问题
当两个节点的调度周期不同时，即上游节点5分钟调度一次，下游节点20分钟调度一次，下游节点如何获取数据？为何周期调度中某个节点的实例实际运行时间和计划时间有差异？任务执行是按照业务连线的先后顺序执行，即当前一节点运行结束，后一...
补数据任务概述
更多信息，请参见 查看并管理定时调度补数据任务。手动运行：是指手动触发补数据任务的运行，一般用于临时的数据补全或验证补数据效果。对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据...
补数据任务概述
更多信息，请参见 查看并管理定时调度补数据任务。手动运行：是指手动触发补数据任务的运行，一般用于临时的数据补全或验证补数据效果。对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据...
调度周期：周调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。配置示例 配置路径 您需要进入数据开发节点的编辑页面，...
调度周期：月调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点的调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。月调度支持将 指定时间 配置为 每月最后一天，则每...
设置调度器参数
调度器是集群上调度作业的软件，负责分发作业、处理作业优先级、按需分配计算节点资源（如vCPU、内存、节点个数）等。您可以根据作业大小，预估使用的节点资源和作业完成时间，设置集群的调度器参数，从而提高资源使用率。本文介绍如何在...
使用Azkaban调度MaxCompute
背景信息 Azkaban是一套作业调度系统，可以调度Command、Hadoop MapReduce、Hive、Spark、Pig等类型作业，而且支持自定义Plugin，其中最简单而且最常用的是Command类型。更多Azkaban信息，请参见 Azkaban。您需要将待调度作业依赖的源数据...
配置调度规则
在容器服务K8s集群中创建或部署应用时，您可以根据实际需求修改应用实例的调度规则，将Pod实例尽可能部署在多个可用区和多个节点，来增强应用的可用性。本文介绍如何配置调度规则。在创建应用时配调度规则 登录 EDAS控制台，在左侧导航栏，...
- 产品推荐
- 这些文档可能帮助您