文档修订记录
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，...
ConfigSchedruleOnDemand-修改代播实例的调度规则
修改代播实例的调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
CreateSchedruleOnDemand-为代播实例创建一条调度规则
为代播实例创建一条调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
自定义弹性资源优先级调度
自定义弹性资源优先级调度是阿里云提供的弹性调度策略。您可以在应用发布或扩容过程中，自定义资源策略（ResourcePolicy），设置应用实例Pod被调度到不同类型节点资源的顺序。同时，在缩容过程中按照原调度顺序逆序缩容。重要 自调度器版本...
SetSchedulerInfo-设置调度器信息
为指定集群设置调度器配置信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
GetSchedulerInfo-查询指定集群的调度器配置
调用GetSchedulerInfo查询指定集群的调度信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
RunServiceSchedule-执行设备服务调度
调用RunServiceSchedule根据客户ID&IP基本信息，为终端设备最优调度空闲资源（实例设备/容器POD），并完成虚拟设备环境的初始化。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
使用负载热点打散重调度
ack-koordinator组件提供负载热点打散重调度能力，可以感知集群内节点负载的变化，自动地优化超过负载水位安全阈值的节点，防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...
RDS增量数据同步至MaxCompute
背景信息 根据需要同步的数据在写入后是否发生变化，分为恒定的存量数据（通常是日志数据）和持续更新的数据（例如人员表中，人员的状态会发生变化）。根据幂等性原则（一个任务多次运行的结果一致，则该任务支持重跑调度。如果该任务出现...
RDS增量数据同步至MaxCompute
背景信息 根据需要同步的数据在写入后是否发生变化，分为恒定的存量数据（通常是日志数据）和持续更新的数据（例如人员表中，人员的状态会发生变化）。根据幂等性原则（一个任务多次运行的结果一致，则该任务支持重跑调度。如果该任务出现...
消息 Mesh
消息 Mesh 流量调度 消息 Mesh 的流量调度，示例如下：流量调度流程说明如下：控制平面会将与流量调度相关的规则下发至 MOSN，规则主要包含该应用下所有容器节点的 IP 地址与流量权重，这是能够进行精细化流量调度的前提。当 MOSN 收到消息...
离线同步数据质量排查
检查数据同步任务的调度变量表达式，即调度参数配置是否符合预期，调度时参数替换值是否符合预期。数据类型、时区问题 您的源头表数据类型、数据范围和目标表不一致，导致数据非预期的截断，或者数据写出脏数据失败。数据源头和目标端的...
组件中心
任务调度 提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一的调度和全方位的监控运维管理。消息队列 在蚂蚁集团关键链路中历经十年实战打磨，是一款具备高可靠、...
产品优势
一直秉承引领和拥抱业界先进标准和实践，同时亦能满足传统金融架构的平滑迁移、融合适配，以稳妥应对业务升级变更，并积极应对金融交易系统所面临的服务和数据扩展性、事务一致性、秒级容灾、弹性供给与调度等关键技术挑战。微服务平台 ...
数据开发：开发者
本文以使用MaxCompute数据源，在DataWorks上运行MaxCompute作业任务为例，为您介绍开发人员如何使用数据开发（DataStudio）创建一个周期调度任务，帮助您快速了解数据开发（DataStudio）模块的基本使用。前提条件 已完成开发前的环境准备，...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
调度周期：年调度
年调度是指调度任务在每年的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每年一月的最后一天执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，年调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回...
Dataphin天调度任务如何依赖小时调度任务
概述 本文为您介绍Dataphin中天调度任务依赖小时任务调度是如何调度的。详细信息 判断下游天任务与上游小时任务是否是同周期。同周期：判断上游小时任务是否是自依赖：上游小时任务如果不是自依赖（即小时任务本身没有配置依赖上周期）,则...
调度周期：周调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。配置示例 配置路径 您需要进入数据开发节点的编辑页面，...
调度概述
功能 描述 参考文档 Gang scheduling All-or-Nothing作业要求所有的任务在同一时间被调度，如果只是部分任务启动的话，启动的任务将持续等待剩余的任务被调度。在极端情况下，所有作业都处于挂起状态，从而导致死锁。为了解决这个问题，...
其他问题
当两个节点的调度周期不同时，即上游节点5分钟调度一次，下游节点20分钟调度一次，下游节点如何获取数据？为何周期调度中某个节点的实例实际运行时间和计划时间有差异？任务执行是按照业务连线的先后顺序执行，即当前一节点运行结束，后一...
调度周期：月调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点的调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。月调度支持将 指定时间 配置为 每月最后一天，则每...
Dataphin补数据任务空跑调度了是什么原因
补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度日期就是20221001，而调度周期是月调度，并没有包含每个月的1日，所以补数据选择20220930时任务是空跑运行的。解决方案 在调度...
使用负载感知调度
ACK集群Pro版 调度器的负载感知调度功能会根据节点的实际负载情况，将Pod优先调度到负载较低的节点，以实现节点负载均衡，降低节点故障风险。前提条件 已安装ack-koordinator组件，且版本为1.1.1-ack.1及以上。具体操作，请参见 ack-...
产品相关问题
任务调度的核心功能是什么？分布式调度：提高系统的可用性、伸缩性，且调度与业务的分离，让研发更专注业务逻辑的开发。多种任务类型：简单任务，集群任务，消息任务，流式任务，满足不同场景需求。丰富的管理功能：包括定时触发、事件触发...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
产品计费
微服务平台 消息队列 持续交付 数据访问代理 任务调度 API 网关 实时监控 RMS 说明 RMS 不仅提供按量付费的付款方式，同时为您提供更灵活优惠的预付费资源包。更多信息，请参见 RMS 计费项概述。计费规则 微服务平台 微服务平台的计费维度...
使用ECI弹性调度
ECI弹性调度是阿里云提供的弹性调度策略。您可以在部署服务时通过添加Annotations来声明只使用ECS或ECI弹性资源，或者是在ECS资源不足时自动申请ECI资源。通过ECI弹性调度可以满足您在不同工作负载的场景下对弹性资源的不同需求。本文介绍...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
工作原理
本文介绍文本分析功能的背景信息、功能介绍、基本概念、调度与执行场景、使用建议等信息。背景信息 服务在运行过程中会生成大量的日志，包括系统日志和业务日志等。日志被广泛地应用在系统监控和故障定位中，传统的日志分析手段以分析日志...
UpdateTaskFlowSchedule-更新任务流调度配置
调用UpdateTaskFlowSchedule接口，更新任务流调度配置。接口说明 该接口用于更新编辑态任务流的调度设置。可配置 定时调度、周期调度、事件调度；其中 定时调度可配置调度一次或周期调度，事件调度可配置的订阅包括任务流和任务流节点。...
调度Pod到x86架构的虚拟节点
对于 ACK Serverless集群，所有Pod均运行在虚拟节点（默认x86架构）上，无需进行调度；对于ACK集群，即混合使用标准节点（ECS）和虚拟节点（ECI，基于VK）的模式下，默认会将Pod调度到ECS节点，您可以根据需要将Pod调度到虚拟节点。本文...
创建SMC迁移任务
名称 含义 说明 是否加入分组调度 是否加入调度组 是：可以将任务加入状态为 开启 的调度组，CMH会按照调度规则自动调度。否：不加入调度组，提交后任务会立刻开始执行。查看迁移任务 迁移任务发起后，您可以点击源端资源ID旁边的箭头，...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
阿里云CDN的五大竞争力
基于内容调度，提高访问命中率：在大文件下载和视频点播这两个应用场景上经常使用302调度这种基于内容的调度技术，302调度是一种中心调度方案，用户在请求某一个资源的时候，在完成域名DNS解析之后，用户请求将会先访问到中心调度系统上，...
删除流量调度策略
调用DeleteCenInterRegionTrafficQosPolicy接口删除流量调度策略。接口说明 删除流量调度策略前，需要删除流量调度策略下除默认队列以外的所有队列。具体操作，请参见 DeleteCenInterRegionTrafficQosQueue。...
BUILD
配置BUILD调度优先级 BUILD调度是按照单表某个一级分区新增数据量排序下发任务，新增数据量大的分区先下发任务，根据下发时间的先后排序执行任务。当需要按业务紧急程度调度BUILD任务时，可以通过Hint或者 SET ADB_CONFIG 调整单表或多表...
- 产品推荐
- 这些文档可能帮助您