调度概述
功能 描述 参考文档 Gang scheduling All-or-Nothing作业要求所有的任务在同一时间被调度，如果只是部分任务启动的话，启动的任务将持续等待剩余的任务被调度。在极端情况下，所有作业都处于挂起状态，从而导致死锁。为了解决这个问题，...
Dataphin周期任务已修改为空跑任务，为什么还会正常...
问题描述 周期任务从正常调度修改为空跑任务并发布后，周期实例第二天仍按照正常调度来运行，这是什么原因呢？问题原因 首先明确概念：正常调度指按照配置的调度周期和起调时间，并正常执行。空跑调度指按照调度周期的时间配置调度，但都是...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
订阅常见问题
邮件订阅时调度状态提示发送周期已设置完成，但是为什么没有收到订阅邮件？调度状态指是否会在周期内执行发送任务，未调度在周期内不会发送邮件。调度状态会按照设置的时间定时发送邮件，调度状态下会出现邮件发送成功或者失败的现象。邮件...
调度至Arm虚拟节点
preferredDuringSchedulingIgnoredDuringExecution:weight:1 preference:matchExpressions:key:kubernetes.io/arch operator:In values:amd64 containers:name:my-container image:nginx 常见问题 为什么配置nodeAffinity优先将Pod调度到...
调度至Arm虚拟节点
preferredDuringSchedulingIgnoredDuringExecution:weight:1 preference:matchExpressions:key:kubernetes.io/arch operator:In values:amd64 containers:name:my-container image:nginx 常见问题 为什么配置nodeAffinity优先将Pod调度到...
产品计费
微服务平台 消息队列 持续交付 数据访问代理 任务调度 API 网关 实时监控 RMS 说明 RMS 不仅提供按量付费的付款方式，同时为您提供更灵活优惠的预付费资源包。更多信息，请参见 RMS 计费项概述。计费规则 微服务平台 微服务平台的计费维度...
工作原理
本文介绍文本分析功能的背景信息、功能介绍、基本概念、调度与执行场景、使用建议等信息。背景信息 服务在运行过程中会生成大量的日志，包括系统日志和业务日志等。日志被广泛地应用在系统监控和故障定位中，传统的日志分析手段以分析日志...
常见问题
为什么实例停止之后还会执行？如何进行任务管理高级配置？机器繁忙（all workers are busy）该怎么办？任务常见问题 如何接入链路追踪？任务常见问题 应用发布过程，任务执行卡住或变慢 单击运行一次后，系统提示输入实例参数，如何处理？...
索引
如何进行秒级别调度？某个时间点没有调度怎么办？SchedulerX如何设置超时时间？为什么实例停止之后还会执行？如何进行任务管理高级配置？机器繁忙该怎么办？任务执行失败，且没有错误信息 如何接入链路追踪？如何设置一次性任务？应用发布...
时间属性配置说明
时间属性用于定义节点在生产环境的周期调度方式。您可通过调度配置的时间属性，配置节点生成周期实例的方式，实例调度周期与执行时间，是否支持重跑，任务执行超过多长时间自动退出等。本文为您介绍如何配置节点的调度时间属性。背景信息 ...
查询定时调度
本文介绍如何通过控制台或命令行工具查看单个定时调度或定时调度列表。使用控制台查看定时调度 登录 Serverless工作流控制台。在左侧导航栏，单击 流程。在流程列表中单击目标流程的流程名称。单击 定时调度 页签。您可以查看定时调度列表...
加工数据
配置定时调度时间：配置 调度周期 为日，无需单独配置当前节点 定时调度时间，当前节点每日调起时间由业务流程根节点WorkShop的定时调度时间控制，即每日00:15后才会调度。配置依赖关系：通过 代码自动解析 自动将产出ods_raw_log_d表数据...
加工数据
配置定时调度时间：配置 调度周期 为日，无需单独配置当前节点 定时调度时间，当前节点每日调起时间由业务流程根节点WorkShop的定时调度时间控制，即每日00:15后才会调度。配置依赖关系：通过 代码自动解析 自动将产出ods_raw_log_d表数据...
设置调度依赖最佳实践
配置调度依赖时，需要根据本节点输出名称作为关联项来给任务间设置依赖关系。本文将为您介绍如何配置任务调度依赖的输入输出。配置任务的本节点输入 您可以通过以下两种方式配置本节点输入：使用代码自动解析功能，解析出任务的依赖。手动...
运维中心入门
本文以周期调度任务的运维为例，通过确认调度任务的配置是否符合预期、使用补数据计算历史时间段的数据、配置任务的智能监控规则，保障任务后续可以正常调度，为您介绍运维中心模块的基本使用。前提条件 根据 数据开发：开发者 文档创建 ...
产品功能
SchedulerX主要提供调度、执行和运维三方面的功能。多种表达式的定时调度 Crontab：支持Unix Crontab表达式，详情请参见 Cron。不支持秒级别。Fixed rate：Crontab必须被60整除，不支持其它数量级时间间隔的任务，如每隔40分钟的定时任务。...
如何将任务调度应用优雅下线
本文介绍如何将任务调度应用优雅下线。背景信息 在实际业务场景下，定时任务持续地按固定频率在应用进程中执行。当应用在发布重启时，进程需暂时下线。如果直接关闭应用，正在进行中的定时任务将被中断，可能导致数据不完整或其他问题。为...
补数据
补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成...
创建定时调度
Serverless工作流 支持通过配置Cron表达式来定时调度工作流的执行。本文介绍如何为 Serverless工作流 创建定时调度。前提条件 成功创建工作流 使用控制台创建定时调度 登录 Serverless工作流控制台。在左侧导航栏，单击 流程。在流程列表中...
表结构配置管理
查看调度任务 对于已设置调度任务的表结构配置，选择>查看调度任务，可以查看其所属调度任务的执行记录，如下图所示。单击 图标，可展开该表的执行情况。调度相关说明，请参见 调度任务。移除表结构配置 单击 移除，确认移除后，将移除该表...
多终端节点组流量调配原理及应用场景
为保证应用能持续稳定的对外提供服务，要求北京或上海其中任意一个地域的应用出现异常时，可将异常地域的访问流量自动切换至另一个运行正常的地域。您可以分别为北京和上海地域的终端节点组开启健康检查，当上海地域终端节点组健康检查出现...
任务未运行
正常调度任务运行需要有多个条件：调度资源、定时时间、上游节点运行状态、调度属性为正常调度（未被冻结）。序号 状态类型 状态标识 运行流程图 1 运行成功状态 2 未运行状态 3 运行失败状态 4 正在运行状态 5 等待状态 6 暂停/冻结状态 ...
如何将任务调度应用优雅下线
本文介绍如何将任务调度应用优雅下线。背景信息 在实际业务场景下，定时任务持续地按固定频率在应用进程中执行。当应用在发布重启时，进程需暂时下线。如果直接关闭应用，正在进行中的定时任务将被中断，可能导致数据不完整或其他问题。为...
Data Lake Analytics节点
背景信息 Data Lake Analytics节点用于接入阿里云产品Data Lake Analytics，详情请参见 什么是Data Lake Analytics。重要 Data Lake Analytics节点仅支持使用独享调度资源组执行任务，详情请参见 新增和使用独享调度资源组。操作步骤 进入 ...
kube-scheduler组件监控
Scheduler尝试成功调度Pod次数 histogram_quantile($quantile,sum(rate(scheduler_pod_scheduling_attempts_bucket{job="ack-scheduler"}[$interval]))by(pod,le))调度器尝试调度Pod的次数，Bucket阈值为1、2、4、8、16。资源 可观测性展示...
RDS增量数据同步至MaxCompute
背景信息 根据需要同步的数据在写入后是否发生变化，分为恒定的存量数据（通常是日志数据）和持续更新的数据（例如人员表中，人员的状态会发生变化）。根据幂等性原则（一个任务多次运行的结果一致，则该任务支持重跑调度。如果该任务出现...
RDS增量数据同步至MaxCompute
背景信息 根据需要同步的数据在写入后是否发生变化，分为恒定的存量数据（通常是日志数据）和持续更新的数据（例如人员表中，人员的状态会发生变化）。根据幂等性原则（一个任务多次运行的结果一致，则该任务支持重跑调度。如果该任务出现...
Cron
6#3 每月的第三个周五10:15触发 Cron定时调度配置示例 在创建调度任务时可以使用Cron定时调度，创建调度任务的详细操作步骤请参见 创建调度任务。本文仅介绍在创建调度任务时如何配置Cron定时调度。进入 定时配置 页签，详情请参见 创建...
如何使用定时任务的灰度
您也可以使用Jenkins等持续集成软件，将手动运行一次实现自动化，如下图所示：用户侧节点如何配置label 程序启动时设置 应用程序启动时，可以通过Properties设置Label，以Springboot工程为例。spring.schedulerx2.label=${label} 容器服务...
同时部署DDoS原生防护企业版和DDoS高防（中国内地）
您可以同时部署DDoS原生防护企业版和DDoS高防（中国内地），通过DDoS高防流量调度器的阶梯防护联动规则，保证正常业务流畅体验的前提下增强DDoS防护能力。本文介绍了同时部署DDoS原生防护企业版和DDoS高防（中国内地）的配置方法。背景信息...
DDoS高防和CDN或DCDN联动
通过流量调度器的智能调度，业务正常访问期间，流量不经过DDoS高防清洗就近使用加速产品的节点加速，仅在业务被攻击时流量切换到DDoS高防进行清洗，由高防将清洁流量直接转发给源站，保证业务平稳运行。本文介绍如何配置DDoS高防和加速产品...
功能相关问题
任务互斥的作用是什么，是否会造成任务堆叠？互斥的任务，即处在“执行中”或“暂停”状态的任务，即使已经达到下一个任务触发时间点，仍无法再次触发。本次调度状态以“跳过”标记。因此，并不会造成任务堆叠。任务分组的作用是什么？根据...
智能监控概述
周期任务状态监控 DataWorks每晚根据 周期任务 生成第二天待自动调度运行的 周期实例，所以为保障周期任务可以正常产生周期实例并且自动调度运行，DataWorks内置了全局报警规则（非空间级别报警规则）来对 周期任务 的状态进行监控，如有...
应用管理
创建应用 在创建调度任务前，您需要先创建应用。步骤一：基本配置 登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，单击 应用管理。在 应用管理 页面，选择目标命名空间然后单击 创建应用。在 基本配置 向导页，输入 应用名...
创建CDH Impala节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
创建CDH Hive节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
创建CDH Presto节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
常见问题
调度 Pod显示已调度至virtual-kubelet，但一直未成功，怎么办？ACK+Virtual Node的场景下，kube-proxy、coredns被调度到了虚拟节点，启动失败怎么办？网络 如何修改ECI Pod的ClusterDomain？在ACK Serverless集群的Ingress中设置了鉴权，但...
- 产品推荐
- 这些文档可能帮助您