等待资源
为什么会出现等待资源？为什么任务一直在等待gateway调度资源？为什么数据集成任务一直显示wait？为什么会出现等待资源？问题现象 调度将任务下发到对应执行引擎上，此过程可能会出现以下等待资源问题：等待调度资源组。数据集成任务等待...
数据集成侧同步任务配置
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。后续步骤 完成任务配置后，您可以对已创建的任务进行管理、执行加减表操作，或对任务...
订阅常见问题
调度状态会按照设置的时间定时发送邮件，调度状态下会出现邮件发送成功或者失败的现象。邮件订阅发送失败，日志信息提示“has no valid receiver”。邮件发送对象未绑定邮箱。您需要登录 Quick BI控制台，在个人设置中绑定邮箱。
补数据
为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成了多个实例？为什么进行大量补数据操作时，会出现等待资源情况（实例显示黄色，实例状态为等待资源）？为什么补数据报错调起的节点运行时间不...
提交节点报错：当前节点依赖的父节点输出名不存在
不是DataWorks每天调度产出的表数据，是不需要设置节点依赖关系的，这类表依赖可以删除，删除后提交节点时，会出现血缘关系与调度依赖配置不一致的提示，您可确认一下，是否除了删除的非周期性生成数据表的依赖关系外，有没有其他血缘与...
BUILD
即某任务在该时间内调度，会出现因执行时间较长，超出该时间段的情况。示例 配置0~6点和18~24点调度BUILD任务。SET ADB_CONFIG RC_CSTORE_BUILD_SCHEDULE_PERIOD=`0,6;18,24`;配置BUILD调度优先级 BUILD调度是按照单表某个一级分区新增数据...
添加安全加速规则
建议您在修改DNS解析前，先通过修改本地计算机的 hosts 文件配置，验证流量调度规则，避免因回源策略不一致出现不兼容问题。例如，在CDN和高防联动且回源到OSS的场景，由于CDN回源支持修改 回源HOST，而DDoS高防不支持，导致发生攻击自动...
使用限制
注意事项 在使用DMS任务编排功能时，可能会出现任务调度延迟或由于SQL及脚本缺少幂等性而影响下游数据正确性的情况。如下为您说明出现这种情况的场景以及处理方案。任务调度延迟 在每日凌晨和每小时整点的任务调度高峰期，可能会出现任务...
Dataphin调度任务运行提示“taskrun:XXX is idle，...
问题描述 Dataphin调度任务运行提示“taskrun:XXX is ...问题原因 月周期任务非执行时间调度，会空跑，自动将状态设置为成功。正常功能。解决方案 如果某个空跑时间周期任务有数据更新，需要实际执行代码，可以补数据完成。适用于 Dataphin
DCDN节点运维下线说明
异常情况监测：阿里云DCDN节点也可能会因为一些少量的异常情况（例如：运营商线路故障、数据中心机房故障等）而出现计划外的下线。对于这一类问题，阿里云DCDN产品的调度系统提供了对所有节点的探测监控，一旦发现节点异常下线，会实时把...
调度参数
本文为您介绍调度参数的相关问题。调度参数典型场景 调度参数往前取一个小时，如何处理跨天参数替换的问题 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 节点定时时间为每天20:00，节点内参数取值为定时时间...
时间属性配置说明
非调度时间任务会空跑 DataWorks上非每天调度的任务（例如周、月调度的任务）在非调度时间内会 空跑，当到达任务定义的调度时间后立即返回成功状态。若下游存在日调度任务，会调起该下游日调度任务正常执行。即上游空跑，下游调度任务正常...
云产品联动
云产品联动表示通过自定义规则，联动使用DDoS高防与阿里云公网IP资源，解决网站业务接入高防防护后，正常业务访问延时增加的问题。前提条件 业务使用阿里云公网IP资源，具体包括拥有公网IP的云服务器ECS或负载均衡SLB、弹性公网IP、Web应用...
服务端发布记录
本文介绍分布式任务调度SchedulerX产品发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的发布动态。发布记录 2024-03-27 功能名称 变更类型 功能描述 相关文档 日志服务 优化 支持一次性任务执行完成、任务...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务...
文档修订记录
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，...
使用负载感知调度
ACK集群Pro版 调度器的负载感知调度功能会根据节点的实际负载情况，将Pod优先调度到负载较低的节点，以实现节点负载均衡，降低节点故障风险。前提条件 已安装ack-koordinator组件，且版本为1.1.1-ack.1及以上。具体操作，请参见 ack-...
依赖关系
调度依赖配置常见问题 提交节点报错：当前节点依赖的父节点输出名不存在 提交节点时提示：输入输出和代码血缘分析不匹配 为什么自动解析的父节点名会报依赖的父节点输出（表）不存在？为什么有些节点的本节点的输出中，下游节点名称、下游...
强弱依赖治理概述
如果商品详情页对下游依赖是强依赖，例如当下游依赖 库存、优惠、物流 出现故障的时候，将导致业务流程无法推进，会出现类似如下的说明，严重影响用户体验。如果商品详情页对下游依赖是弱依赖，例如当下游依赖 评价、店铺 等系统出现故障的...
设置Pod故障处理策略
如果Pod status.reason为空（fail-fast一般不会出现该情况），可以查看Pod status condition，通过ContainerInstanceCreated的status确认调度状态。如果ContainerInstanceCreated为True，则表示ECI调度成功，是Sandbox创建异常。如果...
工作流编辑
调度开启后，工作流编辑画布上方会出现 调度中 的状态提示。停止：调度状态为停止。时间属性调度 开始时间 工作流调度的开始时间。结束时间 可选，工作流调度的结束时间。调度周期 工作流调度的周期。CRON表达式 工作流调度周期的CRON表达...
使用 Gang Scheduling
功能介绍 作业（Job）一般会创建多个 Pod，并且这些 Pod 需要协调一致地启动运行。这要求在调度时一定要按照一组 Pod 分配资源，保障这一组 Pod 都可以申请到资源，或者一旦有一个 Pod 拿不到资源就认为整组 Pod 调度失败。这也就是调度器...
E-HPC集群调度器插件
当您的业务需要迁移到云上时，往往需要将云下的调度器集成至云上，但因HPC行业调度器众多，且不同调度器有多种定制版本，会出现E-HPC内置调度器无法满足的情况。因此，E-HPC提供了调度器插件作为平台的外扩组件，您可以使用E-HPC提供的调度...
常见问题
本文介绍自建Kubernetes集群部署VNode来使用ECI的常见问题。网络相关问题 云上服务如何访问线下IDC的Pod IP？线下IDC服务如何访问云上的Pod IP？内网域名无法解析怎么办？线下IDC服务如何访问云上服务？镜像拉取相关问题 使用自建的容器...
HTTP任务
定时参数说明如下：配置项 说明 时间类型 none：无调度方式，一般通过工作流触发。cron：Cron表达式。api：通过API触发。fixed_rate：固定频率。second_delay：秒级固定延迟。onetime：一次性任务。cron表达式（仅适用于 cron 时间类型）...
工作流使用案例
开启后，工作流编辑画布上方会出现调度中的状态提示。时间属性调度 设置工作流调度的开始时间和调度周期，在此时间范围内，系统会根据您设置的周期执行工作流。依赖属性调度 选择当前工作流的前续工作流。当前续工作流执行完成后，当前工作...
使用Gang scheduling
例如，当您提交一个包含多个任务的批量Job时，可能会出现多个任务全部调度成功或者都调度失败的情况。这种All-or-Nothing调度场景，就被称作Gang scheduling。ACK将一组需要同时调度的Pod称为PodGroup。您在提交All-or-Nothing作业时，可以...
使用Gang scheduling
例如，当您提交一个包含多个任务的批量Job时，可能会出现多个任务全部调度成功或者都调度失败的情况。这种All-or-Nothing调度场景，就被称作Gang scheduling。ACK将一组需要同时调度的Pod称为PodGroup。您在提交All-or-Nothing作业时，可以...
使用负载热点打散重调度
ack-koordinator组件提供负载热点打散重调度能力，可以感知集群内节点负载的变化，自动地优化超过负载水位安全阈值的节点，防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...
出海加速
建议您在修改DNS解析前，先通过修改本地计算机的 hosts 文件配置，验证流量调度规则，避免因回源策略不一致出现不兼容问题。例如，在CDN和高防联动且回源到OSS的场景，由于CDN回源支持修改 回源HOST，而DDoS高防不支持，导致发生攻击自动...
DDoS高防和CDN或DCDN联动
当网站既需要访问加速，又需要进行DDoS防护时，可以使用DDoS高防和加速产品...相关文档 什么是阿里云CDN 什么是DCDN 阿里云黑洞策略 常见问题 CDN或DCDN能否和DDoS高防串联？域名既使用了CDN或DCDN加速，又使用了DDoS高防，如何配置DNS解析？
调度概述
功能 描述 参考文档 负载感知调度 在调度过程中，通过参考节点负载的历史统计，将Pod优先调度到负载较低的节点，实现节点负载均衡的目标，避免出现因单个节点负载过高而导致的应用程序或节点故障。使用负载感知调度 使用负载热点打散重调度...
任务常见问题
本文介绍如何处理使用SchedulerX过程中的一些任务管理问题。Spring应用找不到Bean怎么办？通过应用管理连接机器查看启动方式，确保为Spring或者Spring Boot方式。JobProcessor 要注入为 bean，比如加@Component 注解。排查Pom依赖如果依赖 ...
RDS增量数据同步至MaxCompute
背景信息 根据需要同步的数据在写入后是否发生变化，分为恒定的存量数据（通常是日志数据）和持续更新的数据（例如人员表中，人员的状态会发生变化）。根据幂等性原则（一个任务多次运行的结果一致，则该任务支持重跑调度。如果该任务出现...
RDS增量数据同步至MaxCompute
背景信息 根据需要同步的数据在写入后是否发生变化，分为恒定的存量数据（通常是日志数据）和持续更新的数据（例如人员表中，人员的状态会发生变化）。根据幂等性原则（一个任务多次运行的结果一致，则该任务支持重跑调度。如果该任务出现...
创建定时调度
说明 如果您使用的时区存在夏令时和冬令时的区分，在夏令时和冬令时切换的过程中可能会出现重复执行或少执行的情况，建议将执行时间设置在夏令时和冬令时切换的时间段外。下表为时间表达式常用示例。例如您希望工作流在北京时间12:00被调度...
阿里云CDN的五大竞争力
源站可靠性：可以配置主备源站，阿里云CDN能够持续监测主备源站的状态，在主站出现故障的时候能够及时切换到备站。价格竞争力 性能和技术强大的同时，阿里云CDN的价格同样很有竞争力：计费方式灵活多样，详细信息，请参见 计费概述。预付费...
常见问题
本文汇总了使用E-HPC时的常见问题。集群相关 为什么某些地域无法创建E-HPC集群？如果您在E-HPC支持的地域和可用区下，不能创建E-HPC集群。可能是由于该地域不支持创建集群所需的相关资源，或者资源库存不足。例如：该地域不支持创建NAS文件...
如何使单应用支持十万以上的定时任务
大部分场景下使用一个MapReduce分布式任务是可以解决的，但是如果由于报警规则的复杂程度不同而导致执行时间差异较大时，有可能出现一个报警子任务没有执行完而阻塞整个任务下次调度。所以，可以给每个报警规则配置一个定时单机任务。当...
存储多可用区部署的推荐配置
通过存储多可用区部署优化，可以帮您最大限度地减少应用发布中断，确保关键业务系统和应用在各种故障情况下能持续运行。本文介绍存储在多可用区部署时的推荐配置。背景信息 Kubernetes强大的容器编排能力，使得用户在Kubernetes上构建大...
- 产品推荐
- 这些文档可能帮助您