交通调度-网络流最大流问题
行业背景 交通调度是指对交通资源进行合理的调度和管理，以实现交通系统的高效运行和流量控制。如何安排调度，以帮助 提高交通运输的效率，降低成本。这个优化问题也可以运用数学规划的方法来建模和求解。例如：已知有七个站点，每个站点都...
在ACK集群部署多租户任务调度管理
在ACK集群中，企业可以通过AI套件中的任务管理工具Arena、队列调度管理系统Kube Queue、配额管理工具ElasticQuotaTree以及Prometheus监控打造企业级任务调度系统。本文将从实际案例出发自底而上地介绍如何基于ACK集群构建一个任务调度系统...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
产品相关问题
解决大规模分布式任务统一调度的问题，助力企业能够更加迅速地满足业务需求。典型的应用场景包括金融行业结息处理、日切处理、余额缓冲记账、政务数据批处理等。任务调度支持哪些任务类型？任务调度支持的基本任务类型包括：简单任务、集群...
DCDN节点运维下线说明
对于这一类问题，阿里云DCDN产品的调度系统提供了对所有节点的探测监控，一旦发现节点异常下线，会实时把对应节点上的流量调度到周边正常运行的节点上。用户侧优化措施 虽然阿里云DCDN采取了多种措施来降低节点下线对用户的影响，但是由于...
配置并使用调度参数
执行冒烟测试 查看冒烟测试日志 确认生产环境任务的调度参数配置 为避免周期调度任务运行时，由于调度参数不符合预期，导致任务运行出现问题，建议在任务发布后，前往生产运维中心的 周期任务 界面，查看生产环境下该周期任务的调度参数...
任务触发与执行问题
任务执行超时 问题现象 出现 TIMEOUT 错误。问题原因 客户端处理超时。解决方法 查看超时时间是否配置太小。建议根据任务的实际执行情况设置合理的超时时间。查看客户端错误日志 common-error.log。自定义参数不存在 问题现象 出现 javax....
调度设置
若您的任务需要周期性运行，则在配置任务的调度属性前，需先进入DataStudio的调度设置页面开启调度功能，开启后，周期任务的调度配置才会生效。同时，DataWorks支持设置周期任务默认使用的资源组，支持设置任务的默认重跑属性、重跑次数、...
代码解析结果对比
如何确认是否使用新的解析结果 节点提交时，若发现节点当前调度依赖解析结果与生产环境节点调度依赖关系的配置存在差异，请确认该节点当前的调度依赖是否符合业务需要，避免由于依赖关系变更导致产出数据出现问题。重要 若当前节点存在众多...
DMS调度XIHE SQL
解决方案：DMS任务编排 DMS的任务编排功能即可解决上述问题，它并不依赖数据库内核的事件调度能力，而是一个外部独立的任务编排与调度系统。任务编排功能的特点如下：支持多种数据库引擎（MySQL、Oracle、PostgreSQL、SQL Server等）和多种...
数据详情
右上角展示了数据的状态以及对应的可执行操作，若数据处于运行中状态且被服务引用，则会展示最新索引详情 未上线数据 运行中表的表 已下线的表 配置管理 调度配置 目前仅支持依赖数据源产出新分区的调度策略 全量更新阈值 系统提供四个维度...
概念原理
使用任务分片可以缩短任务执行时间，同时也可以解决单机计算能力上限的问题，并降低部分任务失败对整体系统的影响。任务拓扑 任务拓扑（Topology）是由许多通过事件触发的任务的集合，描述了任务依赖关系。子任务可以并发执行或根据条件...
其他常见问题
调度记录的重试问题 问题现象 在任务的调度记录里，有的记录提供了 重试 按钮，可以重试，有的则不能。问题原因 同一个任务，如果有多次执行记录，那么只有最新的执行记录是有重试选项的，因为旧的记录已经没有意义。基于消息的任务中，...
什么是阿里云CDN
链路质量系统 链路质量探测系统会实时监测缓存系统中的所有节点和链路的实时负载以及健康状况，并将结果反馈给调度系统，调度系统根据用户请求中携带的IP地址解析用户的运营商和区域归属，然后综合链路质量信息为用户分配一个最佳接入节点...
HTTPDNS调度IP的证书
问题描述 HTTPDNS调度IP的证书 解决方案 当使用HTTPS请求调度服务时，我们会提供主机名为203.107.1.1的有效证书（无论使用哪个IP请求）。适用于 HTTPDNS
基础术语
中文 英文 释义 简单...使用任务分片可以缩短任务执行时间，同时也可以解决单机计算能力上限的问题，并降低部分任务失败对整体系统的影响。Cron 表达式 Cron expression 固定格式的字符串，用来指定一个时间点或者一个重复触发的时间间隔。
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现...PyODPS常见问题：您可了解PyODPS执行过程中的常见问题，便于出现异常时快速排查解决。
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现...PyODPS常见问题：您可了解PyODPS执行过程中的常见问题，便于出现异常时快速排查解决。
开发PyODPS 2任务
DataWorks提供PyODPS 2节点类型，您可以在DataWorks上通过PyODPS语法进行PyODPS任务开发，PyODPS集成了MaxCompute的Python SDK。支持您在DataWorks的...PyODPS常见问题：您可了解PyODPS执行过程中的常见问题，便于出现异常时快速排查解决。
通过ack-co-scheduler组件实现协同调度
Gang scheduling 阿里云容器服务ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。使用以下模板向集群中提交Tensorflow分布式作业。关于如何运行Tensorflow的分布式作业，...
Java SDK
本文介绍SchedulerX产品的Java SDK发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的Java SDK发布动态。发布记录 1.11.4，2024-03-20 功能名称 变更类型 功能描述 相关文档 工作流 新增 JobContext可以获取...
历史功能发布记录（2023年）
全部 自助诊断GPU节点问题 ACK调度器支持IP感知调度和拓扑调度等功能 IP感知调度 当Pod调度到某节点上时，由于可用IP不足无法启动，该节点将被标记为缺少IP状态并被拉黑五分钟。IP感知调度可防止大量Pod由于IP不足而导致的启动失败问题。...
任务常见问题
如果以上方案无法解决问题，可以调试ThreadContainer.start方法。如果class.forName报错，class又确实存在，可能是业务方使用了某些框架，导致classLoader不一致，可以通过设置 SchedulerxWorker.setClassLoader 解决。任务失败，报错...
调度参数
本文为您介绍调度参数的相关问题。调度参数典型场景 调度参数往前取一个小时，如何处理跨天参数替换的问题 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 节点定时时间为每天20:00，节点内参数取值为定时时间...
DDoS高防和CDN或DCDN联动
通过修改本地host文件验证流量调度规则是否生效，避免因回源策略不一致出现兼容性问题。具体操作，请参见 本地验证转发配置生效。例如，在CDN和高防联动且回源到OSS的场景，由于CDN回源支持修改回源HOST，而DDoS高防不支持，导致发生攻击...
步骤二：编写SQL分析语句
本文介绍编写SQL分析语句的操作流程。前提条件 已创建SQL分析任务：您需在SQL数据分析工作台，根据业务需求，编写SQL...如果运行失败，可在 运行日志 页签下，根据报错信息，解决问题后，重新运行。后续步骤 步骤三：设置任务调度策略并发布
周期任务基本运维操作
周期任务是指在调度系统按照调度配置周期性自动调度的任务。您可以在 运维中心>周期任务 列表查看指定工作空间下的周期任务，并对任务进行运维操作，包括自动调度和手动运行周期任务、查看任务运行详情、暂停任务、下线任务等。本文为您...
CPU拓扑感知调度
Kubernetes虽然有CPU Manager解决方案处理以上问题，但是因为CPU Manager特性是节点级别的CPU调度选择，所以无法在集群维度中选择最优的CPU Core组合。同时CPU Manager特性要求Pod是Guaranteed时（Pod中的每个容器必须指定CPU请求和CPU限制...
时间属性配置说明
说明 使用重跑属性时，应尽量保证任务的幂等性（特殊任务除外），避免在任务出错重跑后，出现大量数据质量问题。例如，在ODPS SQL的开发过程中，使用 insert overwrite 语句来替代 insert into 语句。DataWorks工作空间的 调度设置 页面，...
配置离线任务调度依赖
避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数时出现问题。操作步骤 请参见 离线任务属性入口，进入离线任务 属性 配置页面。按照下图操作指引，选择您需配置调度依赖的任务，并单击 属性 进入 属性 面板。在 属性 面板...
配置离线任务调度依赖
避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数时出现问题。操作步骤 请参见 离线任务属性入口，进入离线任务 属性 配置页面。按照下图操作指引，选择您需配置调度依赖的任务，并单击 属性 进入 属性 面板。在 属性 面板...
阿里云CDN的五大竞争力
本文主要从五个方面全面介绍阿里云CDN的产品能力，帮助您更好地理解阿里云CDN产品。阿里云CDN产品主要有以下五大竞争力：产品竞争力 技术竞争力 价格竞争力 生态竞争力 ...完善的问题解决体系：您可以提交反馈建议，进行售前和售后问题咨询。
节点异常问题排查
本文介绍关于节点异常问题的诊断流程、排查思路、常见问题及解决方案。本文目录 类别 内容 诊断流程 诊断流程 常见排查方法 节点故障诊断 检查节点的详情 检查节点的状态 检查节点的事件 检查节点的诊断日志 检查节点的关键组件 检查节点的...
依赖关系
配置调度依赖前您需先了解以下内容 什么是调度依赖 为什么要设置调度依赖 DataWorks上如何设置调度依赖？哪些场景不支持设置调度依赖？不需要依赖的表如何删除？调度依赖配置常见问题 提交节点报错：当前节点依赖的父节点输出名不存在 提交...
节点异常问题排查
本文介绍关于节点异常问题的诊断流程、排查思路、常见问题及解决方案。本文目录 类别 内容 诊断流程 诊断流程 常见排查方法 节点故障诊断 检查节点的详情 检查节点的状态 检查节点的事件 检查节点的诊断日志 检查节点的关键组件 检查节点的...
Dataphin逻辑表任务运行时间超长
问题描述 Dataphin逻辑表任务运行时长达到了50+小时，为什么运行时长会那么长时间？问题原因 该逻辑表任务存在多个物化节点或者所有上游任务没有正常调度导致的。解决方案 该逻辑表任务存在两个物化节点；且存在两个上游依赖。查看逻辑表...
提交节点报错：当前节点依赖的父节点输出名不存在
为了避免依赖关系配置错误导致数据出现问题，DataWorks会在提交节点时对表数据血缘关系的输入输出与调度配置的输入输出进行比较，如果不一致会给您提示，详情可参见 提交节点时提示：输入输出和代码血缘分析不匹配。不是DataWorks每天调度...
等待资源
问题现象 调度将任务下发到对应执行引擎上，此过程可能会出现以下等待资源问题：等待调度资源组。数据集成任务等待数据集成资源。计算任务等待引擎计算资源。产生原因 资源组下可用资源是有限的，如果有任务长时间执行未释放资源必定会阻塞...
云盘存储卷FAQ
升级系统后，云盘报错input/output error 卸载云盘时提示The specified disk is not a portable disk 挂载云盘的Pod无法启动且提示had volume node affinity conflict 启动挂载了云盘的Pod时，提示can't find disk 动态创建PV失败，提示...
项目空间运维与监控
实例信息展示 当需要监控工作流生产时，可以通过运维中心的工作流实例来监控，可以看到工作流的运行阶段与作业的运行状态，当出现问题作业时，可以通过点击 详情，查询的日志报错信息，后续和上文中 日志监控 的内容类似。操作界面如下图：...
- 产品推荐
- 这些文档可能帮助您