任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 EDAS控制台。在左侧导航栏，单击 任务调度。在顶部菜单栏选择地域。在左侧导航栏，...
创建EMR Shell节点
通过自定义编辑Shell脚本，您能够进行数据处理、调用Hadoop组件、操作文件等高级功能。本文介绍了如何在DataWorks里配置和使用EMR Shell节点，以便您编辑和运行Shell脚本。背景信息 本节点支持使用OSS REF方式引用OSS资源，详情请参见 方案...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务...
数据风险点监控
因此，哪些数据需要配置DQC规则、应该配置什么规则，也需要根据数据资产等级来确定。例如A1、A2类数据监控率要达到90%以上，规则类型需要3种以上，而不重要的数据资产没有强制要求。检测规则由离线开发人员配置，确保数据准确性。不同的...
多可用区同时快速弹性扩容
会导致以下问题：当多可用区业务Pod出现由于集群资源不足无法调度时，节点自动伸缩服务会触发该伸缩组扩容，但是无法将需要扩容的可用区与实例的关系传递到ESS弹性伸缩组，因此可能会连续弹出某一个地域的多个实例，而非在多个vSwtich同时...
多可用区同时快速弹性扩容
会导致以下问题：当多可用区业务Pod出现由于集群资源不足无法调度时，节点自动伸缩服务会触发该伸缩组扩容，但是无法将需要扩容的可用区与实例的关系传递到ESS弹性伸缩组，因此可能会连续弹出某一个地域的多个实例，而非在多个vSwtich同时...
如何在SchedulerX 2.0平台上托管XXL-JOB任务
阿里巴巴商业化任务调度平台SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob新注解和@JobHandler老注解方式。您无需修改代码，即可以将XXL-JOB任务在SchedulerX 2.0平台上托管。本文介绍在SchedulerX 2.0平台上托管的优势和方法。功能优势...
产品相关问题
任务调度的核心功能是什么？分布式调度：提高系统的可用性、伸缩性，且调度与业务的分离，让研发更专注业务逻辑的开发。多种任务类型：简单任务，集群任务，消息任务，流式任务，满足不同场景需求。丰富的管理功能：包括定时触发、事件触发...
负载均衡SLB产品家族介绍
云原生应用金丝雀蓝绿发布场景 四层大流量高并发业务场景 物联网、车联网等IoT业务入口 多活容灾、IDC云上出入口场景 网站、系统四层流量分发高可靠场景 大并发高性能网络分流场景 同城灾备、跨地域容灾场景 产品计费对比 应用型负载均衡...
Dataphin补数据任务空跑调度了是什么原因
问题描述 Dataphin补数据任务空跑调度了是什么原因？问题原因 按当前的调度配置，补20220930（月末）的数据空跑了是正常的。补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度...
问题汇总
补数据 补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据报错调起的节点运行时间不在所选业务时间范围内？为什么有节点选择了补数据...
透视分析：按研发链路
支持您按照研发链路（数据同步和数据开发）查看和分析工作空间内DataWorks离线同步任务和DataWorks调度任务运行情况及资源消耗详情。便于您了解当前花费较多的资源类别、识别运行失败的任务，合理调整消费结构，发现阻塞任务运行的问题并...
创建管道
如果需要根据优先级和提交顺序依次执行媒体处理任务，您可以创建管道，然后在创建媒体处理任务时指定优先级（部分任务类型支持）和对应的管道。使用限制 不同类型管道的创建数量、适用功能、并发能力不同，如果提交不适用的任务会执行失败...
AI负载调度
本文介绍弹性资源调度、AI任务调度、异构资源调度和任务队列调度，帮助用户提升集群的资源利用率和作业运行效率。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和...
常见问题
本文汇总使用SchedulerX过程中的常见问题和对应解决方法。任务管理常见问题 Spring应用找不到Bean怎么办？任务失败，报错“submit jobInstanceId to worker timeout”任务失败，报错“used space beyond 90.0%!任务失败，报错...
堡垒机连接服务器相关问题
本文介绍 运维安全中心（堡垒机）连接服务器时的常见问题以及解决方案。通过堡垒机访问服务器公网地址失败，该如何解决？您可以通过以下方法进行排查：测试堡垒机与服务器的端口是否连通。具体操作，请参见 网络诊断。如若服务器端口号做过...
基础配置相关问题
本文介绍堡垒机基础配置相关问题及解决方案。如何进入堡垒机管理界面？登录堡垒机控制台。在堡垒机控制台上方，选择堡垒机实例所在的地域。在左侧导航栏，单击 实例。在 实例 页面，定位到目标堡垒机实例，单击 管理。购买堡垒机后为什么看...
索引
本文汇总使用SchedulerX过程中的常见问题和对应解决方法。报警常见问题 killed from server don't update progress more than 30s 任务管理常见问题 Spring应用找不到Bean怎么办？任务失败，报错“submit jobInstanceId to worker timeout...
新增和使用独享调度资源组
您可根据业务场景需求选择购买合适规格的独享调度资源组，用于任务的调度运行。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享调度资源组的全流程与步骤详情。前提条件 购买和使用独...
智能诊断
您可以使用智能诊断功能对任务进行全链路分析，当任务运行不符合预期时，您可以使用该功能快速定位问题。功能概述 智能诊断功能可以基于以下维度对任务进行诊断分析：全链路分析：检查上游任务运行情况：上游任务运行失败时，将阻塞当前...
功能特性
支持任务调度的管理和监控 可设置任务的调度策略，包括定时调度、触发条件调度等，保证准时执行任务。支持任务之间的依赖关系配置 可以设置任务的前置依赖和后置依赖，确保任务按照正确的顺序执行。支持任务参数的灵活配置 用户可以根据...
ack-kube-queue
ack-kube-queue是云原生AI套件提供的任务队列组件，主要围绕着Kube Queue任务队列，结合调度器和Quota系统，提供队列管理、优先级调度、使用弹性配额等功能，帮助您优化Kubernetes中的AI/ML工作负载和批处理工作负载的管理效率和调度性能。...
常见问题
本文汇总使用SchedulerX过程中的常见问题和对应解决方法。任务管理常见问题 Spring应用找不到Bean怎么办？任务失败，报错“submit jobInstanceId to worker timeout”任务失败，报错“used space beyond 90.0%!任务失败，报错...
常见问题
本文汇总使用SchedulerX过程中的常见问题和对应解决方法。任务管理常见问题 Spring应用找不到Bean怎么办？任务失败，报错“submit jobInstanceId to worker timeout”任务失败，报错“used space beyond 90.0%!任务失败，报错...
存储异常问题排查
云盘的Pod Pending问题处理，请参见下文 云盘Pod的状态为非Running。NAS的Pod Pending问题处理，请参见下文 NAS Pod的状态为非Running。OSS的Pod Pending问题处理，请参见下文 OSS Pod的状态为非Running。排查PVC处于非Bound问题。云盘的...
存储异常问题排查
云盘的Pod Pending问题处理，请参见下文 云盘Pod的状态为非Running。NAS的Pod Pending问题处理，请参见下文 NAS Pod的状态为非Running。OSS的Pod Pending问题处理，请参见下文 OSS Pod的状态为非Running。排查PVC处于非Bound问题。云盘的...
多可用区创建实例
当您在应对突发流量，进行业务的快速水平扩容时，或者启动大量实例进行Job任务处理时，可能会遇到可用区对应规格实例库存不足或者指定的交换机IP耗尽等特殊情况，从而导致实例创建失败，影响业务。此时，您可以采用指定多可用区的方式来...
查看运维大屏
您可查看工作空间整体的异常问题情况，或仅查看您名下的异常问题（即您作为任务责任人的异常任务）概况，及时发现并治理，以免影响业务正常运行。通常，异常问题分为如下几类：异常问题类型 异常问题说明 相关文档 基线实例破线 统计今日破...
将调度失败的Pod调度到ECI
在ACK集群中创建的Pod默认会调度到真实节点（即ECS节点）上，当ECS节点的计算资源不足时，Pod会调度失败。基于该场景，您可以在ACK集群中部署virtual-kubelet-autoscaler插件，该插件会自动将因为资源不足而调度失败的Pod二次调度到虚拟...
用量查询
如果您需要查询媒体处理服务的资源使用量，可以通过媒体处理控制台查询。控制台支持转码、截图、智能审核、视频DNA等多种任务的数据统计，只需在控制台中选定时间段，即可直观查看各项功能的具体用量数据，同时支持导出详细数据，便于...
专业版公测（2022年01月26日）
融合大数据DataWorks任务 在实际业务场景中业务处理往往依赖前置数据准备，目前在分布式任务调度平台上可进行DataWorks任务数据处理与业务数据处理任务依赖编排定时调度。更多信息，请参见 DataWorks任务。如何升级为专业版 操作步骤 ...
管理调度资源组
调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求，您可以根据业务场景需求购买合适规格的付费调度资源组。购买调度资源组后，在实际使用前您还需进行...
E-HPC集群调度器插件
E-HPC提供了调度器插件作为平台的外扩组件，在E-HPC现有调度器类型或版本不满足当前业务时，您可以通过该插件构建自定义调度器并接入E-HPC平台的能力。本文为您介绍E-HPC集群调度器插件的概念及组成。什么是调度器插件 E-HPC作为一款PaaS...
创建多可用区的ECI Pod
当您在应对突发流量，进行业务的快速水平扩容时，或者启动大量实例进行Job任务处理时，可能会遇到可用区对应规格实例库存不足或者指定的交换机IP耗尽等特殊情况，从而导致Pod创建失败。此时，您可以采用指定多可用区的方式来创建ECI Pod...
工作流调度简介
什么是工作流调度 工作流调度（即触发器）是触发工作流执行的方式。在事件驱动的计算模型中，事件源是事件的生产者，工作流是事件的处理者，而工作流调度提供了一种集中、统一的方式来管理不同的事件源。在事件源中，当事件发生时，如果...
实时监控
实时监控专注于事中控制，可以通过堡垒机管理平台随时切入某个运维会话查看现场操作，管理正在运维主机的会话，进行命令审批或会话阻断等操作。命令审批 参照以下步骤进行命令审批：管理员登录系统后，进入 运维>实时监控 页。所有会话 ...
补数据
为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？问题现象 补数据选择业务时间昨天和今天，会出现等待时间的情况。产生原因 从平台维度来看，业务时间昨天的数据，今天调度运行。补数据补对应业务时间的数据相当于重新执行了...
堡垒机运维常见报错提示
本文介绍通过堡垒机运维时，可能遇到的问题及解决方法。SSH运维相关报错 RDP运维相关报错 数据库运维常见报错 SSH运维相关报错 报错：Invalid host fingerprint 报错图示：V3.2版本会记录主机的唯一指纹，若该主机经过系统重装操作，主机...
工作原理
场景二：从某个历史时间点开始执行定时SQL任务 在当前时间点创建定时SQL任务后，按照调度规则对历史数据进行处理，从调度的开始时间创建补运行的实例，补运行的实例依次执行直到追上数据处理进度后，再按照预定计划执行新实例。场景三：...
客户端连接堡垒机相关问题
本文介绍使用客户端工具连接堡垒机时可能出现的问题以及解决方法。客户端无法访问堡垒机公网地址，如何排查？您可以通过以下方式进行排查：检查堡垒机配置是否正确。在您的客户端使用ping命令测试客户端与堡垒机的网络是否连通，如果连接...
- 产品推荐
- 这些文档可能帮助您