最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
产品优势
降本增效 单台手机的处理效率非常有限，通过云手机的方式，大幅降低人工操作和设备采购维护成本。安全保障 应用数据运行在云上，面向政府、金融等行业，提供更加安全高效的移动办公解决方案。流畅体验 专业级GPU硬件加速，60+可用区，用户...
XxlJob任务
高可用 SchedulerX 2.0采用高可用架构，任务多备份机制，经历过阿里集团多年双十一、容灾演练等场景的考验，可以做到整个集群挂掉任意2个节点或者任意一个机房断电，任务调度都不会受到影响。商业化报警运维 SchedulerX 2.0除了兼容XXL-JOB...
任务常见问题
如果确实需要停止后立即结束所有运行中的任务，需要修改子任务处理逻辑，增加对当前线程Interrupt状态的处理。如何进行任务管理高级配置？更多信息，请参见 任务管理高级配置参数说明。机器繁忙（all workers are busy）该怎么办？可以在...
XxlJob任务
高可用 SchedulerX 2.0采用高可用架构，任务多备份机制，经历过阿里集团多年双十一、容灾演练等场景的考验，可以做到整个集群挂掉任意2个节点或者任意一个机房断电，任务调度都不会受到影响。商业化报警运维 SchedulerX 2.0除了兼容XXL-JOB...
任务常见问题
如果确实需要停止后立即结束所有运行中的任务，需要修改子任务处理逻辑，增加对当前线程Interrupt状态的处理。如何进行任务管理高级配置？更多信息，请参见 任务管理高级配置参数说明。机器繁忙（all workers are busy）该怎么办？可以在...
任务常见问题
如果确实需要停止后立即结束所有运行中的任务，需要修改子任务处理逻辑，增加对当前线程Interrupt状态的处理。如何进行任务管理高级配置？更多信息，请参见 任务管理高级配置参数说明。机器繁忙（all workers are busy）该怎么办？可以在...
调度参数返回值二次处理的典型场景
调度参数只支持获取时间类型数据，部分节点（例如，离线同步节点）配置了调度参数后，调度参数的返回值不能直接使用，需要进行函数转换等二次处理。本文为您介绍二次处理调度参数返回结果的典型场景。背景信息 调度参数支持的时间类型未...
计算资源优化
通过阿里云自主研发的虚拟化2.0技术，业务应用可以直接访问弹性裸金属服务器的处理器和内存，无任何虚拟化开销。弹性裸金属服务器具备物理机级别的完整处理器特性（例如Intel VT-x），以及物理机级别的资源隔离优势，特别适合上云部署传统...
启用节点自动伸缩
当集群的容量规划无法满足应用Pod调度时，您可以使用 节点自动伸缩 方案实现节点的自动扩缩。节点自动伸缩 适用于扩容规模较小（例如开启弹性的节点池数量少于20，或对应节点池中的节点数量少于100），工作负载批次较为稳定，以单次伸缩为...
自定义资源组
如何处理添加自定义调度资源服务器失败的情况？如何处理服务器突然终止服务且重启失败的情况？如何处理自定义调度资源下的任务长期等待资源的情况？如何暂停和初始化Agent服务？重启ECS后，如何使Agent自行恢复服务？如何处理无法启动...
Dataphin补数据任务空跑调度了是什么原因
问题描述 Dataphin补数据任务空跑调度了是什么原因？问题原因 按当前的调度配置，补20220930（月末）的数据空跑了是正常的。补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度...
创建安全沙箱应用
说明 应用非亲和性调度的设置方式与亲和性调度相同，但是相同的调度规则代表的意思不同，请根据使用场景进行选择。调度容忍 容忍被应用于Pod，允许这个Pod被调度到相对应的污点上。调度到虚拟节点 设置是否调度到虚拟节点。如果您集群中...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
等待资源
如果单个任务并发设置超过了机器支持的最大并发数，请将这些并发任务全部停掉，修改任务并发数后再去执行。在 运维中心 页面左侧导航栏，单击 运维大屏，在 运维大屏 页面的 数据集成 页签，查看 同步任务执行详情。说明 任务并发配置需要...
产品功能
通过SchedulerX可以管理定时调度任务、查询任务执行记录和运行日志。本文介绍SchedulerX调度、执行和运维三个方面的功能。定时调度 Crontab 支持Unix Crontab表达式，不支持秒级别调度。更多信息，请参见 Cron。Fixed rate Crontab必须被60...
调度概述
本文介绍弹性调度、任务调度、异构资源调度、负载感知调度和精细化调度的主要功能。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和ECI，以及不同的付费类型如包年...
功能特性
媒体处理可以将一个音视频文件转换成另一个或多个音视频文件，以适应不同网络带宽、终端设备和用户的需求。对媒体的内容、文字、语音、场景进行多模态分析，实现智能审核、内容理解、智能编辑等多种处理功能。音视频转码 把音视频码流转换...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
智能解析调度不准问题
概述 本方法只针对使用阿里云解析DNS产品的域名，若您的域名托管在其他厂商的DNS服务器上，请联系您的DNS服务器厂商处理。使用阿里云解析DNS服务器的域名，如果您设置的智能解析线路出现调度不准的情况，可以参考如下内容进行排查。说明 ...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
产品功能
通过SchedulerX可以管理定时调度任务、查询任务执行记录和运行日志。本文介绍SchedulerX调度、执行和运维三个方面的功能。定时调度 Crontab 支持Unix Crontab表达式，不支持秒级别调度。更多信息，请参见 Cron。Fixed rate Crontab必须被60...
数据开发
资源属性 配置：任务由调度资源组调起运行，所以这里配置调度资源组为 公共调度资源组。调度依赖 配置：单击 同周期 页签中 依赖的上游节点 后的 使用工作空间根节点，其他参数保持默认。配置调度依赖的目的是为了保障上游表产出完成才会...
查看周期实例
周期实例是周期任务达到启用调度所配置的周期性运行时间时，被自动调度的实例快照。您可以通过列表及DAG图的方式，快速查看实例的详细信息并执行相关操作。相关概念 正常任务：即真实执行代码逻辑的任务，不包括空跑（调度属性为空跑的任务...
Spring任务
常见问题 SchedulerX接管后原Spring定时器依旧运行 由于应用中配置了自定义的Scheduler调度器导致SchedulerX覆盖自定义处理器。请排查业务应用工程中是否存在实现 org.springframework.scheduling.annotation.SchedulingConfigurer 接口的...
如何在SchedulerX 2.0平台上托管XXL-JOB任务
阿里巴巴商业化任务调度平台SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob新注解和@JobHandler老注解方式。您无需修改代码，即可以将XXL-JOB任务在SchedulerX 2.0平台上托管。本文介绍在SchedulerX 2.0平台上托管的优势和方法。功能优势...
任务实例状态异常
产生原因 工作空间可能没有开启调度。解决措施 按照下图所示，在 工作空间配置 页面，检查工作空间是否开启调度。说明 如有需要请协调主账号开启工作空间调度。有周期任务，有其他周期实例，但是这个任务没有产生周期实例 问题现象 有周期...
实现任务调度
在EDAS控制台中，已经无缝集成了阿里巴巴的分布式任务调度系统SchedulerX作为核心组件，以实现高效的任务调度管理功能。本文将介绍如何在您的Spring Cloud应用中使用SchedulerX实现任务调度，并部署到EDAS中，实现一个 简单Job单机版 的...
智能接入网关硬件版FAQ
智能接入网关设备双机直挂场景下，主设备关机流量未切换至备设备，怎么处理？智能接入网关采用4G卡部署方式，蜂窝口显示Internet不可用，怎么处理？给智能接入网关硬件设备接上所有天线。智能接入网关硬件设备信号如果不是满格，建议将该...
Pod诊断
根因分析：根据采集的数据和检查项，部分问题可自动分析导致问题的原因。诊断结果 诊断结果包括根因结果与检查项。根因诊断结果部分包括 识别到的异常、异常根因 和 修复建议。检查项则按不同的类别对可能引起异常的点进行检查，覆盖根因未...
如何在SchedulerX 2.0平台上托管ElasticJob任务
分布式任务调度SchedulerX 2.0兼容开源ElasticJob任务接口，您无需修改代码，即可将ElasticJob任务在SchedulerX 2.0平台上进行托管。本文介绍如何在SchedulerX 2.0平台上托管ElasticJob任务。背景信息 ElasticJob基于Quartz开发并且依赖...
工作流调度简介
在事件驱动的计算模型中，事件源是事件的生产者，工作流是事件的处理者，而工作流调度提供了一种集中、统一的方式来管理不同的事件源。在事件源中，当事件发生时，如果满足工作流调度定义的规则，事件源会自动调用工作流调度关联的工作流。...
文本摘要（生成式）
洗洁精+白醋很多主妇其实都用过洗洁精来清洗油烟机，可能不得要领，清洁程度不一，小哥个人建议用清洁精+白醋，用来擦洗油烟机的面板和油盒，清洗油盒时，需要将油盒拿下来浸泡在洗洁精的温水中，浸泡半个小时左后，用抹布擦拭，可以看到...
工作原理
场景二：从某个历史时间点开始执行定时SQL任务 在当前时间点创建定时SQL任务后，按照调度规则对历史数据进行处理，从调度的开始时间创建补运行的实例，补运行的实例依次执行直到追上数据处理进度后，再按照预定计划执行新实例。场景三：...
多终端节点组流量调配原理及应用场景
正常情况下，北京和上海客户端的访问请求会被就近接入对应的加速地域，通过监听检查处理，再根据流量调配值和调度优先级分别转发至对应的终端节点组。为保证应用能持续稳定的对外提供服务，要求北京或上海其中任意一个地域的应用出现异常时...
数据开发常见问题
调度配置常见问题 调度参数常见问题 典型配置场景 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 如何配置ODPS Spark节点中的时间参数？如何对不便于进行二次处理调度参数返回值的节点进行取值？如何定义调度...
数据预处理
对于文本数据而言，通常文本数据里面会含有很多跟任务无关的噪音，这时应该进行文本的预处理。在NLP自学习平台内置了一些预处理规则，如果您觉得有必要进行预处理，可以选择这些规则。我们内置的规则包括：去除 URL 链接；去除 emoji 表情...
计费说明-全托管
敏捷研发版定价 数据处理单元规格 调度资源 定价（CNY/月）200 8C32G 4,000 数据处理单元统计规则如下，仅统计已发布、周期调度的任务或表，不统计手动任务。数据处理单元总量=数据同步任务数+计算任务（离线）数+数据集成任务数 各版本...
网络诊断
连接异常处理 网络连接测试失败时，您可以排查以下原因：检查安全组规则是否允许堡垒机访问主机的端口。检查主机是否已开启云防火墙，并且设置了允许堡垒机访问主机端口的访问策略。具体操作，请参见 云防火墙和运维安全中心（堡垒机）联合...
- 产品推荐
- 这些文档可能帮助您