使用RAPIDS加速机器学习最佳实践
本文适用于在GPU实例上使用RAPIDS加速库对机器学习任务或者数据科学任务进行加速的场景。在该场景下，与传统的基于CPU的加速功能相比，利用GPU和RAPIDS可以提高数据处理效率，加快分析和建模，有效提高模型的训练速度。说明 RAPIDS（Real-...
预处理规则管理
关联任务 在预处理规则的 关联任务 页签下，可以查看预处理规则关联的脚本执行任务、任务发起时间和任务结束时间，以及下游任务的相关信息。单击任务名称，即可查看该任务的相关信息，包括执行日志、执行结果和发起的脚本等相关信息，关于...
异步任务处理机制
通过轮询 GetTask-获取任务信息 直到任务完成同样可以获取到任务状态，但这种方式的效率很低，在任务处理时间比较长的场景中，需要大量的 GetTask-获取任务信息 调用，如果堆积的任务比较多，可能会触发全局限流，影响其他接口的调用。...
如何指定标签
本文介绍如何为任务指定标签。应用场景 主要应用在灰度、压测等场景。同一个应用分组下的机器，部分机器可能要用于灰度或者压测，任务实现类和线上其他机器不一致。任务调度时，机器被随机分配，所以灰度任务被分配到正常机器时，可能无法...
离线异步任务场景
本文介绍什么是GPU离线异步任务场景和如何使用函数计算GPU异步调用、异步有状态调用服务离线AI推理、离线AI训练、离线GPU加速场景，以及如何基于非Web Server模式的Custom Container满足离线GPU应用场景。场景介绍 在离线异步应用场景中，...
控制台总览
您可以在数据同步服务控制台 概览 页面查看所有数据任务的动态和统计信息。快速引导 在 快速引导 区域，您可以快速新建数据源，然后创建同步任务与订阅任务。详细创建步骤，可参见 新建数据源、创建数据同步任务 和 创建数据订阅任务。同步...
开始敏捷开发
四、任务 敏捷项目中除了默认的「需求」、「缺陷」、「任务」外还可以创建更多不同的任务类型。如果想要在一个面板中同时查看在相同工作流的不同类型的任务，可以切换到「任务」下进行查看。Tips：由于不同工作流的任务阶段不同，任务类型...
任务实例状态异常
产生原因 任务在23:30之后发布。目标节点没有挂在其他父节点下，成了孤立节点。目标节点及上游节点不在有效期内。当前节点为新建节点，且实例生成方式选择 T+1次日生成。解决措施 检查任务是否在23:30之后发布。右键单击 周期任务DAG图，...
任务常见问题
可能原因：任务实例停止后，SchedulerX会把Kill消息发送到客户端。客户端接收到Kill消息后，会停止下发和停止执行未执行的子任务、销毁该实例的上下文、销毁实例所有的线程池。对于已经在执行中的子任务不会被停止掉，只会中断对应的线程，...
API概览
定时任务 API 标题 API概述 CreateScheduledTask 创建一个定时任务 定时任务是一种预设任务，您可以通过调用API CreateScheduledTask创建一个定时任务，在指定时间执行指定伸缩规则，实现计算资源的自动扩张或收缩，来满足业务需求的同时又...
数据预处理
对于文本数据而言，通常文本数据里面会含有很多跟任务无关的噪音，这时应该进行文本的预处理。在NLP自学习平台内置了一些预处理规则，如果您觉得有必要进行预处理，可以选择这些规则。我们内置的规则包括：去除 URL 链接；去除 emoji 表情...
历史记录
修复客户端实例数很多的时候，子任务详情机器列表无法分页的问题。修复任务管理查看历史记录无数据的问题。2020-09-30 新特性 公网region支持pop API。支持使用appKey鉴权（应用Key，代替AccessKey ID或AccessKey Secret）。HTTP任务支持...
任务常见问题
可能原因：任务实例停止后，SchedulerX会把Kill消息发送到客户端。客户端接收到Kill消息后，会停止下发和停止执行未执行的子任务、销毁该实例的上下文、销毁实例所有的线程池。对于已经在执行中的子任务不会被停止掉，只会中断对应的线程，...
任务常见问题
可能原因：任务实例停止后，SchedulerX会把Kill消息发送到客户端。客户端接收到Kill消息后，会停止下发和停止执行未执行的子任务、销毁该实例的上下文、销毁实例所有的线程池。对于已经在执行中的子任务不会被停止掉，只会中断对应的线程，...
管理导入任务
max-filter-ratio：导入任务的最大容忍率，即导入任务能够容忍的因数据不规范等原因而过滤掉的数据行所占的最大比例。jobDetails 导入任务的详细信息，包括任务数量、文件数量和大小、数据量、行数等。errorMessage 导入任务的失败原因。当...
如何在SchedulerX 2.0平台上托管XXL-JOB任务
详细的任务状态图方便您了解下游任务执行失败的原因。限流 常见场景为夜间离线报表业务。例如，很多报表任务是凌晨1点或者2点开始，需控制应用最大并发的任务数量（否则业务无法支撑），达到并发上限的任务会在队列中等待。若同时要求早上9...
故障排除
解决方案：等待该资源未完成的异步任务完成再进行下一步操作，如果上次异步任务超时，可以取消掉再进行下一步资源操作。InvalidRegion.NotFound 原因：对应的云产品不支持传入的region参数。解决方案：重新传入该产品支持的region调用。...
任务运行诊断
场景 描述 是否存在异常任务长时间占用资源未释放，导致任务阻塞 请通过 运行诊断>调度资源 页面，确认是否存在长时间占用资源的任务，通过 查看任务执行日志 定位长时间占用资源的原因。该资源组上执行的任务是否增加 当前使用的资源组所...
如何在SchedulerX 2.0平台上托管ElasticJob任务
详细的任务状态图方便您了解下游任务执行失败的原因。限流 常见场景为夜间离线报表业务，例如，很多报表任务是凌晨1点或者2点开始，需控制应用最大并发的任务数量（否则业务无法支撑），达到并发上限的任务会在队列中等待。若同时要求早上9...
获得训练任务
本文介绍自学习（viapi-regen）类目下的获得训练任务GetTrainTask的语法及示例。功能描述 根据训练任务ID查看训练任务的详细情况。说明 您可以进入 在线咨询 获取在线人工帮助。阿里云视觉智能开放平台视觉AI能力API接入、接口使用或问题...
如何在SchedulerX 2.0平台上托管XXL-JOB任务
详细的任务状态图方便您了解下游任务执行失败的原因。限流 常见场景为夜间离线报表业务。例如，很多报表任务是凌晨1点或者2点开始，需控制应用最大并发的任务数量（否则业务无法支撑），达到并发上限的任务会在队列中等待。若同时要求早上9...
任务中心
任务中心功能将对异步任务进行中整体调度，包括但不限于各个功能下的导出、导入等。该功能的入口固定在系统的右上角“任务中心”。在任务中心中可以对执行成功的任务进行导出的...还可以对执行失败的任务查看失败原因并进行原因的问题定位。
依赖关系
小时任务依赖天任务，当上游天任务运行完成时，已到下游小时任务的多个周期定时时间，导致小时任务多周期并发调度。此时您可以在任务的 调度配置>时间属性 区域，配置 依赖上一周期>本节点。下游节点同时依赖多个任务运行时，依赖关系如何...
2019年
分布式任务，根任务失败，无法看到失败原因。并行任务子任务列表不能重试子任务。无 1.0.6-compatible，2019-07-02 变更类型 功能描述 相关文档 优化 兼容 schedulerx1.0(DTS)接口的兼容版本。不支持同时依赖 schedulerx-client 和 ...
一键MaxCompute任务出错恢复
常见的实时任务写入失败场景 场景分类 相关文档 Binlog无丢失场景及全增量同步任务 Binlog无丢失 Binlog有丢失场景及全增量同步任务 Binlog有丢失 Merge任务的报错失败场景及全增量同步任务 Merge任务的报错失败 Binlog无丢失 出现不支持的...
常用操作导航
定时任务 修改定时任务 ModifyScheduledTask 如果当前定时任务不再满足需求，您可以修改一项或者多项定时任务属性，无需重新创建改任务。报警任务 修改报警任务 ModifyAlarm 如果当前报警任务不再满足需求，您可以修改一项或者多项报警任务...
离线同步数据质量排查
同步原理 DataWorks数据集成的同步任务在执行时称之为一个Job，为了最大化提高数据同步的效率，任务在执行时会将split切分成多个子作业，每个子作业称之为一个Task。这些Task以单机或者多机的方式并发执行，每个Task读取一个数据区间内的...
一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤七：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤七：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
Java SDK
修复MapTask Master在子任务比较多的情况下，可能会频繁误failover的问题。无 1.2.5.2，2021-4-8 变更类型 功能描述 相关文档 新增 秒级别任务间隔支持到毫秒级别。无 优化 MapReduce模型，root Task固定在master node执行，方便排查问题。...
如何在SchedulerX 2.0平台上托管ElasticJob任务
详细的任务状态图方便您了解下游任务执行失败的原因。限流 常见场景为夜间离线报表业务，例如，很多报表任务是凌晨1点或者2点开始，需控制应用最大并发的任务数量（否则业务无法支撑），达到并发上限的任务会在队列中等待。若同时要求早上9...
什么是AutoML
深度学习：提升图像多分类/视频多分类等任务的精度。相关文档 AutoML工作原理（推荐）了解AutoML原理机制，实验、Trial、训练任务关系，帮助您理解后续配置项间的逻辑关系。新建实验 通过控制台创建新实验，以及了解其中的关键参数如何配置...
模型优化
不同的模型架构在不同的任务上表现可能不同，没有哪一个模型能够在所有任务中持续超出所有模型。所以，如果您发现 CNN效果不好，不妨换成 self-attention 试试看。对于同一个模型调整模型的不同参数。即使是同一个模型，也会因为参数设置的...
周期任务补数据
周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的...
周期任务补数据
周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的...
新建PAI_DESIGNER任务
机器学习PAI_DESIGNER任务用于调用您在机器学习平台中构建的任务，并按照节点配置进行调度生产。本文为您介绍如何新建PAI_DESIGNER任务。前提条件 在开始执行操作前，请确认您已满足以下条件：基于机器学习的PAI-Designer完成工作流的创建...
Stream Load
NumberFilteredRows 导入任务过滤掉的行数，即数据质量不合格的行。NumberUnselectedRows 通过Where条件被过滤掉的行数。LoadBytes 导入任务的源文件数据量大小。LoadTimeMs 导入任务所用的时间，单位为ms。ErrorURL 被过滤数据的具体内容...
预测式外呼
客户名单：支持直接输入或者导入客户名单列表 任务时间：外呼任务执行的起始和截止日期 呼出时段：在「任务时间」内设定每天外呼的时间段，支持设置多个时间段 模式策略：按比例外呼：需要设定超并发的倍数，系统将按照设定的比例进行超...
新建PAI_DESIGNER任务
机器学习PAI_DESIGNER任务用于调用您在机器学习平台中构建的任务，并按照节点配置进行调度生产。本文为您介绍如何新建PAI_DESIGNER任务。功能上线时间 华东2（上海）、华北2（北京）：2022年03月03日 华南1（深圳）、华东1（杭州）：2022年...
API接口常见问题
需要每次创建JobGroup，任务组是外呼任务的逻辑分组，比如同一天的外呼任务，同一批次的外呼任务，可以定义在同一任务组中。针对同一个JobGroup，可以，循环多次调用AssignJobs接口下发任务。为保证AssignJobs的性能，建议每次调用任务数...
- 产品推荐
- 这些文档可能帮助您