功能简介
因此，用户在构建数据应用时，只需从解决实际某一业务场景出发，组合多种类型的计算节点来配置计算节点工作流程，从而快速解决业务工作流并依托数据开发的跨平台多异构任务的一键运行和上线能力，极大的提高了工程效率。节点模式 节点模式...
周期性调度
当测试数据或超参数更新，并需要持续进行增量训练和模型调优时，您可以通过周期性调度功能定期提交DLC任务。DLC与DataWorks互通，方便您可以直接通过DataWorks的调度配置，实现定时提交DLC任务。本文为您介绍如何定时提交DLC任务。背景信息...
事件
更正文档 概述 事件是AliOS Things内核提供的一种任务间通信方式，它不同于信号量和互斥量，可以使用事件组实现一个任务同时等待多个事件的发生，或者等待同一个事件的任务在事件发生时解除阻塞状态。事件组是一个32位的数，每一位都对应...
实时同步常见问题
升级资源组规格：当源端数据量增大，或者同步解决方案任务重新编辑过同步任务（将任务由读取单库单表变更为读取多库多表），导致当前资源组消耗不了当前同步数据量级，此时您可选择扩大资源组规格，资源组规格调整详情请参考：变更规格操作...
任务未运行
（等待资源状态时，日志中显示当前项目下任务并发达到上限，正在等待gateway资源）说明 如果任务运行在独享调度资源组，您可以在 DataWorks控制台 查看独享调度资源组，通过 资源组使用率 查看资源组下正在执行的任务及资源组水位，或者右...
创建并使用PAI DLC节点
人工智能平台PAI的 容器训练DLC，用于分布式执行训练任务。DataWorks为您提供了PAI DLC节点，您可以直接通过该节点载入DLC任务并配置调度依赖，实现DLC任务的周期性调度运行。前提条件 已授权DataWorks可访问人工智能平台PAI。您可进入 ...
Spring任务
Spring定时任务为您在Java体系下定时任务开放提供了便捷方式，但其便捷的同时也有很多企业化场景下的局限性。通过对接SchedulerX任务调度可快速实现企业化运用的支持。前提条件 客户端1.7.10及以上版本 采用Spring Boot模式接入SchedulerX...
实现任务调度
在EDAS控制台中，已经无缝集成了阿里巴巴的分布式任务调度系统SchedulerX作为核心组件，以实现高效的任务调度管理功能。本文将介绍如何在您的Spring Cloud应用中使用SchedulerX实现任务调度，并部署到EDAS中，实现一个 简单Job单机版 的...
创建并使用PAI Designer
步骤二：开发PAI Designer节点任务 简单示例 开发任务：编写Designer工作流 编辑PAI Designer节点任务时，如选择加载已有工作流，则需提前在PAI中创建Designer工作流，通过名称搜索，载入已经创建好的工作流。在PAI Designer节点编辑页面，...
任务管理
任务管理就是为多任务环境中的每个任务分配一个上下文（context）（上下文（context）是指当任务被调度执行的所必不可少的一组数据，包括前任务的CPU指令地址（PC指针），当前任务的栈空间，当前任务的CPU寄存器状态等），在任务相继执行...
创建调度任务
选择 添加任务>简单任务，然后配置以下参数：参数 说明 任务名称 配置任务的名称，用于识别任务。应用名称 填写或选择目标应用名称。支持英文、中文、数字、下划线（_）、短划线（-），50 个字符之内。必须与工程中 application.properties...
工作原理
ECI类型的伸缩组与ECS类型的伸缩组的工作原理一致，本文以伸缩组内的ECS实例为例，介绍弹性伸缩的工作原理。关于ECS实例和ECI实例的更多信息，请参见 什么是云服务器ECS 和 什么是弹性容器实例。工作流程 弹性伸缩增加ECS实例的工作流程...
基于ALB的单机QPS监控指标实现弹性扩缩容
弹性伸缩的系统报警任务支持基于ALB服务器组的单机QPS监控指标，本文为您介绍基于ALB服务器组的单机QPS监控指标实现弹性伸缩的扩缩容活动。前提条件 已注册阿里云账号。如果还未注册，请先 注册阿里云账号。说明 如果您使用RAM用户，您还...
自定义资源组
本文为您介绍自定义资源组有哪些应用场景、自定义资源组有哪些使用限制、如何使用自定义资源组等常见问题。为什么找不到自定义资源组使用入口？自定义资源组已经不再支持，请使用独享资源组。目录 如何安装监控？如何处理添加自定义调度...
如何在SchedulerX 2.0平台上托管XXL-JOB任务
阿里巴巴商业化任务调度平台SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob新注解和@JobHandler老注解方式，您无需修改代码，即可以将XXL-JOB任务在SchedulerX 2.0平台上托管。本文介绍在SchedulerX 2.0平台上托管的优势和方法。...
CreateAlarm
针对具有突发性或时间上不易预测的业务，调用CreateAlarm创建一个报警任务，该任务关联云监控指标后，可以动态调整伸缩组内的ECS实例或ECI实例数量，并实时监控实例指标，帮助您更好地管理和维护云资源。接口说明 如果您创建自定义监控类型...
应用管理
本文介绍如何通过应用管理功能创建应用（任务分组）、测试该应用的连接机器、为RAM用户进行分组授权等操作。创建应用 在创建调度任务前，您需要先创建应用。步骤一：基本配置 登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏...
蚂蚁隐私计算服务平台的审计事件
GetAntppcFlTaskDetail 根据任务ID和项目ID查询任务详情。GetAntppcFlTaskLog 获取任务日志。GetAntppcFlTaskResult 获取任务结果。GetAntppcFlUser 获取用户详情。GetAntppcMonitorConfig 查询监控配置详情。GetAntppcMonitorScore 查询...
注册CDH或CDP集群至DataWorks
步骤三：资源组初始化 初次绑定集群、集群服务配置变更 或 组件版本升级（例如：修改core-site.xml）请初始化资源组，确保资源组可正常访问CDH集群，资源组当前环境配置可正常执行CDH集群任务。在 开源集群 页面，找到已注册的CDH集群，...
创建EMR Hive节点
如果您后续执行任务需要修改使用的资源组，您可单击 带参运行 图标，选择需要更换的调度资源组。使用SQL语句创建任务。在SQL编辑区域输入任务代码，示例如下。show tables;select '${var}';可以结合调度参数使用。select*from userinfo;...
创建EMR Impala节点
如果您后续执行任务需要修改使用的资源组，您可单击 带参运行 图标，选择需要更换的调度资源组。使用SQL语句创建任务。在SQL编辑区域输入任务代码，示例如下。show tables;CREATE TABLE IF NOT EXISTS userinfo(ip STRING COMMENT'ip地址',...
什么是项目协作
我们的工作充满着大大小小的项目、任务：活动策划、工程实施、IT 研发、风险投资等等。使用云效项目协作做项目化管理，团队规划工作事目标更清晰，执行更到位，而且完成过程也十分轻松，成员将有全新的协作体验。立即体验 优势 可视化的...
API概览
云剪辑工程管理 云剪辑工程管理 AddEditingProject 创建云剪辑工程 调用AddEditingProject创建云剪辑工程（视频编辑任务）。UpdateEditingProject 修改云剪辑工程 调用UpdateEditingProject修改云剪辑工程（视频编辑任务）。...
查看周期实例
相关概念 正常任务：即真实执行代码逻辑的任务，不包括空跑（调度属性为空跑的任务、调度任务在非调度时间范围内产生的实例、分支节点分支未被选中的空跑任务、实时转实例产生的过期任务等）与被冻结的任务。使用限制 版本要求：仅...
创建训练任务
完成准备工作后，您可以通过控制台、Python SDK或命令行提交 DLC 任务。本文为您介绍提交 DLC 任务的具体操作步骤。前提条件 已准备资源、镜像、数据集和代码集。具体操作，请参见 准备工作。如果使用Python SDK提交训练任务，需要配置环境...
创建EMR Spark SQL节点
如果您后续执行任务需要修改使用的资源组，您可单击 带参运行 图标，选择需要更换的调度资源组。使用SQL语句创建任务。在SQL编辑区域输入任务代码，示例如下。show tables;CREATE TABLE IF NOT EXISTS userinfo_new_${var}(ip STRING ...
EMR Workflow商业化公告
规格名称 规格 资源数量 调度资源组 建议并发执行任务数上限 emr.w1.small 1 vCPU 2 GiB 2 任务提交至Yarn执行：16 任务不提交至Yarn执行：10 说明 任务提交至Yarn执行：配置工作流任务时开启 提交到Yarn执行 开关，所有的工作流任务将提交...
功能发布记录
2023-01-10 全部 DescribeScalingConfigurations 2022年 2022年12月 功能名称 功能描述 发布时间 发布地域 相关文档 伸缩组支持接入资源组 您可以使用资源组管理伸缩组，创建伸缩组时可以指定伸缩组归属的资源组，同时可以进行资源组级别的...
DescribeScalingRules-查询伸缩规则
查询伸缩组下的伸缩规则，并列出伸缩规则的信息。接口说明 您可以通过指定伸缩组 ID 来查询该伸缩组下的所有伸缩规则，查询时可以输入伸缩规则 ID、伸缩规则名称、伸缩规则唯一标识符、伸缩规则类型等信息进行过滤。调试 您可以在OpenAPI ...
将MaxCompute数据同步到表格存储
如果需要将MaxCompute计算分析后的数据同步到表格存储中存储或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现全量数据导出。全量数据导出到表格存储后，您可以使用表格存储查询与分析数据。背景信息 表格存储...
查看监控信息
数仓版（3.0）弹性模式集群版（新版）和 湖仓版（3.0）集群监控提供了丰富的监控指标，包括查询和写入、资源组信息和集群的运行状况等指标。您可以调用API接口或通过控制台查看集群过去一个月内指定时间段的各项监控指标，掌握集群的性能和...
API概览
生产制作 API 标题 API概述 云剪辑工程管理 云剪辑工程管理 CreateEditingProject 创建云剪辑工程 创建云剪辑工程，支持设置标题、描述、时间线和工程封面等。GetEditingProject 获取单个云剪辑工程 查询单个云剪辑工程的信息。...
数据开发常见问题
上游A是小时任务，下游B是日任务，任务每天在A任务全部执行完成后要汇总执行一次，小时任务运行到第二天，天任务是否会运行，参数是否会影响 节点A每天每小时整点执行一次，节点B每天运行一次。如何设置节点A每天第一次运行成功后，节点B便...
DescribeScalingRules
调用DescribeScalingRules查询伸缩组下的伸缩规则，并列出伸缩规则的信息。接口说明 您可以通过指定伸缩组ID来查询该伸缩组下的所有伸缩规则，查询时可以输入伸缩规则ID、伸缩规则名称、伸缩规则唯一标识符、伸缩规则类型等信息进行过滤。...
时间属性配置说明
说明 您可在图示位置定义单个任务调度属性，支持您通过 批量操作 功能批量修改任务调度属性，例如批量修改任务调度时间，批量修改任务使用的调度资源组等。时间属性包含的配置类别如下表所示。类别 描述 实例生成方式 用于定义节点在生产...
共享订阅
服务端任务调度 基于共享订阅能力，用一条消息表示一个任务，可以随机将每个任务派送给单个物联网设备，实现简单的任务调度。例如下图中物联网设备为机器人，业务服务端下达一个搬运任务，只需要一台设备响应，共享订阅功能会将搬运任务只...
配置事件通知
定时任务到期提醒：选择该类型后，在定时任务到期的前7天内，伸缩组会每天发送到期提醒。如果定时任务设置了重复周期，定时任务到期时间为最后一次执行任务的时间。伸缩组诊断：选择该类型后，系统内部会自动诊断伸缩组的健康状态，其诊断...
CreateAlarm-创建一个报警任务
创建一个报警任务。接口说明 如果您创建自定义监控类型的报警任务（MetricType=custom），您需要先将自定义监控项指标上报到云监控。具体操作，请参见 自定义监控报警任务。创建报警任务时，您需要指定监控项（MetricName），并配合维度...
基本概念
暂停伸缩组流程 暂停和恢复伸缩组流程 伸缩组内实例的生命周期 伸缩组内的实例指ECS实例或ECI实例，伸缩组内实例的生命周期指伸缩组内ECS实例或ECI实例从创建开始到释放结束的过程，ECS实例或ECI实例的生命周期管理方式和创建类型有关：...
任务触发与执行问题
任务执行超时 问题现象 出现 TIMEOUT 错误。问题原因 客户端处理超时。解决方法 查看超时时间是否配置太小。建议根据任务的实际执行情况设置合理的超时时间。查看客户端错误日志 common-error.log。自定义参数不存在 问题现象 出现 javax....
- 产品推荐
- 这些文档可能帮助您