快速入门

任务调度产品支持多种任务类型,包括简单任务、集群任务,您可以根据业务的需求,选择其一实现业务。本文以简单任务为例,介绍如何快速完成一个简单任务的本地开发以及控制台任务配置等。说明 若您需要任务调度工程示例代码,请下载 示例...

创建并使用PAI DLC节点

DataWorks为您提供了PAI DLC节点,您可以直接通过该节点载入DLC任务并配置调度依赖,实现DLC任务的周期性调度运行。前提条件 已授权DataWorks可访问人工智能平台PAI。您可进入 授权界面 进行一键授权,权限策略详情请参见 ...

文档更新动态(2023年)

支持配置数据探查任务的并发运行数、单个探查任务的运行超时的时间和探查记录保留时间。资产目录功能优化:专题详情支持编辑态和查看态两种模式。物理表支持按照数据板块和主题域筛选。资产详情页面新增查看其他资产的搜索入口。分区表预览...

在Kubernetes集群中部署SchedulerX

如果Namespace之间需要隔离,仅调度目标Namespace下的Pod或者Job,可运行如下YAML示例代码。展开查看具体代码 apiVersion:v1 kind:ServiceAccount metadata:name:schedulerx-apiVersion:rbac.authorization.k8s.io/v1 kind:Role metadata:...

功能更新动态(2023年)

支持配置数据探查任务的并发运行数、单个探查任务的运行超时的时间和探查记录保留时间。资产目录功能优化:专题详情支持编辑态和查看态两种模式。物理表支持按照数据板块和主题域筛选。资产详情页面新增查看其他资产的搜索入口。分区表预览...

XxlJob任务

使用JobHandler方法创建任务 示例代码如下:@JobHandler(value="HelloJobHandler")@Componentpublic class HelloJobHandler extends IJobHandler {@Override public ReturnT<String>execute(String param)throws Exception { System.out....

创建调度任务

执行器名字 必须与代码任务处理器名字一致,即 实现类 步骤中 getName 方法获取的执行器名字。是否分片 选择任务是否开启分片:不开启分片,任务将只调度到一台客户端服务器上执行。开启分片,并设置分片数为 N,任务则会同时触发到 N 台...

概述

mutex_example.c#互斥量使用示例代码├─queue_example.c#消息队列使用示例代码├─sem_example.c#信号量使用示例代码├─task_example.c#任务功能使用示例代码├─timer_example.c#定时器功能使用示例代码└─workqueue_example.c#工作...

XxlJob任务

使用JobHandler方法创建任务 示例代码如下:@JobHandler(value="HelloJobHandler")@Componentpublic class HelloJobHandler extends IJobHandler {@Override public ReturnT<String>execute(String param)throws Exception { System.out....

XxlJob任务

使用JobHandler方法创建任务 示例代码如下:@JobHandler(value="HelloJobHandler")@Componentpublic class HelloJobHandler extends IJobHandler {@Override public ReturnT<String>execute(String param)throws Exception { System.out....

共享GPU调度概述

视频介绍 背景介绍 阿里云 容器服务 Kubernetes 版 ACK(Container Service for Kubernetes)开源了GPU共享调度之后,您能在阿里云、AWS、GCE和自己数据中心的容器集群上通过GPU共享调度框架实现多个容器运行在同一个GPU设备上的目标。...

批量消费

示例代码 批量消费的示例代码如下所示。import com.aliyun.openservices.ons.api.Action;import com.aliyun.openservices.ons.api.ConsumeContext;import com.aliyun.openservices.ons.api.Message;import ...

从MetricStore到MetricStore

定时SQL功能用于定时分析数据、存储聚合数据、投影过滤数据。日志服务支持源MetricStore中的数据通过定时SQL处理后存储到目标MetricStore中。前提条件 已采集数据到源MetricStore。具体操作,请参见 接入时序数据。已创建目标MetricStore...

Python脚本

选择任务类型:仅当提交的代码按照分布式实现时,才需要修改该参数,支持以下取值:XGBoost/LightGBM Job TensorFlow Job PyTorch Job MPI Job 使用示例 默认示例代码解析 Python脚本组件默认提供的示例代码如下。import os import ...

开发PyODPS 2任务

在DataWorks中,您可通过PyODPS节点实现Python任务的调度运行,以及其他作业的集成操作。注意事项 DataWorks支持可视化创建Python资源,如果您需要在 PyODPS节点中调用第三方包,请使用 独享调度资源组 并通过 运维助手 进行安装。...

开发PyODPS 3任务

本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点,详情请参见 创建并管理MaxCompute节点。背景信息 PyODPS是MaxCompute的Python版本的SDK,提供简单方便的Python编程接口,以便您使用Python编写...

开发PyODPS 2任务

在DataWorks中,您可通过PyODPS节点实现Python任务的调度运行,以及其他作业的集成操作。注意事项 DataWorks支持可视化创建Python资源,如果您需要在 PyODPS节点中调用第三方包,请使用 独享调度资源组 并通过 运维助手 进行安装。...

开发PyODPS 3任务

本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点,详情请参见 创建并管理MaxCompute节点。背景信息 PyODPS是MaxCompute的Python版本的SDK,提供简单方便的Python编程接口,以便您使用Python编写...

使用Java SDK创建定时SQL任务

本文介绍通过Java SDK创建定时SQL任务的代码示例。前提条件 已创建RAM用户并完成授权。具体操作,请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作,请参见 配置...

通过Docker安装并使用cGPU服务

cGPU服务可以隔离GPU资源,实现多个容器共用一张GPU卡。该服务作为阿里云容器服务Kubernetes版ACK(Container Service for Kubernetes)的组件对外提供服务,本文介绍如何通过Docker安装并使用cGPU服务。前提条件 在进行本操作前,请确保...

离线任务属性配置概述

对于离线任务,若需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 离线计算任务进行调度配置。依赖关系是...

任务常见问题

可能原因:对于分布式任务,处理子任务的机器下线会进行重新分发并轮询检查机器是否在线,会导致整个处理过程变慢。解决方案:将客户端升级至最新版本,1.7.9及以上版本该现象会得到优化。单击运行一次后,系统提示输入实例参数,如何处理...

视频人像卡通化

6.示例代码:该能力常用语言的示例代码,请参见 视频人像卡通化示例代码,常用语言查询异步任务结果的示例代码,请参见 查询异步任务结果示例代码。7.客户端直接调用:该能力常用的客户端调用方式包括以下几种。Web前端直接调用 小程序场景...

如何在SchedulerX 2.0平台上托管XXL-JOB任务

阿里巴巴商业化任务调度平台SchedulerX 2.0兼容XXL-JOB任务接口,支持@XxlJob新注解和@JobHandler老注解方式。您无需修改代码,即可以将XXL-JOB任务在SchedulerX 2.0平台上托管。本文介绍在SchedulerX 2.0平台上托管的优势和方法。功能优势...

文档修订记录

若任务需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要,...

离线集成任务属性配置概述

对于离线集成任务,若需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...

通过向导模式配置离线同步任务

数据集成提供向导式的开发引导,您无需编写任何代码,通过在界面勾选数据来源去向,并结合DataWorks调度参数,实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置,各...

如何在SchedulerX 2.0平台上托管XXL-JOB任务

阿里巴巴商业化任务调度平台SchedulerX 2.0兼容XXL-JOB任务接口,支持@XxlJob新注解和@JobHandler老注解方式。您无需修改代码,即可以将XXL-JOB任务在SchedulerX 2.0平台上托管。本文介绍在SchedulerX 2.0平台上托管的优势和方法。功能优势...

任务常见问题

可能原因:对于分布式任务,处理子任务的机器下线会进行重新分发并轮询检查机器是否在线,会导致整个处理过程变慢。解决方案:将客户端升级至最新版本,1.7.9及以上版本该现象会得到优化。单击运行一次后,系统提示输入实例参数,如何处理...

任务常见问题

可能原因:对于分布式任务,处理子任务的机器下线会进行重新分发并轮询检查机器是否在线,会导致整个处理过程变慢。解决方案:将客户端升级至最新版本,1.7.9及以上版本该现象会得到优化。单击运行一次后,系统提示输入实例参数,如何处理...

自定义任务模板

expression:enable=true contextSchema:{} 在流水线模板中使用自定义任务模板的示例 自定义任务模板可以在流水线模板中使用。使用示例如下。kind:PipelineTemplate name:demo-template spec:context:data:deployFile:s.yaml#自定义任务节点...

语音审核增强版语言服务

在线调试工具调试API接口,该工具会自动生成相应API的SDK调用示例代码。API 使用说明 业务接口:https://green-cip.{region}.aliyuncs.com 。您可以调用该接口创建语音内容检测任务。关于如何构造HTTP请求,请参见 HTTP原生调用;您也可以...

时间属性配置说明

使用说明 调度任务的时间属性配置,仅定义任务预期执行时间,其实际是否执行实际执行时间受多方因素影响,包括但不限于以下场景:调度开关控制 仅当DataWorks工作空间开启 启用调度周期 开关后,工作空间中的任务才可以根据其配置自动...

历史功能发布记录(2023年)

全部 自助诊断GPU节点问题 ACK调度器支持IP感知调度和拓扑调度等功能 IP感知调度 当Pod调度到某节点上时,由于可用IP不足无法启动,该节点将被标记为缺少IP状态并被拉黑五分钟。IP感知调度可防止大量Pod由于IP不足而导致的启动失败问题。...

数据面安全性

调用路由 调用服务使用 bin-pack 算法实现调用路由,同一个函数实例可能被次函数调用复用,来自同一客户端的调用请求,可能被分发至不同的函数实例执行,用户不可假设函数实例资源,比如全局变量及文件写入或者在不同调用间共享或不共享...

任务拆分和执行

集群任务支持用户按业务的要求,通过多层的拆分将一个任务拆分到个客户端上并发执行。集群任务的开发可以分成两个阶段:拆分阶段和执行阶段。拆分阶段:对数据进行分片,不限制拆分层数,将拆分结果上报给服务端,由服务端根据拆分的 ...

基本概念

资源组(Resource Group)资源组可以帮助您将拥有的计算资源从用途、权限和归属等个维度上进行分组,以实现企业内部用户、工作空间的计算资源隔离。资源组可以指代MaxCompute配额组、DLC集群、K8s集群、EMR集群、Flink集群、ECS集群...

任务状态轮询

可靠的轮询实现需要维护状态的持久化以保证即使当前轮询进程失败退出,进程恢复后轮询也会继续进行。本示例通过一个假设场景:用户调用函数计算提交了一个多媒体处理任务,该任务耗时从1分钟到几小时不等,任务执行状态可以通过API查询,...

配置并使用调度参数

调度参数是根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值,实现任务调度时间内参数的动态替换。本文为您介绍如何配置及使用调度参数,并以ODPS SQL节点为例,讲解调度参数配置完成后使用冒烟测试功能测试调度参数的替换...

RESTful API

本文及SDK示例中有相关流式处理示例代码可供参考。下载nls-restful-java-demo。新增RESTful语音合成Java示例代码。前提条件 已获取项目Appkey,详情请参见 创建项目。已获取Access Token,详情请参见 获取Token概述。服务地址 访问类型 ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
风险识别 音视频通信 智能开放搜索 OpenSearch 智能视觉 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用