工作流编辑

配置工作调度 您可以打开工作调度配置面板,配置工作调度参数,调度系统会按照参数定时运行相关工作流,并将作业下发到指定集群上执行。以下介绍如何配置工作流的基本属性、调度属性和告警设置。进入数据开发的项目列表页面。通过...

管理工作

系统调度 创建工作流时配置了 调度类型 选择了 调度器,创建完成后打开 调度状态 开关,可以在指定的生效时间点触发工作流运行。手动运行 在 任务编排 页面,单击目标工作流的名称,然后单击右上角的 手动运行,触发当前工作流的运行。查看...

加工原理

本文档主要介绍进行数据加工时日志数据的调度原理,以及加工规则引擎的工作原理调度原理 日志服务的数据加工功能使用协同消费组对源日志库的日志数据进行流式消费,将每一条日志通过加工规则处理后再输出。调度机制 对每一个加工规则,...

任务管理

AliOS Things操作系统内核支持两种调度策略:基于优先级的抢占式调度调度策略下,每个任务优先级都维护了一个FIFO模式的就绪队列(ready queue),里面包含了当前所有可运行的任务列表,此列表中的任务都处于就绪状态,当处理器可用时,...

Hologres开发:周期性调度

这里通过{bizdate}参数控制分区键值,在调度系统中自动赋值完成周期性调度。关于参数的配置,请参见DataWorks文档 DataWorks调度配置。其中,insert的分区数据必须和分区键(本文示例为ds)的值保持一致,否则会报错。在HoloStudio中,单击...

采集数据

注意事项 odps_first 数据源是工作空间绑定MaxCompute计算引擎时,系统根据引擎信息自动生成的默认数据源。配置数据去向为odps_first数据源,代表将源端数据写入至当前工作空间默认绑定的MaxCompute项目。DataWorks与MaxCompute关系及对应...

采集数据

创建DataWorks工作空间 本教程以 标准模式 工作空间为例进行说明,创建的工作空间名称为 WorkShop2023,您也可以自定义该名称。创建MaxCompute数据源 本教程中创建的MaxCompute数据源的名称为 odps_first,创建数据源时生产环境使用的...

使用负载热点打散重调度

koord-descheduler模块工作原理 ack-koordinator组件提供koord-descheduler模块,其中LowNodeLoad插件负责感知负载水位并完成热点打散重调度工作。与Kubernetes原生的Descheduler的插件LowNodeUtilization不同,LowNodeLoad是根据节点真实...

管理工作流定义

(定时)只有上线的工作流可以定时,系统自动定时调度工作流运行。创建定时后的状态为 上线,需在定时管理页面上线定时才生效。定时工作流的具体操作,请参见 定时工作流。(上线)工作流状态为 下线 时,可以上线工作流。(下线)工作流...

操作指南

您可以在 云工作流 控制台创建和执行工作流、创建工作调度、将 云工作流 ...云工作流 新版 工作流定义 创建工作工作流执行 工作调度 工作流集成 监控指标 Serverless 工作流旧版 管理工作流 执行工作工作调度 工作流集成 监控指标

任务管理

执行中:调度系统开始调度执行,反馈给到资产治理模块的状态。已终止:暂停后调度系统中反馈实际任务的状态。业务日期:当前任务对应执行元数据、日志的时间。执行日期:任务实际执行的日期。查看任务详情 在任务管理页面,单击需查看任务...

任务管理

执行中:调度系统开始调度执行,反馈给到资产治理模块的状态。已终止:暂停后调度系统中反馈实际任务的状态。业务日期:当前任务对应执行元数据、日志的时间。执行日期:任务实际执行的日期。查看任务详情 在任务管理页面,单击需查看任务...

工作流使用案例

配置工作调度 您可以打开工作调度开关并配置工作调度参数,调度系统会按照参数定时运行相关工作流,并将作业下发到指定集群上执行。以下介绍配置工作流的基本属性、调度属性和告警设置。完成工作流设计后,单机画布右上角 配置 按钮...

创建定时调度

Serverless工作流 支持通过配置Cron表达式来定时调度工作流的执行。本文介绍如何为 Serverless工作流 创建定时调度。前提条件 成功创建工作流 使用控制台创建定时调度 登录 Serverless工作流控制台。在左侧导航栏,单击 流程。在流程列表中...

补丁管理原理介绍

该文档会详细介绍补丁管理的工作原理,以及如何扫描系统上的补丁状态,安装缺失的补丁等。Linux 补丁管理支持的Linux系统包括 CentOS/Alibaba Cloud Linux/Debian/Ubuntu 等,不同OS使用不同的包管理工具,具体如下,不同包管理工具扫描、...

定时调度

工作流 支持通过配置Cron表达式周期性或指定时间来调度工作流执行。本文介绍如何为 云工作流 配置定时调度。前提条件 事件总线(EventBridge)开通事件总线EventBridge并授权 云工作流(CloudFlow)已成功创建工作流。具体操作,请参见 ...

调度原理

本视频向您介绍日志服务数据加工的数据调度原理

调度周期:年调度

调度是指调度任务在每年的特定几天,在特定的时间点自动运行一次。例如,调度任务设置为每年一月的最后一天执行。注意事项 在非指定的调度时间内,为保证下游实例正常运行,年调度节点会生成空跑的周期实例。重要 空跑现象:系统直接返回...

调度周期:小时调度

小时调度即每天指定的时间段内,调度任务按 N*1小时 的时间间隔运行一次。例如,每天00:00~03:00的时间段内,每1小时运行一次。注意事项 时间周期根据左闭右闭原则计算。例如,配置调度任务在0点~3点的时间段内,每隔1个小时运行一次。表示...

调度周期:周调度

任务调度周期是基于单个任务维度的配置,任务最终是否每天调度与任务本身定义的调度周期有关,与上游节点调度周期无关,但上游节点定义的调度时间将影响下游节点实际开始调度的时间。配置示例 配置路径 您需要进入数据开发节点的编辑页面,...

调度周期:月调度

任务调度周期是基于单个任务维度的配置,任务最终是否每天调度与任务本身定义的调度周期有关,与上游节点的调度周期无关,但上游节点定义的调度时间将影响下游节点实际开始调度的时间。月调度支持将 指定时间 配置为 每月最后一天,则每...

创建资源

本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域(Region)中,命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时,需要创建命名空间。应用 在具体的...

流程管理

流程管理提供可视化的任务编排,您可以使用Crontab创建定时调度工作流,并通过API触发。创建工作流 您可以创建工作调度任务。说明 目前工作调度仅支持Cron表达式。登录 EDAS控制台。在左侧导航栏单击 任务调度。在顶部菜单栏选择地域。...

阿里云CDN的五大竞争力

基于内容调度,提高访问命中率:在大文件下载和视频点播这两个应用场景上经常使用302调度这种基于内容的调度技术,302调度是一种中心调度方案,用户在请求某一个资源的时候,在完成域名DNS解析之后,用户请求将会先访问到中心调度系统上,...

配置任务调度

本文以配置任务write_result的调度周期为周调度为例,为您介绍如何设置DataWorks的调度属性和依赖属性。前提条件 已创建虚拟节点(start)和ODPS SQL节点(insert_data,详情请参见 创建业务流程。已创建同步节点 write_result 生成的同步...

DCDN节点运维下线说明

节点流量调度:阿里云DCDN节点的运维操作有一套规范的处理流程,对于需要运维的节点,阿里云DCDN的调度系统会在下线节点之前把流量调度到周边正常运行的节点上。异常情况监测:阿里云DCDN节点也可能会因为一些少量的异常情况(例如:运营商...

离线模式调度配置

调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性,配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。操作步骤 请参见 离线模式配置入口,进入实时任务的 离线模式 配置页面。在...

离线模式调度配置

调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性,配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。操作步骤 请参见 离线模式配置入口,进入实时任务的 离线模式 配置页面。在...

调度周期:日调度

调度详情 调度系统会自动为任务生成实例并运行,各业务数据加工时间如下图所示。说明 调度节点执行需要满足如下条件:上游任务执行成功。节点的定时运行时间已到。任何一个条件不满足,调度节点都无法执行,并且两个条件没有先后顺序。默认...

调度配置

调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置,详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...

湖仓版作业调度

云原生数据仓库AnalyticDB MySQL版 湖仓版(3.0)的作业调度提供离线SQL应用、Spark应用的复杂任务流功能,具备灵活的ETL数据处理、数据开发等能力。使用流程 前提条件 如果通过阿里云账号(主账号)登录,使用作业调度功能需要满足以下两...

创建资源

本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域(Region)中,命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时,需要创建命名空间。应用 在具体的...

基础术语

当数据量很大时,任务调度系统支持在单个执行步骤中把数据拆分成多个分片(data chunk),把一个任务的数据分散到不同的机器上运行。一个数据分片只由一个线程执行。多个数据分片可以在多台机器上调度执行,也可以在一台机器的多个线程上...

调度参数配置最佳实践

背景信息 调度参数配置的相关应用场景及最佳实践如下:调度参数配置最佳实践 调度参数在数据集成的典型应用场景 各类型节点的调度参数配置示例:SQL类型节点及离线同步节点 PyODPS节点 通用Shell节点 自定义参数取值差异对比示例:不同格式...

创建资源

本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域(Region)中,命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时,需要创建命名空间。应用 在具体的...

ack-ai-installer

ack-ai-installer是增强ACK Pro版集群和 ACK Edge集群Pro版 调度能力的Device Plugin(设备插件)的组件集合,支持结合ACK Scheduler(ACK基于Kubernetes Scheduling Framework扩展机制,针对不同任务负载、不同弹性资源的统一调度系统)...

调度参数

由于调度参数仅经过调度系统才能被自动替换,因此,如果您需通过数据开发测试调度参数在调度系统的替换情况,可选择开发环境冒烟测试。说明 由于数据集成任务没有开发环境测试功能,所以如果您需测试该类任务调度参数替换情况,建议新建...

PAI-TF概述

PAI-TF的作业都是基于底层的分布式调度系统动态调度至不同机器。当您提交PAI-TF作业时,无需担心是否需要提前申请GPU物理主机,PAI-TF所需要的GPU资源随作业的提交动态分配,随作业的结束动态释放。全局计算调度 当您在使用MaxCompute计算...

周期任务通用运维概述

周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍周期的脚本任务、明细及汇总表(维度逻辑表、事实逻辑表、汇总逻辑表)任务的通用功能,包括使用说明,支持的调度类型和相关功能说明。使用说明 仅生产环境运维中心支持...

周期任务通用运维概述

周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍周期的脚本任务、明细及汇总表(维度逻辑表、事实逻辑表、汇总逻辑表)任务的通用功能,包括使用说明,支持的调度类型和相关功能说明。使用说明 仅生产环境运维中心支持...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云消息队列 RocketMQ 版 文件存储 CPFS 云安全中心 负载均衡 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用