加工原理
调度原理 日志服务的数据加工功能使用协同消费组对源日志库的日志数据进行流式消费，将每一条日志通过加工规则处理后再输出。调度机制 对每一个加工规则，加工服务的调度器会启动一个或多个运行实例，每个运行实例扮演一个消费者的角色去...
使用流量调度功能控制各类流量的跨地域带宽
工作原理 流量调度功能主要通过流量标记策略和流量调度策略两个模块实现：流量标记策略 流量标记策略通过流分类规则捕获符合规则的流量，捕获后，可以为流量添加DSCP（Differentiated Services Code Point）值作为标记。单击查看流量标记...
操作指南
您可以在 云工作流 控制台创建和执行工作流、创建工作流调度、将 云工作流 ...云工作流 新版 工作流定义 创建工作流 工作流执行 工作流调度 工作流集成 监控指标 Serverless 工作流旧版 管理工作流 执行工作流 工作流调度 工作流集成 监控指标
调度原理
本视频向您介绍日志服务数据加工的数据调度原理。
定时触发工作流
在 Serverless 工作流 创建定时调度，工作流被定时执行，然后任务步骤中的函数也会被定时执行。操作步骤 登录 Serverless 工作流 控制台。在顶部菜单栏，选择地域。在左侧导航栏，单击 应用中心。在 应用中心 页面，单击 创建应用。在 创建...
定时调度
云工作流 支持通过配置Cron表达式周期性或指定时间来调度工作流执行。本文介绍如何为 云工作流 配置定时调度。前提条件 事件总线（EventBridge）开通事件总线EventBridge并授权 云工作流（CloudFlow）已成功创建工作流。具体操作，请参见 ...
流程管理
流程管理提供可视化的任务编排，您可以使用Crontab创建定时调度工作流，并通过API触发。创建工作流 您可以创建工作流调度任务。说明 目前工作流调度仅支持Cron表达式。登录 EDAS控制台。在左侧导航栏单击 任务调度。在顶部菜单栏选择地域。...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
PAI-TF概述
PAI-TF的作业都是基于底层的分布式调度系统动态调度至不同机器。当您提交PAI-TF作业时，无需担心是否需要提前申请GPU物理主机，PAI-TF所需要的GPU资源随作业的提交动态分配，随作业的结束动态释放。全局计算调度 当您在使用MaxCompute计算...
确认表血缘
确认表血缘 同空间下确认上游表血缘 节点周期写入某张表某个分区的数据，大部分场景都是采用调度参数来动态实现，您可参考 调度参数，了解调度参数的替换原理。若您需要依赖同工作空间某节点，则可检查其调度参数的配置情况。开发环境确认...
EventBridge事件调度
创建EventBridge事件调度 云产品事件调度 云产品事件调度能够实现通过阿里云产品事件调度工作流执行，这些事件主要包括云监控事件、审计事件、云服务器事件、阿里云物联网IoT事件和部分云产品运维事件等云产品事件。本文以云服务器为例，...
创建定时调度
Serverless工作流 支持通过配置Cron表达式来定时调度工作流的执行。本文介绍如何为 Serverless工作流 创建定时调度。前提条件 成功创建工作流 使用控制台创建定时调度 登录 Serverless工作流控制台。在左侧导航栏，单击 流程。在流程列表中...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
管理工作流
重要 周期调度工作流创建后，需要将 调度状态 开启，才能在生效时间点触发运行。失败重试次数 为工作流中的节点统一设置失败重试的次数，默认失败不重试。失败通知 工作流节点失败时默认的通知邮箱。资源队列 工作流的部署目标，详情请参见...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
快速入门
本文为您介绍如何通过阿里云E-MapReduce（简称EMR）控制台，快速创建EMR Studio集群并开展交互式开发和工作流调度工作。背景信息 如果您想了解更多Zeppelin、Jupyter和Airflow的信息，请参见以下内容：Zeppelin概述 管理JupyterHub 定期...
工作流调度简介
您可以在指定工作流中创建工作流调度，工作流调度描述了一组规则，当某个事件满足这些规则，事件源就会触发关联的工作流执行。本文介绍什么是工作流调度。什么是工作流调度 工作流调度（即触发器）是触发工作流执行的方式。在事件驱动的...
管理工作流定义
（定时）只有上线的工作流可以定时，系统自动定时调度工作流运行。创建定时后的状态为 上线，需在定时管理页面上线定时才生效。定时工作流的具体操作，请参见 定时工作流。（上线）工作流状态为 下线 时，可以上线工作流。（下线）工作流...
场景3：如何配置跨业务流程、跨工作空间的调度依赖
跨工作空间配置调度依赖 DataWorks支持同区域下的工作空间进行跨工作空间依赖，根据调度依赖原理，通过将上游节点的输出作为下游节点的输入，以此形成节点依赖，实现跨工作空间的调度依赖。例如，将工作空间A中节点A的输出添加为工作空间B...
使用负载感知调度
工作原理 负载感知调度功能由ACK调度器和ack-koordinator组件配合完成。其中，ack-koordinator负责节点资源利用率的采集和上报，ACK调度器会根据利用率数据对节点进行打分排序，优先选取负载更低的节点参与调度。关于ack-koordinator组件...
工作原理
本文介绍智能巡检的背景信息、工作原理、功能特性、基本概念、调度与执行场景和使用建议。背景信息 基于时间的数据（例如日志、指标）日积月累后会积累大量的数据。例如，某个服务每天产生1000万条数据，则一年大约为36亿条数据。对于这些...
通过虚拟节点将Pod调度到ECI上运行
工作原理 阿里云弹性容器实例ECI（Elastic Container Instance）是面向容器设计的无服务器弹性计算服务，提供了免运维、强隔离、能快速启动的容器运行环境。使用ECI时，您无需购买和管理底层ECS服务器，可以更加关注容器应用而非底层基础...
通过虚拟节点将Pod调度到ECI上运行
工作原理 阿里云弹性容器实例ECI（Elastic Container Instance）是面向容器设计的无服务器弹性计算服务，提供了免运维、强隔离、能快速启动的容器运行环境。使用ECI时，您无需购买和管理底层ECS服务器，可以更加关注容器应用而非底层基础...
使用负载热点打散重调度
koord-descheduler模块工作原理 ack-koordinator组件提供koord-descheduler模块，其中LowNodeLoad插件负责感知负载水位并完成热点打散重调度工作。与Kubernetes原生的Descheduler的插件LowNodeUtilization不同，LowNodeLoad是根据节点真实...
加工数据
更多关于调度依赖的原理，请参见 调度依赖配置指引。节点和产出表一对一关系。节点名命名与产出表名保持一致。进入数据开发 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作...
加工数据
更多关于调度依赖的原理，请参见 调度依赖配置指引。节点和产出表一对一关系。节点名命名与产出表名保持一致。进入数据开发 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据...
通用计算资源配额
调度策略 选择合适的调度策略，提高算力资源的利用率，取值如下：智能策略 均衡策略 遍历策略 FIFO策略 关于各个调度策略的原理介绍，请参见 调度策略。关联工作空间 选择所属的工作空间后，该资源配额将与该工作空间绑定。描述 对资源配额...
集群任务限流
动态限流 动态限流通过任务调度控制台调整限流速率，不管是否提供限流器，动态限流都可以正常工作。如果没有指定限流器，任务调度客户端使用默认的 DefaultLimiter 限流器。配置方式有以下两种：全局生效 在配置或编辑任务调度时配置的限流...
调度依赖配置指引
说明 调度参数会根据任务调度的业务日期、定时时间及参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换，进而实现任务查询与产出的表分区变更。基于表血缘选择调度依赖方式的步骤如下：确认表的血缘关系 为保障任务...
存储基础知识
如果有Pod消费此PVC，调度器发现PVC是延迟绑定模式，则继续完成调度功能，且调度器会将调度结果通过 patch 命令写入PVC的 metadata 中。当Provisioner发现PVC中写入了调度信息时，会根据调度信息获取创建目标数据卷的位置信息（区域和节点...
文档修订记录
本文为您介绍DataWorks文档更新的最新动态，基于此您可以及时了解DataWorks的新增特性及功能变更。2024年2月更新记录 时间 特性 类别 描述 产品文档 2024.2.22 新增功能 账单订阅及查询分析 用户中心支持订阅不同类型的账单数据，例如，...
服务运行
本文介绍使用容器服务ACK涉及的服务授权、访问、调度及资源分配等常见问题。如何部署集群的第一个应用？集群中的应用A如何访问应用B？如何将集群内的各节点资源合理的分配给不同容器组？如何将Pod调度到指定ECS节点？如何获取服务Service的...
在ACK集群部署多租户任务调度管理
在ACK集群中，企业可以通过AI套件中的任务管理工具Arena、队列调度管理系统Kube Queue、配额管理工具ElasticQuotaTree以及Prometheus监控打造企业级任务调度系统。本文将从实际案例出发自底而上地介绍如何基于ACK集群构建一个任务调度系统...
工作流编辑
背景信息 本文为您提供工作流编辑的相关操作介绍，具体如下：新建工作流 编辑工作流 配置工作流调度 执行工作流 查看工作流运行记录 工作流可执行操作 前提条件 已创建项目，详情请参见 项目管理。已编辑好作业，详情请参见 作业编辑。新建...
工作流调度
工作流调度至少要有2个Job，且有依赖关系。如果只有一个Job，请直接使用任务管理。工作流支持跨应用编排，可以将不同应用下的任务进行编排。使用限制 当前只有Java任务支持数据传输，分布式Java任务请使用MapReduce模型进行数据传输。使用 ...
高级功能：全局变量
在PAI工作流中配置的全局变量值仅用于在线运行工作流使用，离线调度时会使用调度中配置的参数值替换运行。本示例以以下工作流为例，源数据包括两个分区的数据。准备源数据。配置全局变量。具体步骤请参见 示例1：工作流内组件公用参数。本...
CPU拓扑感知调度
在以下场景中，建议使用CPU拓扑感知调度：工作负载为计算密集型。应用程序对CPU敏感。运行在神龙裸金属（Intel、AMD）等多核机器上。通过在物理机上部署两个4核8 GB的Nginx并进行压测，发现在Intel（104核）、AMD（256核）的物理机上，使用...
工作流使用案例
配置工作流调度 您可以打开工作流调度开关并配置工作流调度参数，调度系统会按照参数定时运行相关工作流，并将作业下发到指定集群上执行。以下介绍配置工作流的基本属性、调度属性和告警设置。完成工作流设计后，单机画布右上角 配置 按钮...
离线批量预测
离线预测工作流部署周期性调度 离线预测工作流测试通过后，您可以将预测工作流提交到DataWorks进行周期性调度，详情请参见 使用DataWorks离线调度Designer工作流。对于工作空间是DataWorks 标准模式 的用户来说，开发环境和生产环境的...
如何在调度任务中自动同步PAI模型至OSS
本文为您介绍如何在调度任务中，自动同步PAI模型至OSS。前提条件 在开始执行操作之前，请确认您已经完成以下准备工作：已开通OSS并创建OSS Bucket存储空间，详情请参见 开通OSS服务 和 控制台快速入门。已完成OSS访问授权，详情请参见 云...
- 产品推荐
- 这些文档可能帮助您