Warm Up（冷启动）
对于长期处于低水位状态的系统，可以使用Warm Up（冷启动）功能来避免流量骤增导致水位瞬间升高系统不可用的情况。功能原理 Warm Up，即冷启动/预热的方式。当系统长期处于低水位的情况下，若流量突然增加，可能会把系统水位瞬间拉高把系统...
什么是故障演练
适用场景 故障演练可适用于以下典型场景：衡量微服务的容错能力 通过模拟调用延迟、服务不可用、机器资源满载等，查看发生故障的节点或实例是否被自动隔离、下线，流量调度是否正确，预案是否有效，同时观察系统整体的QPS或RT是否受影响。...
强弱依赖治理概述
异常发生时，不影响核心业务流程，不影响系统可用性的依赖称作弱依赖，反之为强依赖。以商品详情页为例。商品详情页后台系统架构如下。如果商品详情页对下游依赖是强依赖，例如当下游依赖 库存、优惠、物流 出现故障的时候，将导致业务流程...
查看调度资源大盘
指标 描述 CPU总量 调度集群可用的CPU总量（不包括系统消耗）。已分配CPU 当前统计时间点已分配给任务的CPU总量。CPU分配率 当前统计时间点对应的已分配CPU/CPU总量（结果精确到后2位百分点）。内存总量 调度集群可用的内存总量（不包括...
创建数据源质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、代码检查触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
创建数据源质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、代码检查触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
什么是SCDN
多级调度：支持多级的调度策略，节点故障不会造成用户服务不可用。多系统联动：和阿里云其他产品形成多系统联动，与安全防御系统、刷新系统、内容管理系统等协调工作，达到各模块的最优性能。流量预测：数据化实时调度，支持节点级别流量...
Quota管理（新版）
当二级Quota类型为交互式时，此参数默认不可用。适用于防止单作业长时间占用大量CU导致其他作业等待资源。同时支持作业级别进行限制，在执行的代码前使用 set odps.task.max.concurrent.cu=量>;命令进行设置，作业级别的配置优先级高于...
产品相关问题
分布式调度：提高系统的可用性、伸缩性，且调度与业务的分离，让研发更专注业务逻辑的开发。多种任务类型：简单任务，集群任务，消息任务，流式任务，满足不同场景需求。丰富的管理功能：包括定时触发、事件触发、手动触发、优雅停止、断点...
实践教程概览
MemVerge Memory Machine部署使用实践 MemVerge Memory Machine是一款大内存算例加速软件，支持可横向扩展的内存节点集群，以提供HPC应用程序所需的大规模内存容量，以及内存系统的企业级数据服务和数据高可用性。本教程介绍如何在E-HPC...
数据开发功能索引
说明 如果您创建的节点没有选择调度资源组，则运行任务时，系统会先提示您选择可用的调度资源组。高级运行（带参数运行）（）：使用配置的参数运行当前节点代码。运行 代码时每次都需要手动给SQL语句中的变量进行赋值，运行 的初始赋值会...
常见问题
移动调度中心 SDK 内置有移动调度中心域名的 IP 硬编码，防止 App 首次安装后运营商的 DNS 不可用。Q：移动调度中心域名获取IP的策略有哪些？A：移动调度中心域名获取自身域名 IP 的策略如下：从移动调度中心后台配置中获取，移动调度中心...
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
功能说明
下文会对全局流量管理（简称GTM）的核心功能进行...③ 对于地址池集合，可以设置可用IP地址的最小数量阈值，当地址池集合中健康的IP地址数量小于设置的可用IP地址最小数量阈值时，系统会将该地址池整体设置为不可用并切换到备地址池集合上。
虚拟节点调度方案对比及介绍
针对虚拟节点，ACK Serverless集群基础版 和 ACK Serverless集群Pro版 支持的调度方式不同，且有其特定的使用场景，例如调度到指定操作系统或架构类型的虚拟节点上、跨可用区亲和等。您可以依据调度场景以及集群类型，参考本文选择合适的...
任务管理
执行中：调度系统开始调度执行，反馈给到资产治理模块的状态。已终止：暂停后调度系统中反馈实际任务的状态。业务日期：当前任务对应执行元数据、日志的时间。执行日期：任务实际执行的日期。查看任务详情 在任务管理页面，单击需查看任务...
任务管理
执行中：调度系统开始调度执行，反馈给到资产治理模块的状态。已终止：暂停后调度系统中反馈实际任务的状态。业务日期：当前任务对应执行元数据、日志的时间。执行日期：任务实际执行的日期。查看任务详情 在任务管理页面，单击需查看任务...
网络架构容灾
VPC可以分别通过两个VPN网关学习到本地数据中心的路由，但是VPC默认仅通过一个VPN网关（系统优先选择实例ID较小的VPN网关）转发从VPC去往本地数据中心的流量，在当前VPN网关不可用后，才会通过另一个VPN网关转发流量（系统自动切换），因此...
概念原理
本文介绍任务调度的概念原理。任务分步 一个简单任务可以拆分成多个执行步骤（step），由不同的执行器（handler）按顺序执行。前置步骤成功完成后才开始执行下一个步骤。例如，“对账”任务的处理步骤是：下载银行的清算文件>根据约定格式...
访问策略
而当主地址池集合不可用时，系统会根据生效地址池集合切换策略，在主地址池集合与备地址池集合之间自动切换。地址池类型：目前支持IPV4、IPV6及域名。选择地址池：确定地址池类型后，从已经创建的地址池中选择。新增地址池：若未进行创建...
基础术语
当数据量很大时，任务调度系统支持在单个执行步骤中把数据拆分成多个分片（data chunk），把一个任务的数据分散到不同的机器上运行。一个数据分片只由一个线程执行。多个数据分片可以在多台机器上调度执行，也可以在一台机器的多个线程上...
工作流编辑
配置工作流调度 您可以打开工作流调度配置面板，配置工作流调度参数，调度系统会按照参数定时运行相关工作流，并将作业下发到指定集群上执行。以下介绍如何配置工作流的基本属性、调度属性和告警设置。进入数据开发的项目列表页面。通过...
调度参数配置最佳实践
背景信息 调度参数配置的相关应用场景及最佳实践如下：调度参数配置最佳实践 调度参数在数据集成的典型应用场景 各类型节点的调度参数配置示例：SQL类型节点及离线同步节点 PyODPS节点 通用Shell节点 自定义参数取值差异对比示例：不同格式...
ack-ai-installer
ack-ai-installer是增强ACK Pro版集群和 ACK Edge集群Pro版 调度能力的Device Plugin（设备插件）的组件集合，支持结合ACK Scheduler（ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统）...
调度DLA Spark任务
还提供了SDK以及Spark-Submit工具用于提交Spark作业、查询作业状态、获取作业日志等功能，详情请参见：SDK安装与使用 Spark-Submit命令行工具 您可以利用上述工具，使用第三方任务编排调度系统（例如 Apache Airflow）来打造自己的工作流。
存储多可用区部署的推荐配置
当集群可用区内的节点均不可用时，可立即弹出节点进行匹配。使用高可用类型的云盘避免云盘挂载失败。确保应用可以均匀分配至各个节点（各个可用区）。节点池推荐配置 每个节点池使用单一可用区，每新增一个可用区，都需要新建节点池。具体...
工作流使用案例
配置工作流调度 您可以打开工作流调度开关并配置工作流调度参数，调度系统会按照参数定时运行相关工作流，并将作业下发到指定集群上执行。以下介绍配置工作流的基本属性、调度属性和告警设置。完成工作流设计后，单机画布右上角 配置 按钮...
【通知】Serverless自动调度模式商业化
适用范围 不是所有地域和可用区都支持购买Serverless自动调度模式实例，若当前地域和可用区不支持购买，请更换地域和可用区。支持购买Serverless自动调度模式实例的地域和可用区，具体以控制台为准。应用场景 Serverless自动调度模式适用于...
运维中心概述
当当前节点所有的父节点运行成功，并且已经到达节点设置的定时运行时间时，如果节点指定的调度资源组无可用资源时，节点进入等待资源的状态，直到占用该调度资源的任务执行成功，将资源释放后启动运行。本任务不是冻结状态 如果当前节点...
系统防护
目的是在系统不被拖垮的情况下，提高系统的吞吐率。功能原理 我们把系统处理请求的过程想象为一个水管，到来的请求是往这个水管灌水，当系统处理顺畅的时候，请求不需要排队，直接从水管中穿过，这个请求的RT是最短的；反之，当请求堆积的...
使用Azkaban调度MaxCompute
背景信息 Azkaban是一套作业调度系统，可以调度Command、Hadoop MapReduce、Hive、Spark、Pig等类型作业，而且支持自定义Plugin，其中最简单而且最常用的是Command类型。更多Azkaban信息，请参见 Azkaban。您需要将待调度作业依赖的源数据...
什么是阿里云CDN
链路质量系统 链路质量探测系统会实时监测缓存系统中的所有节点和链路的实时负载以及健康状况，并将结果反馈给调度系统，调度系统根据用户请求中携带的IP地址解析用户的运营商和区域归属，然后综合链路质量信息为用户分配一个最佳接入节点...
数据开发：开发者
本文以使用MaxCompute数据源，在DataWorks上运行MaxCompute作业任务为例，为您介绍开发人员如何使用数据开发（DataStudio）创建一个周期调度任务，帮助您快速了解数据开发（DataStudio）模块的基本使用。前提条件 已完成开发前的环境准备，...
在ACK集群部署多租户任务调度管理
在ACK集群中，企业可以通过AI套件中的任务管理工具Arena、队列调度管理系统Kube Queue、配额管理工具ElasticQuotaTree以及Prometheus监控打造企业级任务调度系统。本文将从实际案例出发自底而上地介绍如何基于ACK集群构建一个任务调度系统...
虚拟节点调度方案对比及介绍
针对虚拟节点，ACK托管集群（Pro版和基础版）和 ACK专有集群 支持的调度方式不同，且有其特定的使用场景，例如直接指定Pod只调度到虚拟节点、跨可用区打散等。您可以依据调度场景以及集群类型，参考本文选择合适的调度方式。常见虚拟节点...
FTP Check节点
背景信息 FTP Check节点的典型应用场景：当DataWorks调度系统中的任务需要访问一个外部数据库时，但由于该数据库的相关数据写入任务不在DataWorks中，DataWorks无法知道该数据库何时完成写入任务并可以被访问。如果DataWorks读取未写入完成...
资源包（专业版）
此外，为避免欠费导致资源不可用，您还可以开启资源包额度预警。当账户资源包余量低于设定的剩余额度比例时，系统将以短信等方式提醒。说明 打开 统一额度预警设置 开关，会同步打开所有的资源包预警。如果您需要为不同的资源包设置额度...
调度依赖配置指引
例如，控制业务流程整体调度时间、控制业务流程整体调度与冻结（即不调度）。方式二：基于血缘配置依赖关系 由于节点依赖关系配置后，默认节点的上下游产出表存在强依赖关系（即下游表数据的产出需要依赖上游产出的表数据），因此，任务在...
管理调度资源组
调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求，您可以根据业务场景需求购买合适规格的付费调度资源组。购买调度资源组后，在实际使用前您还需进行...
功能概述
假如地址池内，健康IP地址的数量小于您设置的最小可用地址数量，系统则会自动将地址池设置为不可用，同时访问策略会根据会地址池的可用性状态自动选择是否切换至备用地址池。3.地址工作模式 在地址池内，用户是可以为不同的IP设置不同的...
- 产品推荐
- 这些文档可能帮助您