提交作业
如果集群的调度策略设置为根据优先级调度，高优先级的作业会被优先调度运行。计算节点数 用来运行此作业的计算节点数。任务数 每个计算节点运行此作业使用的任务数，即进程数。最大内存 每个计算节点运行此作业可使用的最大内存。默认为空...
智能解析调度不准问题
使用阿里云解析DNS服务器的域名，如果您设置的智能解析线路出现调度不准的情况，可以参考如下内容进行排查。说明 如果您不知道当前域名是否使用了阿里云解析DNS服务器，请参考 如何获知云解析DNS分配的DNS服务器。1.查看LocalDNS的出口IP ...
修改流量调度策略的名称和描述信息
调用UpdateCenInterRegionTrafficQosPolicyAttribute接口修改流量调度策略的名称和描述信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息...
通过控制台提交作业
作业指提交到E-HPC集群进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等，具体作业执行顺序根据您设置的队列以及调度器决定。E-HPC管理控制台提供了作业相关的提交作业、停止作业、查看作业状态等功能，本文介绍如何使用E-HPC...
概述
任务调度 SOFAStack 任务调度提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和运...
创建流量调度策略下队列的配置
如果您需要对不同类型和优先级的网络流量进行细致管理，以确保关键业务流量的性能并遵守服务级别协议，您可以调用CreateCenInterRegionTrafficQosQueue接口创建流量调度策略下队列的配置。接口说明 CreateCenInterRegionTrafficQosQueue ...
YARN调度器
基础架构&核心流程 CapacityScheduler的主调度流程有三种触发方式：节点心跳驱动（Node-Heartbeat Driven）：是面向节点的局部调度（当调度器收到每个节点心跳时触发，为当前节点选择可调度的应用），受限于心跳间隔时间与接近随机调度，...
E-HPC集群调度器插件
E-HPC提供了调度器插件作为平台的外扩组件，在E-HPC现有调度器类型或版本不满足当前业务时，您可以通过该插件构建自定义调度器并接入E-HPC平台的能力。本文为您介绍E-HPC集群调度器插件的概念及组成。什么是调度器插件 E-HPC作为一款PaaS...
依赖关系
配置调度依赖前您需先了解以下内容 什么是调度依赖 为什么要设置调度依赖 DataWorks上如何设置调度依赖？哪些场景不支持设置调度依赖？不需要依赖的表如何删除？调度依赖配置常见问题 提交节点报错：当前节点依赖的父节点输出名不存在 提交...
加工数据
配置定时调度时间：配置 调度周期 为日，无需单独配置当前节点 定时调度时间，当前节点每日调起时间由业务流程根节点WorkShop的定时调度时间控制，即每日00:15后才会调度。配置依赖关系：通过 代码自动解析 自动将产出ods_raw_log_d表数据...
加工数据
配置定时调度时间：配置 调度周期 为日，无需单独配置当前节点 定时调度时间，当前节点每日调起时间由业务流程根节点WorkShop的定时调度时间控制，即每日00:15后才会调度。配置依赖关系：通过 代码自动解析 自动将产出ods_raw_log_d表数据...
数据开发常见问题
调度配置常见问题 调度参数常见问题 典型配置场景 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 如何配置ODPS Spark节点中的时间参数？如何对不便于进行二次处理调度参数返回值的节点进行取值？如何定义调度...
Cron
6#3 每月的第三个周五10:15触发 Cron定时调度配置示例 在创建调度任务时可以使用Cron定时调度，创建调度任务的详细操作步骤请参见 创建调度任务。本文仅介绍在创建调度任务时如何配置Cron定时调度。进入 定时配置 页签，详情请参见 创建...
运维中心入门
本文以周期调度任务的运维为例，通过确认调度任务的配置是否符合预期、使用补数据计算历史时间段的数据、配置任务的智能监控规则，保障任务后续可以正常调度，为您介绍运维中心模块的基本使用。前提条件 根据 数据开发：开发者 文档创建 ...
周期性调度
当测试数据或超参数更新，并需要持续进行增量训练和模型调优时，您可以通过周期性调度功能定期提交DLC任务。DLC与DataWorks互通，方便您可以直接通过DataWorks的调度配置，实现定时提交DLC任务。本文为您介绍如何定时提交DLC任务。背景信息...
同时部署DDoS原生防护企业版和DDoS高防（中国内地）
您可以同时部署DDoS原生防护企业版和DDoS高防（中国内地），通过DDoS高防流量调度器的阶梯防护联动规则，保证正常业务流畅体验的前提下增强DDoS防护能力。本文介绍了同时部署DDoS原生防护企业版和DDoS高防（中国内地）的配置方法。背景信息...
函数计算节点
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其他类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。前提条件 已开通函数计算。您需要先开通函数计算服务后，才可在DataWorks使用函数计算...
OSS数据离线同步至MaxCompute
调度配置 单击右侧的 调度配置，本实践示例涉及的调度配置要点如下。通用的调度配置指导及全量调度相关参数的介绍请参见 调度配置。重跑属性。可根据业务需求设置不同的重跑策略，设置失败可重跑策略可以有效降低因为网络抖动等偶发问题...
OSS数据离线同步至MaxCompute
调度配置 单击右侧的 调度配置，本实践示例涉及的调度配置要点如下。通用的调度配置指导及全量调度相关参数的介绍请参见 调度配置。重跑属性。可根据业务需求设置不同的重跑策略，设置失败可重跑策略可以有效降低因为网络抖动等偶发问题...
RunInstances-批量创建实例
说明 区域级调度时必填，节点级调度时无效。350000 Carrier string 否 运营商。说明 区域级调度时必填，节点级调度时无效。telecom ScheduleAreaLevel string 是 调度层级。通过该字段来执行节点级调度或者区域调度。取值：Big：大区 ...
名词解释
调度时间 JobInstance每次调度的时间叫做调度时间，JobProcessor可以根据 context.getScheduleTime()获取。数据时间 SchedulerX可以处理有数据状态的任务。创建任务的时候可以填数据偏移。例如一个任务是每天00:30运行，但是实际上要处理上...
kube-scheduler组件监控
Scheduler尝试成功调度Pod次数 histogram_quantile($quantile,sum(rate(scheduler_pod_scheduling_attempts_bucket{job="ack-scheduler"}[$interval]))by(pod,le))调度器尝试调度Pod的次数，Bucket阈值为1、2、4、8、16。资源 可观测性展示...
任务常见问题
如果持续报错且每次报错的workerAddr都是同一台机器，说明服务端和客户端长连接断开，需要将该Worker节点重启或者升级SchedulerX客户端版本至最新版本。升级至最新版本后，断开的长连接可自动恢复。任务失败，报错“used space beyond 90.0...
负载均衡调度算法介绍
负载均衡会根据配置的调度算法，将来自客户端的请求按照对应的算法规则转发至相应的后端服务器。负载均衡支持轮询、加权轮询、加权最小连接数、一致性哈希等多种调度算法，用于支持不同的业务场景。本文列出所有负载均衡系列产品支持的调度...
通过虚拟节点将Pod调度到ECI上运行
如果您期望在 ACK集群Pro版 配置更为灵活的ECI Pod调度策略，例如只允许将Pod调度到ECI上、优先调度Pod到ECS节点上，或只允许将Pod调度到ECS节点上，具体操作请参见 实现ECI弹性伸缩。通过Pod标签将Pod调度到ECI上 创建Pod时添加标签 ...
云原生AI套件概述
异构计算集群概述 开启集群GPU监控 共享GPU调度概述 AI任务调度 多种调度策略支持：针对AI分布式训练等典型批量任务类型，ACK调度器扩展Kubernetes原生调度框架，支持实现多种典型批量调度策略，包括Gang Scheduling（Coscheduling）、FIFO...
计算资源优化
包括HPA、VPA、CronHPA和Elastic-Workload等类型，例如HPA是典型的调度层弹性组件，通过HPA可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。资源层弹性，主要是集群的容量规划不能满足集群调度...
工作原理
本文介绍智能巡检的背景信息、工作原理、功能特性、基本概念、调度与执行场景和使用建议。背景信息 基于时间的数据（例如日志、指标）日积月累后会积累大量的数据。例如，某个服务每天产生1000万条数据，则一年大约为36亿条数据。对于这些...
ACK One概述
智能调度 利用容器服务ACK调度器，实现Gang Scheduling、CPU拓扑感知、ECI弹性调度等高阶调度能力。利用分布式缓存ACK Fluid应对存算分离场景，提升访问效率和减少带宽占用。注册集群相关文档，请参见 注册集群概述。多集群舰队 当您同时...
配置示例：MaxCompute
配置关联调度 如果您需要在生产链路上监控离线数据质量，需要将数据质量规则与产出表数据的调度节点进行关联：产出表数据的调度节点必须发布后才可以关联调度。关联前，请确保您在关联的两个工作空间中，同时拥有 管理员、开发 或 运维 中...
Cron
6#3 每月的第三个周五10:15触发 Cron定时调度配置示例 在创建调度任务时可以使用Cron定时调度，创建调度任务的详细操作步骤请参见 创建调度任务。本文仅介绍在创建调度任务时如何配置Cron定时调度。进入 定时配置 页签，详情请参见 创建...
Cron
6#3 每月的第三个周五10:15触发 Cron定时调度配置示例 在创建调度任务时可以使用Cron定时调度，创建调度任务的详细操作步骤请参见 创建调度任务。本文仅介绍在创建调度任务时如何配置Cron定时调度。进入 定时配置 页签，详情请参见 创建...
新建并启用物理表质量检查计划
如果需要查看历史日期的调度结果，如前几天的调度数据结果，可以使用补数据功能，具体操作，请参见 新建补数据计划。具体时间 选择规则计划运行的时间点。分区产出检测 开启该项后，质量任务将在配置时间范围内，进行分区产出检测，该时间...
Hologres开发：周期性调度
HoloStudio与DataWorks无缝连通，您可以通过HoloStudio将MaxCompute数据导入Hologres，并基于DataWorks的底层能力，前往DataWorks进行定时调度，实现周期性导入数据至Hologres。本文为您介绍如何将MaxCompute源表数据导入Hologres进行周期...
新建并启用物理表质量检查计划
如果需要查看历史日期的调度结果，如前几天的调度数据结果，可以使用补数据功能，具体操作，请参见 新建补数据计划。具体时间 选择规则计划运行的时间点。分区产出检测 开启该项后，质量任务将在配置时间范围内，进行分区产出检测，该时间...
持续架构优化
通过分析后发现这些业务，随着业务的发展，新的业务场景也会出现，云厂商也会推出新的产品类型和产品规格，通过持续架构优化，适配业务需要，并优化云资源使用，降低用云成本。对应用架构进行云原生化改造 云原生架构是基于云原生技术的一...
功能特性
调度 利用容器服务ACK调度器，实现Gang Scheduling、CPU拓扑感知、ECI弹性调度等高阶调度能力。利用分布式缓存ACK Fluid应对存算分离场景，提升访问效率和减少带宽占用。服务治理 支持通过阿里云服务网格ASM或者微服务引擎MSE管理K8s集群中...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
Stream模型
Produce接口按指定频率持续运行生成一批次子任务信息进入队列，基于缓冲队列框架持续分发子任务给当前业务集群处理。处理分发过程不会等待上一批次执行结束，只要集群有可用机器，资源就会持续分发处理。该模型主要解决以下问题场景：现有...
使用DMS进行数据归档
随着企业的数据资料持续积累，需要持久化地保留数据资产，但是数据的存储成本居高不下，因此DMS和 AnalyticDB PostgreSQL版 Serverless模式共同推出了数据归档功能，可以面对数据库实现灵活低价、归档管理和高分析性能的能力。功能介绍 DMS...
- 产品推荐
- 这些文档可能帮助您