扩展MapReduce（MR2）
相比于传统的MapReudce，MaxCompute提供的扩展MapReduce模型（简称MR2）改变了底层的调度和IO模型，可避免作业时冗余的IO操作。与MaxCompute相比，MR2在Map、Reduce等函数编写方式上基本一致，较大的不同点发生在执行作业时，示例请参见 ...
使用负载热点打散重调度
ack-koordinator默认会将资源画像、精细化调度等功能的监控指标以Prometheus的格式对外透出。若您配置组件时开启了 ACK-Koordinator开启Prometheus监控指标 选项并使用了阿里云Prometheus服务，这些指标将被视为 自定义指标 并产生相应费用...
持久化存储
本章将为您介绍如何使用平台能力在自研节点中进行持久...work1中的tomcat节点在被master检测到异常后，被调度到work2中重启，如果这个节点使用了持久化存储能力，持久化的磁盘将会重新挂载至work2中的tomcat节点，保证之前写入的数据不丢失。
服务运维
Service Mesh 是非常基础的组件，目前的应急手段主要是下述重启方式：Sidecar 单独重启 Pod 重启 变更风险防控 除了传统的变更三板斧之外，蚂蚁还引入了无人值守变更，对 Service Mesh 变更做了自动检测、自动分析与变更熔断。无人值守变更...
使用DMS进行数据归档
随着企业的数据资料持续积累，需要持久化地保留数据资产，但是数据的存储成本居高不下，因此DMS和 AnalyticDB PostgreSQL版 Serverless模式共同推出了数据归档功能，可以面对数据库实现灵活低价、归档管理和高分析性能的能力。功能介绍 DMS...
Group Identity功能说明
背景信息 在业务的混合部署（延迟敏感型和计算型任务混合部署在同一台实例）场景中，Linux内核调度器需要为高优先级任务赋予更多的调度机会以最小化调度延迟，并需要把低优先级任务对内核调度带来的影响降到最低。基于该场景，Alibaba ...
自定义资源组
不同资源组的初始化命令不同，且不可互相使用。请务必完全复制 服务器初始化 对话框中的命令，并按照顺序执行。专有网络的机器需要执行经典网络的初始化语句。时间与北京时间相差5分钟以上。确认方法如下：登录ECS。执行命令 date，查看...
基本概念
可视化服务 创建可视化服务后，您可以通过E-HPC管理控制台远程打开云桌面或APP，进行高性能计算的图形化前后处理工作。高性能容器应用 通过高性能容器应用，您可以在E-HPC集群上通过容器应用完成高性能计算作业，利用E-HPC集群的强大算力和...
服务端发布记录
本文介绍分布式任务调度SchedulerX产品发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的发布动态。发布记录 2024-02-29 功能名称 变更类型 功能描述 相关文档 Java版本SDK v1.11.1 修复 Netty、Logback等...
Task快速重启配置
本文为您介绍，如何配置Task快速重启，从而降低Failover对作业的影响。背景信息 重要 此功能为预览功能，请在生产环境下谨慎使用，如遇问题请及时 提交工单 和技术支持部门取得联系。通常，当Flink流作业中的某个Task发生异常时，为了保证...
如何在SchedulerX 2.0平台上托管ElasticJob任务
分布式任务调度SchedulerX 2.0兼容开源ElasticJob任务接口，您无需修改代码，即可将ElasticJob任务在SchedulerX 2.0平台上进行托管。本文介绍如何在SchedulerX 2.0平台上托管ElasticJob任务。背景信息 ElasticJob基于Quartz开发并且依赖...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务...
工作负载推荐配置
声明每个Pod的resource（Request和Limit）在使用Kubernetes集群时，经常会遇到在一个节点上调度了太多的Pod，导致节点负载过高，无法正常对外提供服务的问题。为避免上述问题，在Kubernetes集群中部署Pod时，您可以指定该Pod所需的Request...
任务常见问题
如果持续报错且每次报错的workerAddr都是同一台机器，说明服务端和客户端长连接断开，需要将该Worker节点重启或者升级SchedulerX客户端版本至最新版本。升级至最新版本后，断开的长连接可自动恢复。任务失败，报错“used space beyond 90.0...
YARN资源配置
从EMR-3.49.0及之后版本，EMR-5.15.0及之后版本开始，EMR会根据集群初始化的机型和服务选择情况，在创建集群过程中动态调整组件的默认内存设置，而不是使用之前版本中的默认配置。本文为您介绍YARN组件堆内存大小配置以及YARN资源配置的...
管理工作流定义
工作流定义是通过拖拽任务节点并建立任务节点之间的关联来创建可视化的DAG（有向无环图）。本文为您介绍如何创建工作流及工作流定义的相关操作。前提条件 已新建项目，详情请参见 管理项目。创建工作流 进入项目管理页面。使用阿里云账号...
节点异常问题排查
2 Insufficient ephemeral-storage 其中调度器判定节点资源不足的计算方式为：集群节点CPU资源不足的判定方式：当前Pod请求的CPU资源总量>（节点可分配的CPU资源总量-节点已分配的CPU资源总量）集群节点内存资源不足的判定方式：当前Pod...
集群概述
调度服务：主要作用是运行PBS或Slurm等调度工具的服务端，处理作业提交、管理调度等。域账号服务：集中管理E-HPC集群内用户信息。重要 管控节点负责作业的管理调度和域账号解析，请勿在管控节点进行编译软件、上传下载打包数据等操作，以免...
Pod诊断
节点是否不可调度 检查节点是否不可调度。节点不可调度，请检查节点调度设置。具体操作，请参见 设置节点调度。节点OOM情况 检查节点是否出现OOM。节点出现OOM问题，请收集节点日志并 提交工单 处理。关于收集节点日志操作，请参见 一键...
K8s任务
重要 通过SchedulerX运行K8s Pod，建议不要运行长周期的Pod（比如Web应用，一旦启动永远不会结束），重启策略需要设置成Never（否则Pod会不断重启）。通过环境变量获取任务参数 SchedulerX系统支持将任务参数预先配置到环境变量中，这样...
创建有状态工作负载StatefulSet
参数 请求类型 配置说明 存活检查（Liveness）：用于检测何时重启容器。就绪检查（Readiness）：确定容器是否已经就绪，且可以接受流量。启动探测（Startup Probes）：用于检测何时启动容器。说明 仅Kubernetes集群1.18及之后版本支持启动...
创建安全沙箱应用
您可以在安全沙箱Kubernetes集群中使用镜像创建一个可公网访问的nginx应用。索引 前提条件 步骤一：登录容器服务控制台 步骤二：配置应用基本信息 步骤三：配置容器（可选）步骤四：高级配置 查看结果 执行结果 前提条件 创建一个安全沙箱...
任务常见问题
如果持续报错且每次报错的workerAddr都是同一台机器，说明服务端和客户端长连接断开，需要将该Worker节点重启或者升级SchedulerX客户端版本至最新版本。升级至最新版本后，断开的长连接可自动恢复。任务失败，报错“used space beyond 90.0...
任务常见问题
如果持续报错且每次报错的workerAddr都是同一台机器，说明服务端和客户端长连接断开，需要将该Worker节点重启或者升级SchedulerX客户端版本至最新版本。升级至最新版本后，断开的长连接可自动恢复。任务失败，报错“used space beyond 90.0...
预案管理
您可以选择添加串行步骤或导入串行步骤，操作步骤如下：添加串行步骤：单击 添加串行步骤，在右侧弹出的节点列表中选择原子操作，并根据界面提示配置原子操作信息。导入串行步骤：单击 导入串行步骤，在右侧弹出的预案列表中，从已有预案中...
如何将任务调度应用优雅下线
本文介绍如何将任务调度应用优雅下线。背景信息 在实际业务场景下，定时任务持续地按固定频率在应用进程中执行。当应用在发布重启时，进程需暂时下线。如果直接关闭应用，正在进行中的定时任务将被中断，可能导致数据不完整或其他问题。为...
在Kubernetes集群中部署SchedulerX
背景信息 使用SchedulerX调度K8s Job有如下优势：可在线编辑的脚本Pod K8s Job常用场景是用来做数据处理和运维，一般以脚本实现居多。原生的使用方式需要把脚本打包到镜像里，在YAML文件中配置脚本命令。如果要修改脚本，就需要重新构建...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 EDAS控制台。在左侧导航栏，单击 任务调度。在顶部菜单栏选择地域。在左侧导航栏，...
执行补数据并查看补数据实例（旧版）
您可在DAG图上使用可视化方式添加节点，也可在任务列表中添加节点。在当前周期任务的DAG图中，结合DAG的聚合功能，按照工作空间、所属责任人或优先级等维度将节点划分为组，直接勾选该节点组，快速添加目标类别的节点为补数据节点。实例的...
功能特性
查看集群资源概览 查看集群资源概览 View the overview information about cluster resources 可视化弹性成本分析 可多维度地了解集群资源使用量及成本分布情况，从而协助您评估集群弹性成本节省效果，优化集群资源利用。可视化弹性成本...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
概述
子查询支持 在并行查询下子查询有四种执行策略：在Leader线程中串行执行 当子查询不可并行执行时，例如2个表JOIN，在JOIN条件上引用了用户的函数，此时子查询会在Leader线程上进行串行查询。在Leader上并行执行（Leader会启动另一组Worker...
Java SDK
企业级分布式批处理方案 1.4.2，2022-03-07 变更类型 功能描述 相关文档 新增 分布式任务调度系统SchedulerX 2.0的日志服务，您不需要修改一行代码，只需要增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）...
Pod诊断
Pod初始化状态 检查Pod是否正常初始化。请检查Pod状态及日志。更多信息，请参见 Pod异常问题排查。Pod申请的GPU资源 检查Pod是否申请GPU资源，排除因为未申请GPU资源导致的Pod无法使用GPU。该Pod中没有声明GPU资源，如有需要，请检查Pod...
Pod诊断
Pod 检查项名称 检查项说明 修复方案 Pod容器重启次数统计 统计Pod中容器重启次数。请检查Pod状态及日志。更多信息，请参见 Pod异常问题排查。Pod容器镜像下载阻塞情况 检查Pod同节点是否有其他Pod的容器镜像下载被阻塞。请检查Pod状态及...
工作流
基础架构 工作流示例 审核+转码串行 此流程表示视频进入到点播后，先进行审核操作，然后进行转码操作的串行化处理。具体审核完成后如何进行转码，请参见下文 审核+转码串行。审核+转码并行 此操作表示视频进入到点播后，同时进行审核和转码...
调度概述
ACK Scheduler支持不同弹性资源的混合调度、异构资源的精细化调度、批量计算的任务调度等，提升应用的性能和集群整体资源的利用率。本文介绍弹性调度、任务调度、异构资源调度、负载感知调度和精细化调度的主要功能。弹性调度 ACK为不同...
资源调度概述
ACS兼容Kubernetes原生调度能力，支持不同类型的工作负载混合调度，并提供弹性资源、异构资源等精细化调度能力。本文介绍ACS兼容的Kubernetes原生调度能力和任务调度能力。兼容的Kubernetes原生调度能力 ACS兼容Kubernetes原生调度能力，但...
- 产品推荐
- 这些文档可能帮助您