RESTART CQ
重启持续查询。语法 RESTART CQ cq_name 参数说明 参数 是否必选 说明 cq_name 是 持续查询的名称。示例 重启持续查询filter1。RESTART CQ filter1;返回结果如下：1 row affected 说明 您可以通过 DESCRIBE 语句查看持续查询的 Status 值...
历史数据清理
重启调度 说明 关闭工单后，若需要重启调度只能重新提工单。修改工单责任人 工单责任人默认是工单提交者。定时调度的暂停、重启，只有工单责任人有权限执行，每次调度执行的邮件通知，也只会发给责任人。定时任务生成后，系统将会按照设置...
设置调度器参数
如果没有其他操作触发调度（例如提交作业、重启调度服务），则时隔调度周期触发一次调度。最大作业数 最大允许的作业数。最大排队作业数 最大允许的排队作业数。调度器队列参数配置 队列 选择要设置的队列。队列资源限制 单击 新增限制。...
更改共享GPU调度显存最小分配单位
若集群创建时间早于2021年10月20日，需要 提交工单 让售后同学重启调度器，配置才能生效。更改显存单位 登录 容器服务管理控制台。在左侧导航栏，选择 市场>应用市场。在 应用目录 页签下搜索框中搜索 ack-ai-installer，单击 ack-ai-...
采集部署
应用可重启、持续采集（大多数场景）。其他说明 当应用停止：无论方式一、二启动的监控，应用停止则agent停止。agent主动停止监控：方式一：重启应用或通过命令./attach.sh-p${pid}-s。方式二：去掉配置的javaagent后重启应用。agent停止...
使用负载热点打散重调度
ack-koordinator组件提供负载热点打散重调度能力，可以感知集群内节点负载的变化，自动地优化超过负载水位安全阈值的节点，防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...
如何将任务调度应用优雅下线
背景信息 在实际业务场景下，定时任务持续地按固定频率在应用进程中执行。当应用在发布重启时，进程需暂时下线。如果直接关闭应用，正在进行中的定时任务将被中断，可能导致数据不完整或其他问题。为避免该情况，SchedulerX实现了定时任务...
如何将任务调度应用优雅下线
本文介绍如何将任务调度应用优雅下线。背景信息 在实际业务场景下，定时任务持续地按固定频率在应用进程中执行。当应用在发布重启时，进程需暂时下线。如果直接关闭应用，正在进行中的定时任务将被中断，可能导致数据不完整或其他问题。为...
配置共享GPU调度cGPU算力调度策略
在 调度 区域，选中 调度组件（批量任务调度、GPU共享、GPU拓扑感知、NPU调度），然后单击右侧的 高级配置。在 参数配置 页面，修改 policy 字段，然后单击 确定。policy 取值说明如下。关于时间片及调度策略的更多信息，请参见 cGPU服务算...
YARN高可用特性使用指南
RM有状态重启（ResourceManager Restart）能够持续将应用信息与当前状态实时同步至Zookeeper分布式存储中，并在启动时重新加载应用状态，保证集群升级或重启后应用可以自动恢复。更多内容，请参见 ResourceManager Restart。NM有状态重启...
调度概述
功能 描述 参考文档 Gang scheduling All-or-Nothing作业要求所有的任务在同一时间被调度，如果只是部分任务启动的话，启动的任务将持续等待剩余的任务被调度。在极端情况下，所有作业都处于挂起状态，从而导致死锁。为了解决这个问题，...
节点异常问题排查
Dockerd异常处理-RuntimeOffline Containerd异常处理-RuntimeOffline NTP异常处理-NTPProblem 节点PLEG异常-PLEG is not healthy 节点资源异常处理 节点调度资源不足 节点CPU不足 节点内存不足-MemoryPressure 节点索引节点不足-...
节点异常问题排查
Dockerd异常处理-RuntimeOffline Containerd异常处理-RuntimeOffline NTP异常处理-NTPProblem 节点PLEG异常-PLEG is not healthy 节点资源异常处理 节点调度资源不足 节点CPU不足 节点内存不足-MemoryPressure 节点索引节点不足-...
任务常见问题
如果持续报错且每次报错的workerAddr都是同一台机器，说明服务端和客户端长连接断开，需要将该Worker节点重启或者升级SchedulerX客户端版本至最新版本。升级至最新版本后，断开的长连接可自动恢复。任务失败，报错“used space beyond 90.0...
使用DMS进行数据归档
随着企业的数据资料持续积累，需要持久化地保留数据资产，但是数据的存储成本居高不下，因此DMS和 AnalyticDB PostgreSQL版 Serverless模式共同推出了数据归档功能，可以面对数据库实现灵活低价、归档管理和高分析性能的能力。功能介绍 DMS...
功能特性
管理用户 管理用户 Manage users 弹性伸缩 添加弹性伸缩规则 随着业务负载需求的持续波动，可启用的弹性伸缩功能，并设定相应的伸缩策略。在面对业务量高峰或低谷时，EMR能够自动适配性地增加或减少Task节点数量，以确保任务高效处理的同时...
Java SDK
修复1.7.x版本后出现广播任务线程持续增长问题。修复共享线程池模式下存在的内存资源泄漏问题。修复动态代理对象无法执行Reduce问题。修复秒级别任务执行应答合并丢失问题。修复Diamond读取环境地址异常问题。修复对接公有云时存在的心跳...
任务常见问题
如果持续报错且每次报错的workerAddr都是同一台机器，说明服务端和客户端长连接断开，需要将该Worker节点重启或者升级SchedulerX客户端版本至最新版本。升级至最新版本后，断开的长连接可自动恢复。任务失败，报错“used space beyond 90.0...
常见问题
RM Restart 和 NM Restart 两部分，ResourceManager（简称RM）负责维护应用级基础信息与状态，NodeManager（简称NM）负责维护运行时的Container信息与状态，它们持续将相关状态同步至外部存储（Zookeeper、LevelDB和HDFS等），并在重启后...
创建安全沙箱应用
参数 请求类型 配置说明 存活检查（Liveness）：用于检测何时重启容器。就绪检查（Readiness）：确定容器是否已经就绪，且可以接受流量。启动探测（Startup Probes）：用于检测何时启动容器。说明 仅Kubernetes集群1.18及之后版本支持启动...
重启实例或节点
重启方式 支持 重启 和 强制重启：重启：当实例的 状态 为 正常（绿色）时，才可进行重启，否则需要进行强制重启。实例在重启过程中可持续提供服务（需要满足上文的前提条件），但耗时较长。重要 节点在重启期间，对应的CPU和内存使用率会...
ES节点连接报错|ES集群状态异常
重启的影响:如果集群整体负载不高且索引存在副本分片，一般情况下重启过程中可对外持续提供服务。但在某些场景下，重启过程中可能会出现访问超时，例如强制重启并发度高、集群负载很高并且已经存在集群访问不可用的情况、没有副本分片、在...
资源调度概述
功能 描述 参考文档 Gang scheduling All-or-Nothing作业要求所有的任务在同一时间被调度，如果只是部分任务启动的话，启动的任务将持续等待剩余的任务被调度。在极端情况下，所有作业都处于挂起状态，从而导致死锁。为了解决这个问题，ACS...
AI负载调度
功能 描述 参考文档 Gang scheduling All-or-Nothing作业要求所有的任务在同一时间被调度，如果只是部分任务启动的话，启动的任务将持续等待剩余的任务被调度。在极端情况下，所有作业都处于挂起状态，从而导致死锁。为了解决这个问题，...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
GPU Device-Plugin相关操作
GPU Device-Plugin重启 在ACK的独占GPU调度场景下，节点上GPU的设备上报的Device Plugin默认以一个Static Pod的形式部署，所以重启过程需要在目标节点上进行。具体操作如下：mv/etc/kubernetes/manifests/nvidia-device-plugin.yml/etc/...
产品计费
微服务平台 消息队列 持续交付 数据访问代理 任务调度 API 网关 实时监控 RMS 说明 RMS 不仅提供按量付费的付款方式，同时为您提供更灵活优惠的预付费资源包。更多信息，请参见 RMS 计费项概述。计费规则 微服务平台 微服务平台的计费维度...
常见问题
如何排查调度失败的任务？如何手动重启失败的DAG？如何在DAG中使用集群模板？如何确定更新的DAG已生效？如何管理Airflow的配置项？如何为新增用户添加权限？如何修改时区配置？如何排查调度失败的任务？您可以按照以下步骤排查：在Airflow...
使用ack-descheduler组件对Pod进行调度优化
为了解决实际运行中集群资源无法充分利用或浪费的问题，可以使用ack-descheduler组件对集群的Pod进行调度优化，使部分不合理的Pod能够重新调度到合适的节点上。本文介绍如何使用ack-descheduler组件优化Pod调度。前提条件 已创建ACK集群...
工作原理
之后算法模型会动态适配输入的数据，进行持续更新。场景二：修改调度配置对生成实例的影响。修改调度配置后，下一个实例按照新配置生成。算法模型会记忆当前消费的时间位置，进而对新来的数据继续分析。场景三：重试失败的实例。如果实例...
使用负载感知调度
ACK集群Pro版 调度器的负载感知调度功能会根据节点的实际负载情况，将Pod优先调度到负载较低的节点，以实现节点负载均衡，降低节点故障风险。前提条件 已安装ack-koordinator组件，且版本为1.1.1-ack.1及以上。具体操作，请参见 ack-...
自定义资源组
自定义资源组在DataWorks调度体系中使用，当前DataWorks调度体系分为一级调度资源和二级运行资源：一级调度资源：进入 运维中心 页面，单击左侧导航栏中的 周期任务运维>周期实例。右键单击相应实例的DAG图，选择 查看更多详情，即可在 ...
健康检查及自动恢复
一旦检测到节点异常（往往是内存超限、进程异常退出等异常场景）将会进入自动恢复过程，master会通过检查每个work节点资源限制情况来动态调度恢复的目标，可能出现2种调度场景：1）在原work节点重启 2）跨work节点重启。注：由于这种健康...
服务端发布记录
修复用户重启后，秒级任务会停止调度问题。无 2020-05-27 变更类型 功能描述 相关文档 新增 HTTP任务增强。HTTP任务支持Post参数。HTTP任务支持通过Header获取任务基本信息。HTTP任务超时时间上限支持到30秒。pop API增强，新版本aliyun-...
自动定时重启ECS云服务器
高负载运行：对于一些需要持续高负载运行的服务器，定时进行重启可以避免因长时间高负载运行带来的潜在问题。缓存问题：有一些应用程序可能会产生大量的缓存数据，如果不定期清理可能会影响存储空间，通过定时重启服务器，可以清理这部分...
加工数据
配置定时调度时间：配置 调度周期 为日，无需单独配置当前节点 定时调度时间，当前节点每日调起时间由业务流程根节点WorkShop的定时调度时间控制，即每日00:15后才会调度。配置依赖关系：通过 代码自动解析 自动将产出ods_raw_log_d表数据...
加工数据
配置定时调度时间：配置 调度周期 为日，无需单独配置当前节点 定时调度时间，当前节点每日调起时间由业务流程根节点WorkShop的定时调度时间控制，即每日00:15后才会调度。配置依赖关系：通过 代码自动解析 自动将产出ods_raw_log_d表数据...
YARN资源配置
yarn-site.xml 集群 默认为32，如果集群确实需要提交单个容器比较大的作业时需要提高避免调度器限制，过高的配置容易导致资源碎片，调整后需要重启ResourceManager组件生效。yarn.scheduler.minimum-allocation-vcores 调度器中单个容器...
运维中心入门
本文以周期调度任务的运维为例，通过确认调度任务的配置是否符合预期、使用补数据计算历史时间段的数据、配置任务的智能监控规则，保障任务后续可以正常调度，为您介绍运维中心模块的基本使用。前提条件 根据 数据开发：开发者 文档创建 ...
- 产品推荐
- 这些文档可能帮助您