调度参数返回值二次处理的典型场景
调度参数只支持获取时间类型数据，部分节点（例如，离线同步节点）配置了调度参数后，调度参数的返回值不能直接使用，需要进行函数转换等二次处理。本文为您介绍二次处理调度参数返回结果的典型场景。背景信息 调度参数支持的时间类型未...
创建管道
使用控制台管理管道 重要 删除或暂停管道之后再提交到管道中的任务，不会被媒体处理MPS调度处理，会返回任务失败。删除或暂停管道之前已经提交的任务不受影响。但已进入处理排队中的任务将无法取消，会正常执行并收取对应的费用。提交任务 ...
调度参数典型场景配置示例
}和$[…]参数的功能差异 调度参数返回值二次处理典型场景 获取上个月最后一天 获取当前季度 获取定时时间15分钟前的年、月、日、小时、分钟 获取时间区间，调度间隔为1天 获取时间区间，调度间隔为1小时 通过赋值节点二次处理调度参数
数据开发常见问题
调度配置常见问题 调度参数常见问题 典型配置场景 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 如何配置ODPS Spark节点中的时间参数？如何对不便于进行二次处理调度参数返回值的节点进行取值？如何定义调度...
调度参数配置最佳实践
}和$[…]参数的功能差异 调度参数返回值二次处理典型场景 获取上个月最后一天 获取当前季度 获取定时时间15分钟前的年、月、日、小时、分钟 获取时间区间，调度间隔为1天 获取时间区间，调度间隔为1小时 通过赋值节点二次处理调度参数 参数...
调度参数
调度参数典型场景 调度参数往前取一个小时，如何处理跨天参数替换的问题 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 节点定时时间为每天20:00，节点内参数取值为定时时间（$cyctime或者$[yyyymmddhh24miss]...
附录：调度器插件的常用OpenAPI说明
软件配置阶段，在安装调度器过程中，系统会定时地调用服务检测功能（SchedServiceCheck），检测调度器是否安装成功。若不成功则继续等待软件安装，若成功则继续执行下一步。执行节点加入调度器检测（NodeJoinCheck）。在此定时检测中，若...
SFTP协议运维
运维人员可以通过堡垒机查看，使用SFTP协议的客户端工具或者命令行方式上传或下载文件时的审计记录。本文介绍如何使用SFTP协议的客户端工具和命令连接堡垒机进行文件传输审计。通过客户端工具传输文件 运维人员可以通过客户端工具（例如...
数据库运维
堡垒机 支持对MySQL、SQL Server、PostgreSQL类型的RDS和MySQL、PostgreSQL、PostgreSQL（兼容Oracle）的PolarDB以及MySQL、SQL Server、PostgreSQL、Oracle类型的自建数据库进行运维和审计，同时运维人员可开启SSH隧道，使用运维令牌进行...
数据库运维
堡垒机 支持对MySQL、SQL Server、PostgreSQL类型的RDS和MySQL、PostgreSQL、PostgreSQL（兼容Oracle）的PolarDB以及MySQL、SQL Server、PostgreSQL、Oracle类型的自建数据库进行运维和审计，同时运维人员可开启SSH隧道，使用运维令牌进行...
数据库运维最佳实践
前提条件 在本地主机安装支持SSH隧道的数据库运维工具，例如DBeaver、DbVisualizer、NavicatPremium、NavicatForMysql等。详细信息，请参见 客户端远程连接工具及版本推荐。已将数据库资产导入到堡垒机。具体操作，请参见 数据库管理。已...
E-HPC集群调度器插件
例如，在EDA业务场景下，通常情况使用的调度器为商用调度器，但E-HPC平台无法提供商用License供您安装，此时，您可以自行安装调度器并通过调度器插件接入E-HPC平台的能力。调度器插件为您提供了插件模版及配置文件，并将功能定义进行模块化...
DataWorks大数据开发治理平台
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其它类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。背景信息 DataWorks 基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为...
函数计算节点
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其他类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。前提条件 已开通函数计算。您需要先开通函数计算服务后，才可在DataWorks使用函数计算...
通过函数计算节点发送邮件
因此，若要在DataWorks周期性调度处理事件函数，则在创建函数时，需要创建用于处理事件请求的事件函数。更多函数类型介绍，详情请参见 函数类型。地域限制 DataWorks目前仅支持华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口...
自定义资源组
如何处理添加自定义调度资源服务器失败的情况？如何处理服务器突然终止服务且重启失败的情况？如何处理自定义调度资源下的任务长期等待资源的情况？如何暂停和初始化Agent服务？重启ECS后，如何使Agent自行恢复服务？如何处理无法启动...
工作流调度简介
双向集成调度 调度名称 标准执行模式工作流调用方式 快速执行模式工作流调用方式 定时调度 异步调用 同步调用 SLS调度 异步调用 同步调用 MNS调度 异步调用 同步调用 Kafka调度 异步调用 同步调用 RocketMQ调度 异步调用 同步调用 RabbitMQ...
修改工作流集群配置
前提条件 已安装阿里云CLI 3.0.172或以上版本 并 配置凭证。已下载JSON数据处理工具。本文以JSON处理器jq为例，下载步骤，请参见 jq Download。指定集群虚拟交换机 创建ECI实例时，您可以通过指定多个交换机指定多个可用区，系统会随机把...
PAI-TF概述
MaxCompute全局计算调度服务能够将PAI-TF作业自动调度至相应的GPU集群，并将基于CPU集群的数据预处理作业和基于GPU集群的模型训练作业连接起来。GPU卡映射 PAI-TF支持将不同算子（Operators）指定至特定的CPU或GPU上。基于GPU卡映射，您...
ACK Edge集群Pro版介绍
更智能的容器调度：集成更强调度性能的kube-scheduler，支持本地存储LVM调度，支持多种智能调度算法，支持NPU调度，优化在大规模数据计算、高性能数据处理等业务场景下的容器调度能力。SLA保障：提供赔付标准的SLA保障，集群API Server的...
CPU拓扑感知调度
Kubernetes虽然有CPU Manager解决方案处理以上问题，但是因为CPU Manager特性是节点级别的CPU调度选择，所以无法在集群维度中选择最优的CPU Core组合。同时CPU Manager特性要求Pod是Guaranteed时（Pod中的每个容器必须指定CPU请求和CPU限制...
创建安全沙箱应用
说明 应用非亲和性调度的设置方式与亲和性调度相同，但是相同的调度规则代表的意思不同，请根据使用场景进行选择。调度容忍 容忍被应用于Pod，允许这个Pod被调度到相对应的污点上。调度到虚拟节点 设置是否调度到虚拟节点。如果您集群中...
历史功能发布记录（2023年）
全部 无 云原生AI套件 GPU调度支持GPU节点动态划分MIG ACK托管集群 安装 云原生AI套件 的调度组件ack-ai-installer后，通过给GPU节点打上特殊标签，可以让GPU节点开启MIG能力以及动态划分。节点按最大支持MIG实例数上报MIG资源，每个Pod的...
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
启用节点自动伸缩
当集群的容量规划无法满足应用Pod调度时，您可以使用 节点自动伸缩 方案实现节点的自动扩缩。节点自动伸缩 适用于扩容规模较小（例如开启弹性的节点池数量少于20，或对应节点池中的节点数量少于100），工作负载批次较为稳定，以单次伸缩为...
使用向导创建集群
调度器 调度器是指E-HPC集群上部署的作业调度软件。E-HPC支持多种调度器，但不同的镜像支持的调度器类型有所不同，具体支持情况以控制台为准。域账号服务 选择域账号服务类型后，通过域账号服务管理创建的集群以及集群用户。目前支持 nis ...
GPU拓扑感知调度
Kubernetes对节点的GPU拓扑信息不感知，调度过程中对GPU的选择...关于GPU拓扑感知调度如何使用，请参见以下文档：GPU拓扑感知调度概述 安装GPU拓扑感知组件 Tensorflow分布式训练使用GPU拓扑感知调度 Pytorch分布式训练使用GPU拓扑感知调度
SSH协议运维
说明 请确认在本地主机已安装支持SSH协议的运维工具，如Xshell、SecureCRT、PuTTY等工具。下文以Xshell工具为例，介绍运维登录流程：操作步骤 打开Xshell工具，在连接设置中输入云盾堡垒机的IP和SSH端口号（SSH端口号默认为60022）。在用户...
术语表
术语 全称 中文 说明 OSS Object Storage Service 阿里云对象存储 媒体处理服务对用户存储于OSS的媒体文件进行转码，并将转码输出文件保存在MediaBucket中或者OutputBucket中。Bucket OSS Bucket OSS Bucket 遵守OSS Bucket定义，只能包括...
SFTP协议运维
运维人员需要通过本地的SFTP客户端工具登录云盾堡垒机，再访问目标服务器主机进行运维操作。本章节以SecureFX为例，介绍SFTP协议的运维登录流程。前提条件 请确认在本地主机已安装支持SFTP协议的运维工具，如：SecureFX等。已获取堡垒机运...
产品优势
高可用 采用高可用架构和任务多备份机制，经历阿里集团多年双十一、容灾演练，可以保障机房宕机时调度任务不受影响。安全防护 多层次安全防护：支持HTTPS和VPC访问，基于阿里云的多层安全防护，可有效防止恶意攻击。多租户隔离机制：支持多...
GPU调度概述
本文介绍调度GPU资源的不同方法，包括使用Kubernetes默认GPU调度、提升GPU资源使用率的共享GPU调度、以及加速任务执行的GPU拓扑感知调度。普通GPU调度 申请Kubernetes GPU集群后，通过运行TensorFlow的GPU实验环境，关于如何使用Kubernetes...
SDK 文档简介
本文档介绍媒体处理的SDK安装、使用、示例代码等。媒体处理SDK基于阿里云SDK，关于阿里云SDK的更多详细帮助请参考：阿里云SDK平台 阿里云API平台
安装
环境要求 Python 2.7 或 3.x 安装 SDK 核心库 Core，使用pip安装包依赖：pip install aliyun-python-sdk-core 安装媒体处理SDK pip install aliyun-python-sdk-mts=3.3.41 安装阿里云credentials工具 pip install alibabacloud_credentials...
接入 Android
原生 AAR 方式 参考 AAR 组件管理，通过 组件管理（AAR）在工程中安装 移动调度 组件。组件化（Portal&Bundle）方式 在 Portal 和 Bundle 工程中通过 组件管理 安装 移动调度 组件。更多信息，请参考 接入流程。使用移动调度 SDK 添加 ...
产品优势
对比项 X86服务器 手机农场 手机板卡 阿里云（ARM服务器虚拟化）性能 需要进行二进制指令翻译，性能损失大 与真机性能一致 性能不会超过真机 底层基于第三代神龙架构，可提供超越真机的性能 稳定性 开源软件实现，稳定性较差 消费级产品，...
Windows系统实例的宕机问题排查
当Windows操作系统的ECS实例在运行过程中出现内核panic、内存溢出OOM（Out Of Memory）、蓝屏卡死等问题或收到系统事件通知实例出现操作系统崩溃时，说明该ECS实例发生宕机，您可以通过自助诊断工具或系统事件来定位原因并解决。定位宕机...
功能特性
媒体处理可以将一个音视频文件转换成另一个或多个音视频文件，以适应不同网络带宽、终端设备和用户的需求。对媒体的内容、文字、语音、场景进行多模态分析，实现智能审核、内容理解、智能编辑等多种处理功能。音视频转码 把音视频码流转换...
机器人监控
机器人监控列表 说明：【IP】：安装机器人的物理机IP地址。【连接状态】：已连接、未连接、空闲，共三种状态。【认证状态】：已认证、未认证、管理员拒绝，共三种状态。【调度模式】：可调度、不可调度两种状态。监控设置 更改机器人默认的...
激活一体机
通用安全注意事项 安装所有型号的边缘一体机前，请先阅读并遵循通用的安全注意事项。负责安装、操作、维护边缘一体机的人员，必须了解各种安全注意事项，掌握正确的安装操作方法之后，方可安装、操作和维护设备。为保障人身和设备安全，在...
- 产品推荐
- 这些文档可能帮助您