HTTP触发器节点
背景信息 外部调度系统触发任务运行有以下两种典型场景：HTTP触发器节点无其他上游任务节点 此种场景下，您需要创建HTTP触发节点后，在其他调度系统配置好调度触发，并在DataWorks上配置好各节点的调度和上下游依赖关系，详情可参见 创建...
SetSchedulerInfo-设置调度器信息
为指定集群设置调度器配置信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
最佳实践：集成第三方调度系统
例如，HTTP触发节点在北京地域且Cyctime为北京时间18：00，而调度系统在美西地域，此时调度系统配置时，需配置为北京时间18：00的时间戳。runTriggerNodeRequest.setCycleTime(cycleTime);设置BizDate，表示触发式节点实例所在的业务日期...
创建系统集群
系统集群表示 API 网关接收到前端请求后转发到真实业务系统的集群。本文介绍如何在 API 网关控制台快速创建系统集群。目前 API 网关支持创建 HTTP、SOFARPC、DUBBO、TRIPLE 和 SOFA_TR 五种协议类型的系统集群。说明 公有云环境中，创建 ...
E-HPC集群调度器插件
集群调度器节点识别插件类型，下载调度器插件到本地路径，并解析插件配置文件JobSubmit功能项是否打开。若JobSubmit=false，则返回插件功能不支持的错误，反之则调用具体插件功能并实现。调用插件中的作业提交实现代码，例如pbs会调用qsub...
管理系统集群
查看系统集群 在系统集群列表页，您可以查看该系统集群的概览信息，包括系统集群名称、地址配置方式、协议类型、地址/域名、绑定 API 数量、认证方式以及创建人。查看系统集群详情 在系统集群列表中，您还可以单击系统集群名称，进入该系统...
登录集群管理系统
通过集群管理系统可以查看集群的空间使用情况，还可以对集群中的数据进行管理。本文介绍如何通过 云原生多模数据库 Lindorm 控制台登录集群管理系统。前提条件 已创建 云原生多模数据库 Lindorm 实例，具体操作请参见 创建实例。已将访问...
设置调度器参数
调度器是集群上调度作业的软件，负责分发作业、处理作业优先级、按需分配计算节点资源（如vCPU、内存、节点个数）等。您可以根据作业大小，预估使用的节点资源和作业完成时间，设置集群的调度器参数，从而提高资源使用率。本文介绍如何在...
离线模式调度配置
查看Dataphin调度系统的配置规则及支持配置的时间参数，请参见 附录：节点参数配置说明。单击 确定，完成任务离线模式的调度配置。附录：节点参数配置说明 Dataphin的变量分类 Dataphin中存在以下类型的变量。全局变量：在 规划-公共定义-...
离线模式调度配置
查看Dataphin调度系统的配置规则及支持配置的时间参数，请参见 附录：节点参数配置说明。单击 确定，完成任务离线模式的调度配置。附录：节点参数配置说明 Dataphin的变量分类 Dataphin中存在以下类型的变量。全局变量：在 规划-公共定义-...
基于NVMe共享盘部署集群文件系统
sudo apt update sudo apt install ocfs2-tools 修改ECS实例的hostname，并配置集群配置文件。在所有实例上执行以下命令，通过设置hostname来识别不同的ECS实例。本示例以设置hostname是server1为例，不同实例的hostname不能设置相同。sudo...
舰队管理概述
随着Kubernetes集群的广泛应用，企业往往需要...作业分发：离线作业多集群调度，选择适合的集群运行离线作业。全局监控：多集群监控大盘，一个监控大盘查看所有集群的监控指标。相关文档 ACK One概述 开启舰队管理功能 管理关联集群 ArgoCD
什么是容器服务灵骏版
请参见：ACK灵骏托管版集群计费说明 ACK灵骏托管版集群管理 创建集群 查看集群信息 管理集群 删除集群 灵骏节点池 灵骏节点池概述 ACK灵骏托管版集群组件 组件概述 管理组件 ACK灵骏托管版集群调度 使用共享GPU调度（eGPU）产品简介 ACK...
成本估算策略介绍
使用单资源估算策略：如果使用内存单资源估算，计算成本为200*90%180 元，符合集群调度情况。如果使用CPU单资源估算，计算成本为200*20%40 元，而此时集群只剩10%的内存可供继续调度，还会产生大量的闲置成本无法得到分配。使用权重混合...
创建数据源质量规则
例如：当您配置了多条告警配置且选择所有告警配置均生效，系统会按照告警接收方式+告警接收人+告警规则合并告警；特殊的，如果告警接收人为同一个接收人，告警方式为自定义和质量负责人时，会按照合并策略合并告警消息。说明 值班表不支持...
创建数据源质量规则
例如：当您配置了多条告警配置且选择所有告警配置均生效，系统会按照告警接收方式+告警接收人+告警规则合并告警；特殊的，如果告警接收人为同一个接收人，告警方式为自定义和质量负责人时，会按照合并策略合并告警消息。说明 值班表不支持...
创建实时元表规则
例如：当您配置了多条告警配置且选择所有告警配置均生效，系统会按照告警接收方式+告警接收人+告警规则合并告警；特殊的，如果告警接收人为同一个接收人，告警方式为自定义和质量负责人时，会按照合并策略合并告警消息。说明 值班表不支持...
创建实时元表规则
例如：当您配置了多条告警配置且选择所有告警配置均生效，系统会按照告警接收方式+告警接收人+告警规则合并告警；特殊的，如果告警接收人为同一个接收人，告警方式为自定义和质量负责人时，会按照合并策略合并告警消息。说明 值班表不支持...
虚拟节点调度方案对比及介绍
ACK集群基础版 和 ACK专有集群 调度方式 典型场景 优先级调度 优先缩容ECI Pod 是否推荐使用 相关操作文档 labels:alibabacloud.com/eci=true 只调度到虚拟节点。不支持 支持 推荐。通过虚拟节点将Pod调度到ECI上运行 UnitedDeployment 将...
设置集群身份映射
映射类型说明 在DataWorks注册CDH集群时，可通过 默认访问身份 参数，配置后续在DataWorks运行CDH集群任务时，实际在CDH集群内执行任务代码使用的账号，配置详情请参见 配置集群默认访问身份。默认访问身份 支持配置的账号及映射类型说明...
成本数据模型介绍
在ACK集群中，Pod作为最小的可部署单元，是衡量集群成本的关键因素。但不同Pod可能有不同的资源配置、...您可以基于集群调度水位估算Pod成本，包括单资源（CPU、内存）估算和权重混合（CPU-内存混合）的资源估算，请参见 成本估算策略介绍。
调度参数配置最佳实践
背景信息 调度参数配置的相关应用场景及最佳实践如下：调度参数配置最佳实践 调度参数在数据集成的典型应用场景 各类型节点的调度参数配置示例：SQL类型节点及离线同步节点 PyODPS节点 通用Shell节点 自定义参数取值差异对比示例：不同格式...
如何接入日志服务
阿里巴巴分布式任务调度系统SchedulerX 2.0提供日志服务，您无需修改代码，只需增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）的业务日志。本文介绍如何通过SchedulerX接入并查看日志服务。前提条件（可选...
虚拟交换机剩余IP状态感知调度
原生Kubernetes集群调度器对节点所属虚拟交换机是否有剩余IP不感知。在多个集群同时使用同一个虚拟交换机或多个节点同时使用同一个虚拟交换机时，可能出现Pod调度到节点上后由于虚拟交换机可用IP不足启动失败的情况。这种情况下，Pod控制器...
BUILD
重要 仅3.1.5.0及以上版本的集群支持配置BUILD调度的优先级。如何查看集群内核版本，请参见 如何查看实例版本信息。如需升级内核版本，请联系技术支持。Hint仅支持对单张表配置优先级，且调度优先级仅针对当前提交的任务生效。SET ADB_...
使用Hadoop作为元仓计算引擎进行元仓初始化
OSS-HDFS集群存储（E-MapReduce5.x Hadoop）初始化引擎类型选择为E-MapReduce5.x Hadoop时，支持配置集群存储类型为OSS-HDFS。参数 描述 集群存储 可以通过以下方式查看集群存储类型。未创建集群：可以通过E-MapReduce5.x Hadoop集群创建...
Configs
描述 创建集群时的配置信息。具体 属性名称 类型 是否必须 描述 Disks object 否 集群中包含的实例的磁盘配置信息，由Disks描述。Networks object 否 集群中包含的实例的网络配置信息，由Networks描述。Mounts object 否 集群中包含的实例...
调度集群管理概述
Dataphin支持连接不同调度集群，并将所有集群可用于调度的资源进行统一管理，使每个租户可以使用不同集群的资源用于创建自定义资源组，从而解决跨Region数据传输以及资源隔离等问题。使用限制 当前仅支持基于最新架构部署的客户使用调度...
产品简介
移动调度中心（Mobile Dispatch Center，MDC）是基于客户端...灵活管理系统配置开关 系统配置开关用于管控组件域名是否使用移动调度中心获取解析结果，默认开启，开启后组件域名直接使用移动调度中心获取，无需 Local DNS 解析，高效防劫持。
通过免密组件拉取容器镜像
说明 推荐配置生效Namespace为您的业务Namespace，尽量避免配置 all 或者集群系统组件相关Namespace，以免影响集群系统组件镜像的拉取。expiring-threshold 本地缓存凭证过期阈值。默认值为 15m。说明 建议使用15min。即在缓存过期15分钟前...
使用免密组件托管版拉取容器镜像
推荐配置生效Namespace为您的业务Namespace，尽量避免配置 all 或者集群系统组件相关的Namespace，以免影响集群系统组件镜像的拉取。serviceAccount 使免密组件托管版作用于指定的服务账号。默认为 default。如果要配置多个，请使用英文...
使用免密组件托管版拉取容器镜像
推荐配置生效Namespace为您的业务Namespace，尽量避免配置 all 或者集群系统组件相关的Namespace，以免影响集群系统组件镜像的拉取。serviceAccount 使免密组件托管版作用于指定的服务账号。默认为 default。如果要配置多个，请使用英文...
配置集群连接
步骤三：下载描述文件并完成应用部署 按照下图操作指引，选择需要配置集群连接的集群，进入 调度集群管理 对话框。在 集群连接配置引导 对话框中，下载应用安装描述文件。步骤四：执行安装命令 在目标集群导入下载的描述文件并解压后执行...
管理从集群
配置集群的 购买时长 和 购买数量，并选择是否 启动自动续费。说明 仅当 计费类型 为 包年包月 时，需要选择 购买时长 和 是否 启动自动续费。勾选服务协议。单击 立即购买。开通成功后，需要10~15分钟创建集群，之后您就可以在 集群列表 ...
配置调度日历
DataWorks在原有调度配置基础上，新增自定义调度日历功能，您可通过该功能实现更灵活的任务调度日期与调度方式定义。本文为您介绍自定义调度日历的典型应用场景及如何在DataWorks上新增并使用自定义调度日历。背景信息 自定义调度日历适用...
配置离线管道调度
调度周期 调度周期即在生产环境调度系统中，多久会真实执行一次该任务中的代码。当一个任务被成功提交后，该任务调度将提交当天次日开始该任务的时间属性配置生成自动调度的周期实例，并根据上游依赖的实例运行结果和时间点运行。调度周期 ...
配置离线管道调度
调度周期 调度周期即在生产环境调度系统中，多久会真实执行一次该任务中的代码。当一个任务被成功提交后，该任务调度将提交当天次日开始该任务的时间属性配置生成自动调度的周期实例，并根据上游依赖的实例运行结果和时间点运行。调度周期 ...
离线任务调度属性配置
调度周期 调度周期即在生产环境调度系统中，多久会真实执行一次该任务中的代码。当一个任务被成功提交后，该任务调度将提交当天次日开始按照该任务的时间属性配置生成自动调度的周期实例，并根据上游依赖的实例运行结果和时间点运行。调度...
离线任务调度属性配置
调度周期 调度周期即在生产环境调度系统中，多久会真实执行一次该任务中的代码。当一个任务被成功提交后，该任务调度将提交当天次日开始按照该任务的时间属性配置生成自动调度的周期实例，并根据上游依赖的实例运行结果和时间点运行。调度...
操作指南指引
ACK灵骏集群 ACK灵骏托管版集群管理 ACK灵骏托管版集群调度 关于ACK灵骏托管版集群操作指南的更多信息，请参见 ACK灵骏托管版集群操作指南。云原生AI套件 环境准备 弹性数据集 AI负载调度 AI任务管理 AI服务部署 AI控制台使用指南 关于云...
- 产品推荐
- 这些文档可能帮助您