新建层级维度逻辑表
您可以通过调度属性，配置维度逻辑表的调度类型、调度周期、调度逻辑与执行等等。详情说明，请参见 配置逻辑表调度属性。调度依赖：用于定义逻辑表在调度任务中的节点。Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中...
节点管理
设置节点调度 您可以通过控制台界面设置节点调度，从而合理分配各节点的负载。前提条件 已创建集群。暂停调度 节点暂停调度后，在后续进行应用部署时，Pod 不会再调度到该节点。登录容器应用服务控制台，在左侧导航栏单击 集群管理。在 ...
使用Apache Airflow调度MaxCompute
MaxCompute支持您使用Apache Airflow通过Python接口实现作业调度。本文为您介绍如何使用Apache Airflow的Python Operator调度MaxCompute作业。背景信息 Apache Airflow是Airbnb开源的、基于Python编写的调度工具，基于有向无环图（DAG），...
通过向导模式配置离线同步任务
配置资源属性：用于定义调度场景下，将当前任务下发至数据集成任务执行资源时所使用的调度资源组，您可以在调度配置的资源属性区域，选择任务调度运行时需要使用的资源组。说明 数据集成离线任务通过调度资源组下发至对应的数据集成任务...
调度策略
在配置资源配额时，您可以根据调度策略的实现原理选择合适的调度策略，来提高出队效率，从而提高算力资源的利用率。本文为您介绍支持选择的调度策略和实现原理。背景信息 当多个任务或实例同时请求算力资源时，会形成一个队列并等待执行。...
场景：配置增量数据离线同步任务
同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。该内容将向您介绍如何配置增量数据同步任务。使用说明 部分数据源暂无增量同步方案，例如HBase、OTSStream数据源等。具体数据源是否...
使用插件部署混合云集群
本文介绍如何使用E-HPC插件部署混合云集群，该集群由本地调度器、本地域控和云上计算节点等组成。背景信息 混合云集群是E-HPC提供的一套用于云上计算资源和本地服务之间互通的集群结构，通常由本地调度器、本地域控、云上计算节点、共享...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
离线模式依赖关系配置
配置调度依赖后，可以保障调度任务在运行时能取到正确的数据（当前节点依赖的上游节点成功运行后，Dataphin通过节点运行的状态识别到上游表的最新数据已产生，下游节点再去取数）。避免下游节点取数据时，上游表数据还未正常产出，导致下游...
配置基础属性
您可以在调度配置对话框查看调度节点的名称、ID、类型，并配置责任人、描述等基本信息。本文为您介绍调度节点基础属性的参数配置。进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 基础属性 区域配置调度节点的基本信息。参数 ...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
虚拟节点调度方案对比及介绍
关于表格中一些字段的说明：优先级调度：指Pod调度到不同节点集合的调度优先级是可编排的，您可以进行可控制的策略调度。例如，通过nodeAffinity和podAffinity实现可用区亲和。不支持：无法对不同节点集合进行优先级编排。例如，通过...
开发PyODPS 2任务
DataWorks提供PyODPS 2节点类型，您可以在DataWorks上通过PyODPS语法进行PyODPS任务开发，PyODPS集成了MaxCompute的Python SDK。支持您在DataWorks的PyODPS 2节点上直接编辑Python代码，操作MaxCompute。前提条件 已创建PyODPS 2节点，详情...
配置离线任务调度依赖
配置调度依赖后，可以保障调度任务在运行时能取到正确的数据（当前节点依赖的上游节点成功运行后，Dataphin通过节点运行的状态识别到上游表的最新数据已产生，下游节点再去取数）。避免下游节点取数据时，上游表数据还未正常产出，导致下游...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
通过脚本模式创建集成任务
创建离线脚本模式后，可以通过直接编写数据同步的JSON脚本来完成数据同步开发，为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
使用流量调度功能控制各类流量的跨地域带宽
流量调度功能支持为不同类型的跨地域流量添加标记，并且能够依据标记值对不同类型的跨地域流量分别进行带宽限制，有效保证各类业务的跨地域带宽，提高网络整体的运行效率。功能介绍 概述 企业使用云企业网CEN（Cloud Enterprise Network）...
创建指标质量规则
新建调度 说明 规则配置调度时，可以基于当前已有的调度快速进行配置（每个表上限20个调度规则）。同一个规则最多能配置10个调度。调度配置完全一致时，支持自动去重。校验范围会作为质量校验时的过滤条件下发到质量校验的语句中，控制每次...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
开发PyODPS 2任务
DataWorks提供PyODPS 2节点类型，您可以在DataWorks上通过PyODPS语法进行PyODPS任务开发，PyODPS集成了MaxCompute的Python SDK。支持您在DataWorks的PyODPS 2节点上直接编辑Python代码，操作MaxCompute。前提条件 已创建PyODPS 2节点，详情...
离线模式依赖关系配置
配置调度依赖后，可以保障调度任务在运行时能取到正确的数据（当前节点依赖的上游节点成功运行后，Dataphin通过节点运行的状态识别到上游表的最新数据已产生，下游节点再去取数）。避免下游节点取数据时，上游表数据还未正常产出，导致下游...
配置离线任务调度依赖
配置调度依赖后，可以保障调度任务在运行时能取到正确的数据（当前节点依赖的上游节点成功运行后，Dataphin通过节点运行的状态识别到上游表的最新数据已产生，下游节点再去取数）。避免下游节点取数据时，上游表数据还未正常产出，导致下游...
通过脚本模式创建集成任务
创建离线脚本模式后，可以通过直接编写数据同步的JSON脚本来完成数据同步开发，为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
CPU拓扑感知调度
ACK基于新版的Scheduling framework实现CPU拓扑感知调度，针对CPU敏感型的工作负载提供更好的性能。本文介绍如何使用CPU拓扑感知调度。原理介绍 Kubernetes的节点会运行多个Pod，其中部分Pod属于CPU密集型工作负载。在这种情况下，Pod之间...
使用DataWorks同步iGraph数据
配置资源属性：用于定义调度场景下，将当前任务下发至数据集成任务执行资源时所使用的调度资源组，您可以在调度配置的资源属性区域，选择任务调度运行时需要使用的资源组。以增量数据由MaxCompute同步到iGraph为例，每隔一个周期上游节点...
虚拟节点调度方案对比及介绍
针对虚拟节点，ACK托管集群（Pro版和基础版）和 ACK专有集群 支持的调度方式不同，且有其特定的使用场景，例如直接指定Pod只调度到虚拟节点、跨可用区打散等。您可以依据调度场景以及集群类型，参考本文选择合适的调度方式。常见虚拟节点...
PAI发布基于Quota队列的4大调度策略功能
发布智能、遍历、均衡、FIFO 4大调度策略，提升...新增功能/规格 PAI资源配额（Quota）代表了一组AI算力资源，基于PAI资源配额，可以根据调度策略的实现原理选择合适的调度策略，来提高出队效率，从而提高算力资源的利用率。产品文档 调度策略
配置规则：按模板（批量）
定义规则触发方式：关联调度 您可以单击 推荐关联调度 或 手动关联调度，为单个或多个数据质量规则关联产出表数据的调度节点（运维中心中产出表数据的节点，包括自动调度的周期实例，手动触发的补数据实例，测试实例），当节点任务执行时便...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
指定ECS和ECI的资源分配
通过配置调度策略，您可以在不同工作负载场景下实现对弹性资源的不同需求。相关概念 污点：ACK集群中的Virtual Node默认都会打上污点 virtual-kubelet.io/provider=alibabacloud:NoSchedule，以避免您在不知情的情况下使用ECI弹性资源。...
工作流调度简介
双向集成调度 调度名称 标准执行模式工作流调用方式 快速执行模式工作流调用方式 定时调度 异步调用 同步调用 SLS调度 异步调用 同步调用 MNS调度 异步调用 同步调用 Kafka调度 异步调用 同步调用 RocketMQ调度 异步调用 同步调用 RabbitMQ...
运维中心概述
调度资源充足 数据开发中定义节点的调度属性时，您可以设置调度环境下节点运行所使用的独享调度资源组。同时，您也可以在运维中心的周期任务页面进行修改。当当前节点所有的父节点运行成功，并且已经到达节点设置的定时运行时间时，如果...
创建数据表质量规则
新建调度 说明 规则配置调度时，可以基于当前已有的调度快速进行配置（每个表上限20个调度规则）。同一个规则最多能配置10个调度。调度配置完全一致时，支持自动去重。若当前表为Hologres分区表，建议使用固定任务触发调度。校验范围会作为...
创建CDH Impala节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
调度概述
功能 描述 参考文档 共享GPU调度 GPU共享调度可以降低使用GPU的经济成本，保障程序运行的稳定性。ACK Pro版集群支持以下GPU设备分配策略：单Pod单GPU卡共享和隔离，常用于支持模型推理场景。单Pod多GPU卡共享和隔离，常用于支持分布式模型...
识别规则及识别方式
调度黑名单 默认关闭，开启后，可以设置调度黑名单，在指定的时间段内，所有识别任务（包括定时扫描、手动扫描、实时扫描、血缘继承任务等）将不会运行，避免占用较多计算资源影响生产环境的正常运行，以保障线上数据任务。黑名单节点：...
创建全域数据表质量规则
新建调度 说明 规则配置调度时，可以基于当前已有的调度快速进行配置（每个表上限20个调度规则）。同一个规则最多能配置10个调度。调度配置完全一致时，支持自动去重。校验范围会作为质量校验时的过滤条件下发到质量校验的语句中，控制每次...
创建CDH Hive节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
kube-scheduler
kube-scheduler是一个控制面组件，负责结合节点资源使用情况和Pod的调度要求将Pod调度到集群的合适节点上。组件介绍 基于Pod申明的Request和节点的Allocatable属性，kube-scheduler可以为调度队列中每个Pod确定其可放置的节点，并保证节点...
- 产品推荐
- 这些文档可能帮助您