工作流编辑
配置工作流调度 您可以打开工作流调度配置面板，配置工作流调度参数，调度系统会按照参数定时运行相关工作流，并将作业下发到指定集群上执行。以下介绍如何配置工作流的基本属性、调度属性和告警设置。进入数据开发的项目列表页面。通过...
使用流量调度功能控制各类流量的跨地域带宽
流量调度功能支持为不同类型的跨地域流量添加标记，并且能够依据标记值对不同类型的跨地域流量分别进行带宽限制，有效保证各类业务的跨地域带宽，提高网络整体的运行效率。功能介绍 概述 企业使用云企业网CEN（Cloud Enterprise Network）...
基本概念
本文汇总使用EMR Workflow过程中涉及的基本概念，方便您查询和了解相关概念。概念 说明 工作空间 工作空间是EMR Workflow管理项目、工作流，分配角色和权限的基本单元。您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理...
同步节点
调度配置 调度配置 属性作用于同步节点生产环境场景的调度周期和告警等参数，关键参数说明如下：参数 说明 周期调度 依赖本节点上一周期调度 选中后，则本次的调度依赖本节点上一周期调度的结果。生效日期 该节点周期调度的有效时间段，...
通过Docker安装并使用cGPU服务
当Docker 2内有进程打开GPU设备时，Slice 1和Slice 2都加入调度，Docker 1和Docker 2最大分别获得1/2物理GPU的算力。如下图所示。权重抢占调度（policy=2）如果在创建容器时设置ALIYUN_COM_GPU_SCHD_WEIGHT大于1，则自动使用权重抢占调度。...
同步节点
调度配置 调度配置 属性作用于同步节点生产环境场景的调度周期和告警等参数，关键参数说明如下：参数 说明 周期调度 依赖本节点上一周期调度 选中后，则本次的调度依赖本节点上一周期调度的结果。生效日期 该节点周期调度的有效时间段，...
数据开发常见问题
调度配置常见问题 调度参数常见问题 典型配置场景 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 如何配置ODPS Spark节点中的时间参数？如何对不便于进行二次处理调度参数返回值的节点进行取值？如何定义调度...
查看并管理手动实例
运行状态：实例的运行状态，包括 成功、失败、运行中、等待调度时间、限流中、等待调度资源 和 未运行。开始运行时间：实例最近一次手动运行（包括重跑）的开始运行时间。负责人：运维对象的负责人。优先级：实例运行的优先级。支持 最高、...
节点组
节点组用于对依赖计算资源的算法节点进行组合，组合的算法节点在部署和运行时会被打包在一起进行调度。本文介绍节点组的配置参数说明。节点属性 节点属性 关键参数说明如下：配置项 说明 节点组名称 节点组的名称。节点组标识 节点组的唯一...
设置离线节点的调度信息
如果需要在开发环境场景上线后定时调度该场景中离线计算节点，则需要在开发环境场景上线前配置场景中离线节点的调度信息，调度配置在生产环境中生效。本文介绍如何设置开发环境场景中离线节点的调度信息。前提条件 开发环境场景画布流程中...
节点组
节点组用于对依赖计算资源的算法节点进行组合，组合的算法节点在部署和运行时会被打包在一起进行调度。本文介绍节点组的配置参数说明。节点属性 节点属性 关键参数说明如下：配置项 说明 节点组名称 节点组的名称。节点组标识 节点组的唯一...
集群调度
ADP底座提供了集群整体的精细化调度能力，可以在一个配置文件中，以全局的视角，根据不同业务场景（例如中间件、核心业务应用、非核心业务应用等）筛选不同的Workload，然后配置统一的调度策略和资源隔离策略等。Spec定义 Workload 发布...
查看并管理手动实例
运行状态：实例的运行状态，包括 成功、失败、运行中、等待调度时间、限流中、等待调度资源 和 未运行。开始运行时间：实例最近一次手动运行（包括重跑）的开始运行时间。负责人：运维对象的负责人。优先级：实例运行的优先级。支持 最高、...
功能特性
支持任务调度的管理和监控 可设置任务的调度策略，包括定时调度、触发条件调度等，保证准时执行任务。支持任务之间的依赖关系配置 可以设置任务的前置依赖和后置依赖，确保任务按照正确的顺序执行。支持任务参数的灵活配置 用户可以根据...
背景信息以及准备工作
本文档主要介绍了循环调度DLA Presto任务的背景信息和准备工作。背景信息 DLA作为无服务化的大数据分析服务，通过标准的SQL语句直接对存储在阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）中的数据进行...
就绪检测节点
调度配置 调度配置 属性用于设置就绪检测节点生产环境场景的调度周期等参数，关键参数说明如下：参数 说明 定时调度 依赖本节点上一周期调度 选中后，则本次的调度依赖本节点上一周期调度的结果。生效日期 该节点周期调度的有效时间段，...
DataWorks资源组概述
任务同一个执行阶段可选择不同类型的资源组，例如，离线任务调度可选择包年包月独享调度资源组，或按量付费公共调度资源组，数据集成离线任务执行可选择包年包月独享数据集成资源组，关于资源组选择详情请参见 资源组选择。DataWorks的公共...
就绪检测节点
调度配置 调度配置 属性用于设置就绪检测节点生产环境场景的调度周期等参数，关键参数说明如下：参数 说明 定时调度 依赖本节点上一周期调度 选中后，则本次的调度依赖本节点上一周期调度的结果。生效日期 该节点周期调度的有效时间段，...
快速使用EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。本文以...
识别规则及识别方式
参数 描述 调度任务周期 识别规则默认每天调度一次，可根据业务情况进行调整调度周期。调度周期调长可以优化性能，但会有敏感数据识别滞后的风险。支持选择 日、周 和 月 调度周期。调度任务并行度 用于控制同时扫描的资产对象数量，默认为...
系统管理
说明 购买独享资源组并配置资源组绑定的归属工作空间，请参见 新增和使用独享调度资源组、新增和使用独享数据集成资源组。进入系统管理 进入数据分析。在左侧菜单栏，单击 图标，选择 系统管理，进入系统管理页面。配置引擎任务使用的资源...
新建同步节点并运行后上线
参数 说明 周期调度 依赖本节点上一周期调度 选中后，则本次的调度依赖本节点上一周期调度的结果。生效日期 该节点周期调度的有效时间段，设置后该节点在设置的日期内自动调度。用户可自定义选择起始时间和结束时间。其中日期的选择，支持...
新建同步节点并运行后上线
参数 说明 周期调度 依赖本节点上一周期调度 选中后，则本次的调度依赖本节点上一周期调度的结果。生效日期 该节点周期调度的有效时间段，设置后该节点在设置的日期内自动调度。用户可自定义选择起始时间和结束时间。其中日期的选择，支持...
实现ECI Pod可用区打散或亲和调度
在ACK Pro版集群或 ACK Serverless集群Pro版 中，您可以通过Kubernetes原生调度语义实现分布式任务的跨可用区打散，以达到高可用区部署的要求，或者通过Kubernetes原生调度语义实现分布式任务在指定可用区中的亲和性部署，以达到高性能部署...
什么是EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
负载均衡调度算法介绍
动态负载调度：当服务器的连接数和负载情况经常发生变化时，可以通过实时监控连接数并进行动态调整，实现动态的负载均衡。高稳定性要求：对于需要实时响应和高稳定性的应用场景，通过加权最小连接数算法可以降低服务器的负载，提高系统的...
流程管理
流程管理提供可视化的任务编排，您可以使用Crontab创建定时调度工作流，并通过API触发。创建工作流 您可以创建工作流调度任务。说明 目前工作流调度仅支持Cron表达式。登录 EDAS控制台。在左侧导航栏单击 任务调度。在顶部菜单栏选择地域。...
Dataphin天调度如何依赖小时调度
例如上游任务A，配置小时调度，2点和14点运行，下游任务B，配置天调度，每天4点运行，需要做到任务B每天依赖任务A的2点那一调的任务，而不是任务A彻底结束了，才执行任务B。解决方案 需要上游任务设置自依赖，下游任务才会依赖离上游最近的...
V4.3.2版本说明
V4更新 用户洞察 对数据表的导入调度新增通过接口触发的方法，为每个数据表提供一个触发接口，可实现底表加工任务执行完成后再触发QA侧调度任务，请参见 调度任务。支持查看受众人群可用的每种ID的数量、覆盖率，请参见 查看受众ID详情。
新建层级维度逻辑表
步骤三：配置层级维度逻辑表调度&参数配置 在 调度&参数配置 页面，配置维度逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。各配置说明如下：数据延迟：开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部...
新建层级维度逻辑表
步骤三：配置层级维度逻辑表调度&参数配置 在 调度&参数配置 页面，配置维度逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。各配置说明如下：数据延迟：开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部...
如何创建秒级调度任务
秒级任务适合对实时性要求比较高的业务，例如不停做轮询的准实时业务，通过内存网格和秒级调度，可以让您不停地处理海量的数据。本文将以一个实例介绍如何创建秒级调度任务。SchedulerX的秒级别任务属于定时调度类型，适用于简单Java任务、...
如何创建秒级调度任务
秒级任务适合对实时性要求比较高的业务，例如不停做轮询的准实时业务，通过内存网格和秒级调度，可以让您不停地处理海量的数据。本文介绍如何创建秒级调度任务并将设置固定延迟。SchedulerX的秒级别任务属于定时调度类型，适用于简单Java...
调度参数配置最佳实践
}和$[…]参数的功能差异 调度参数返回值二次处理典型场景 获取上个月最后一天 获取当前季度 获取定时时间15分钟前的年、月、日、小时、分钟 获取时间区间，调度间隔为1天 获取时间区间，调度间隔为1小时 通过赋值节点二次处理调度参数 参数...
场景：配置增量数据离线同步任务
同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。该内容将向您介绍如何配置增量数据同步任务。使用说明 部分数据源暂无增量同步方案，例如HBase、OTSStream数据源等。具体数据源是否...
Dataphin的调度任务到了设置的调度时间状态还是等待中
解决方案 如果需要优先运行当前实例，可以调整任务优先级后执行强制重跑操作，优先运行当前实例 新版本中（v3.2及以上版本）将“等待中”状态拆分为了“等待调度时间”和“等待调度资源”，可以更直观区分等待原因 V3.5版本开始，支持查看...
Dataphin补数据任务空跑调度了是什么原因
问题描述 Dataphin补数据任务空跑调度了是什么原因？问题原因 按当前的调度配置，补20220930（月末）的数据空跑了是正常的。补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度...
接入 iOS
移动调度中心在 10.1.68 及以上版本基线中提供支持。本文介绍移动调度中心接入 iOS 的方法。接入 SDK 根据您采用的接入方式，请选择相应的接入方法。接入方法 接入移动开发平台 mPaaS 的方式主要有以下 3 种：无工程，从头开始创建一个全新...
设置Pod故障处理策略
此时，Pod status.reason不会显示ContainerInstanceScheduleFailed，您也可以查看Pod status condition，通过ContainerInstanceCreated的reason和message确定当前调度周期内调度失败的原因。{"conditions":[{"lastProbeTime":"2023-03-30T...
Dataphin资产质量调度日志中调度执行的分区为什么和...
概述 本文主要介绍资产质量调度日志中调度执行的分区和手动执行分区不一致的原因。详细信息 Dataphin资产质量调度日志中调度执行的分区为什么和手动执行分区不一致？原因如下：代码检查触发是基于代码中的分区日期来触发的。手动执行是按照...
- 产品推荐
- 这些文档可能帮助您