虚拟节点调度方案对比及介绍
关于表格中一些字段的说明：优先级调度：指Pod调度到不同节点集合的调度优先级是可编排的，您可以进行可控制的策略调度。例如，通过nodeAffinity和podAffinity实现可用区亲和。不支持：无法对不同节点集合进行优先级编排。例如，通过...
虚拟节点调度方案对比及介绍
方案对比及选型建议 关于表格中一些字段的说明：优先级调度：指Pod调度到不同节点集合的调度优先级是可编排的，您可以进行可控制的策略调度。例如优先调度到ECS节点，ECS节点不足使调度到虚拟节点。不支持：无法对不同节点集合进行优先级...
隔离等级
它确保提交的写入操作和所有读取都是可序列化。只要有一个串行序列一次执行一项操作，且生成与表中所示相同的结果，则可执行这些操作。对于写操作，串行序列与表历史记录中的序列完全相同。WriteSerializable（默认）：隔离级别比...
设置节点调度状态
您可以通过容器服务控制台设置节点调度状态，从而合理分配各节点的负载。操作步骤 登录 容器服务管理控制台，在左侧导航栏选择 集群。在 集群列表 页面，单击目标集群名称，然后在左侧导航栏，选择 节点管理>节点。在 节点 页面中，在目标...
Dataphin补数据任务空跑调度了是什么原因
补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度日期就是20221001，而调度周期是月调度，并没有包含每个月的1日，所以补数据选择20220930时任务是空跑运行的。解决方案 在调度...
扩展MapReduce（MR2）
相比于传统的MapReudce，MaxCompute提供的扩展MapReduce模型（简称MR2）改变了底层的调度和IO模型，可避免作业时冗余的IO操作。与MaxCompute相比，MR2在Map、Reduce等函数编写方式上基本一致，较大的不同点发生在执行作业时，示例请参见 ...
工作原理
大部分场景下，连续生成的实例的调度时间是连续的，可处理完整的数据集。SQL时间窗口：定时SQL任务运行时，日志服务仅分析该时间范围内的数据。SQL时间窗口基于调度时间计算而得，左闭右开格式，且与实例的创建时间、执行时间无关。例如...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
设计阶段
多并行、少串行（在分布式系统下可发挥其优势）。运行周期 如果数据研发的场景是在常见T+1离线计算场景，则应将不同调度任务按照实际业务需求，赋予小时、日、周、月和季度等不同的调度粒度。说明 程序必须支持重跑。如果SQL语句优化后，单...
管理工作流定义
工作流定义是通过拖拽任务节点并建立任务节点之间的关联来创建可视化的DAG（有向无环图）。本文为您介绍如何创建工作流及工作流定义的相关操作。前提条件 已新建项目，详情请参见 管理项目。创建工作流 进入项目管理页面。使用阿里云账号...
执行补数据并查看补数据实例（旧版）
您可在DAG图上使用可视化方式添加节点，也可在任务列表中添加节点。在当前周期任务的DAG图中，结合DAG的聚合功能，按照工作空间、所属责任人或优先级等维度将节点划分为组，直接勾选该节点组，快速添加目标类别的节点为补数据节点。实例的...
概述
子查询支持 在并行查询下子查询有四种执行策略：在Leader线程中串行执行 当子查询不可并行执行时，例如2个表JOIN，在JOIN条件上引用了用户的函数，此时子查询会在Leader线程上进行串行查询。在Leader上并行执行（Leader会启动另一组Worker...
开心消消乐使用ALB从容应对大流量和高并发场景
更低时延，更优体验：部署一套服务端，通过URL转发规则实现不同优先级业务的差异化调度，满足个性化路由转发需要。面向未来，可扩展：ALB 可以作为容器的Ingress入口，容器化技术演进可平滑升级。更多信息 什么是应用型负载均衡ALB 云解析...
新建VIRTUAL任务
虚拟节点是租户配置调度参数时可选的依赖节点。本文为您介绍如何基于Dataphin构建VIRTUAL类型的虚拟节点。背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作...
新建VIRTUAL任务
虚拟节点是租户配置调度参数时可选的依赖节点。本文为您介绍如何基于Dataphin构建VIRTUAL类型的虚拟节点。背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作...
YARN调度器
基础架构&核心流程 CapacityScheduler的主调度流程有三种触发方式：节点心跳驱动（Node-Heartbeat Driven）：是面向节点的局部调度（当调度器收到每个节点心跳时触发，为当前节点选择可调度的应用），受限于心跳间隔时间与接近随机调度，...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
Dataphin天调度任务如何依赖小时调度任务
概述 本文为您介绍Dataphin中天调度任务依赖小时任务调度是如何调度的。详细信息 判断下游天任务与上游小时任务是否是同周期。同周期：判断上游小时任务是否是自依赖：上游小时任务如果不是自依赖（即小时任务本身没有配置依赖上周期）,则...
其他问题
base_xykxfmx_mzf_di_节点周期调度是10分钟，在节点模式中查看 dwd_xykyw_xfmx_mzf_di的上游节点ods_base_xykxfmx_mzf_di的调度周期是3分钟。dwd_xykyw_xfmx_mzf_di的周期是15分钟。到周期时间后，各节点运行情况如下：dwd_xykyw_xfmx_mzf_...
使用共享GPU调度（eGPU）
本文介绍如何在ACK灵骏托管版集群中的灵骏节点上使用共享GPU调度（eGPU），实现GPU的调度和隔离能力。索引 前提条件 步骤一：开启GPU共享调度能力 步骤二：使用GPU共享资源 步骤三：运行共享GPU示例 常见问题 前提条件 已创建ACK灵骏托管版...
调度集群管理概述
说明 资源总量为系统从自定义集群采集到的，可用于Dataphin任务调度的指定机器的可用资源总量（CPU和内存）。调度集群包括等待资源上报、等待超时、正常、异常状态。更多信息，请参见 调度集群状态。编辑：单击 可以编辑选中的调度集群。...
附录：消息格式
dagType Integer Dag的类型，取值如下：0：周期调度任务 1：手动任务 2：冒烟测试 3：补数据 4：临时业务流程 5：手动业务流程 taskType Integer 任务实例的调度类型，取值如下：0：NORMAL，正常调度任务。该任务会被日常调度。1：MANUAL，...
使用工作空间参数
DataWorks在原有任务级别调度参数基础上，新增工作空间级别的调度参数，如果同一个工作空间中的多个参数需配置为相同值，可以使用工作空间参数。工作空间参数可配置为脱敏展示，以保护您的敏感数据；同时，在标准模式工作空间下，生产环境...
RunServiceSchedule-执行设备服务调度
枚举类型，取值范围：容器化场景：Start：选择并激活一个可调度云设备，启动服务 Stop：结束并释放云设备 Console：Uuid 处于调度中状态时，进行命令交互 裸金属/虚机场景：PreSchedule：预调度并锁定虚机实例 Confirm：确认调度 Cancel：...
什么是分布式任务调度SchedulerX
分布式任务调度SchedulerX是阿里巴巴自研的分布式任务调度平台，兼容开源XXL-JOB、ElasticJob、Spring Schedule，K8s Job，支持Cron定时、一次性任务、可视化工作流任务编排和分布式跑批，具有高可用、可观测、可运维和低延时等能力。...
Dataphin中小时调度的任务可以依赖天调度的任务吗？
概述 本文主要介绍Dataphin中小时调度的任务能否上游依赖天调度的任务。详细信息 不建议小时调度的任务上游依赖天调度的任务，可能会出现每个小时跑的数据都一样的情况。对于这种情况，建议上游任务也是小时调度。或者上游任务中数据是定时...
管理任务流实例
说明 时间范围内运行的任务是串行运行的，即必须一个业务时间的任务执行成功，下一个业务时间才可执行任务。发布或下线任务流 具体操作，请参见 发布或下线任务流。查看任务流版本差异 在确认发布任务流之前，若该任务流有发布态版本，且...
基本概念
任务流实例状态有如下几种：等待调度（WAIT_SCHEDULE）运行中（RUNNING）暂停（SUSPEND）失败（FAIL）成功（SUCCESS）终止中（KILLING）排队中（QUEUED）冻结 任务流 冻结任务流会导致所有调度触发都无法运行，非事件调度任务会直接失败，...
产品简介
移动调度中心（Mobile Dispatch Center，MDC）是基于客户端用户业务属性进行用户分组的精细化移动调度服务产品，能快速有效帮助客户达成业务分组灰度测试、A/B 测试、故障调优等目标。产品优势 移动调度中心的产品优势如下：用户级精准调度...
并行查询使用限制和兼容性问题
串行化隔离级别事务内的查询语句无法并行。隔离级别是Repeatable-read的情况下，事务内的INSERT.SELECT/REPLACE.SELECT查询部分无法并行。与串行执行结果可能不兼容的地方 错误提示次数可能会变化 串行执行中出现错误提示的查询，在并行...
基础监控
混部资源的总量与实际资源利用率有关，会随着节点的空闲物理资源量动态变化，是在离线混部额外提供的可调度资源，也是衡量在离线混部收益的关键指标之一。混部资源总量 分为CPU和内存两个资源维度，分别展示了集群当前可供应用混部调度的...
什么是分布式任务调度SchedulerX
分布式任务调度SchedulerX是阿里巴巴自研的基于Akka架构的分布式任务调度平台，兼容开源XXL-JOB、ElasticJob、Spring@Scheduled注解，支持Cron定时、一次性任务、可视化任务编排和分布式跑批，具有高可用、可观测、可运维和低延时等能力。...
CreateSchedruleOnDemand-为代播实例创建一条调度规则
为代播实例创建一条调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
ConfigSchedruleOnDemand-修改代播实例的调度规则
修改代播实例的调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
MySQL整库离线同步到OSS
单击 周期调度参数配置，新增调度参数，以添加一个 cyc_time 参数为例：单击 批量修改 中的 目标文件附加字段，给新增字段赋值调度参数（目标表字段中可以快捷打开调度参数编辑面板）。在 目标文件附加字段 中，新增附加字段。高级参数配置...
组件中心
任务调度 提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一的调度和全方位的监控运维管理。消息队列 在蚂蚁集团关键链路中历经十年实战打磨，是一款具备高可靠、...
CreateSchedule-创建一个定时调度
创建一个定时调度。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
DataWorks任务
SchedulerX可支持定时调度DataWorks任务，并将DataWorks任务与其他任务在SchedulerX上进行混合依赖编排，完成相应的定期任务数据处理。前提条件 SchedulerX客户端升级至1.3.4及以上版本。接入客户端，将具备访问DataWorks（需开通企业版）...
配置并使用调度参数
调度参数是根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换。本文为您介绍如何配置及使用调度参数，并以ODPS SQL节点为例，讲解调度参数配置完成后使用冒烟测试功能测试调度参数的替换...
- 产品推荐
- 这些文档可能帮助您