PAI-TF概述
PAI-TF的作业都是基于底层的分布式调度系统动态调度至不同机器。当您提交PAI-TF作业时，无需担心是否需要提前申请GPU物理主机，PAI-TF所需要的GPU资源随作业的提交动态分配，随作业的结束动态释放。全局计算调度 当您在使用MaxCompute计算...
Quick BI v4.3版本说明
支持多种调度方式，包括手动调度，周期调度和动态参数调度。支持任务发布状态管理和运维管理。移动端 移动端图表展示支持栅格布局，一行可放置多个图表。支持布局缩放来调整单个组件尺寸和位置。支持布局个性化隐藏Tab内的单个图表。可视化...
负载均衡调度算法介绍
动态负载调度：当服务器的连接数和负载情况经常发生变化时，可以通过实时监控连接数并进行动态调整，实现动态的负载均衡。高稳定性要求：对于需要实时响应和高稳定性的应用场景，通过加权最小连接数算法可以降低服务器的负载，提高系统的...
应用场景
接驳优化推荐：动态公交调度、公交线网优化、公交排班优化、地铁运营与检修排班。MaaS出行服务：个性化联程方式出行规划、一码通乘服务、出行核验、用户运营管理。案例说明 场景：某城市希望提升公共交通在城市级大型赛会活动时的服务水平...
数据开发：开发者
本文以使用MaxCompute数据源，在DataWorks上运行MaxCompute作业任务为例，为您介绍开发人员如何使用数据开发（DataStudio）创建一个周期调度任务，帮助您快速了解数据开发（DataStudio）模块的基本使用。前提条件 已完成开发前的环境准备，...
场景：配置增量数据离线同步任务
同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。该内容将向您介绍如何配置增量数据同步任务。使用说明 部分数据源暂无增量同步方案，例如HBase、OTSStream数据源等。具体数据源是否...
集群任务限流
动态限流 动态限流通过任务调度控制台调整限流速率，不管是否提供限流器，动态限流都可以正常工作。如果没有指定限流器，任务调度客户端使用默认的 DefaultLimiter 限流器。配置方式有以下两种：全局生效 在配置或编辑任务调度时配置的限流...
接入 Android
业务方可以使用 mPaaS 的开关配置动态控制移动调度中心和 IPv6 的开关。开启移动调度中心开关，RPC 使用移动调度中心配置；关闭移动调度中心开关，RPC 不使用移动调度中心配置。开关默认开启。MPRpc.openMGDC(isOpen);关闭 IPv6 开关，RPC ...
产品架构
ZooKeeper(Global和Local)：服务活动情况汇报给调度服务，动态配置更新。Nginx Proxy：支持私有协议的Nginx代理服务，针对不同文件一致性Hash到不同的Channel服务。Channel服务：记录文件和拥有文件的端点地址信息，为下载提供就近的端点...
场景：调度参数在数据集成的典型应用场景
场景一：同步增量数据、场景四：同步历史数据 动态表名或文件路径 表名或文件名使用 调度参数，可实现每次同步不同表的目的。例如OSS、FTP，MySQL等插件。部分插件可能需要转脚本配置。场景二：同步动态表名或文件名中的数据 在同步时为...
确认表血缘
确认表血缘 同空间下确认上游表血缘 节点周期写入某张表某个分区的数据，大部分场景都是采用调度参数来动态实现，您可参考 调度参数，了解调度参数的替换原理。若您需要依赖同工作空间某节点，则可检查其调度参数的配置情况。开发环境确认...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
通过向导模式配置离线同步任务
同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。不同插件增量同步配置与实现方式不同，关于增量数据同步配置详情请参见：场景：配置增量数据离线同步任务。说明 在数据过滤和目标表...
ACK部署使用elastic-workload
kubelet has been updated 查看Pod情况 kubectl get pod-o wide 返回示例如下，弹性负载已经克隆出新的Deployment与Pod，且Deployment的Pod副本数目是根据设定的调度策略进行动态分配。NAME READY STATUS RESTARTS AGE IP NODE NOMINATED ...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
任务调度属性配置概述
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发，不同类型的引擎任务在DataWorks上被封装为不同...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
创建CDH Impala节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
创建CDH Hive节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
创建CDH Presto节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
如何使用定时任务的灰度
每个任务可以在静态配置或动态运行时，指定调度到某个Label的Worker上。方案一：复制一个灰度任务 复制一个任务，生产的任务指定生产的标签，灰度任务指定灰度的标签，通过灰度的任务进行灰度测试。方案二：一个任务通过自动调度和手动调度...
创建并使用PAI Designer
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的...
StarRocks
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
创建EMR Presto节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
Oracle节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
加工数据
在实际开发场景下，您可通过${变量名}格式定义代码变量，并在调度配置页面通过为变量赋值调度参数的方式，实现调度场景下代码动态入参。INSERT OVERWRITE TABLE dwd_log_info_di PARTITION(dt='${bizdate}')SELECT ip,uid,time,status,...
SQL Server节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
PostgreSQL节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
加工数据
在实际开发场景下，您可通过${变量名}格式定义代码变量，并在调度配置页面通过为变量赋值调度参数的方式，实现调度场景下代码动态入参。INSERT OVERWRITE TABLE dwd_log_info_di PARTITION(dt='${bizdate}')SELECT ip,uid,time,status,...
创建并使用PAI DLC节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的...
DataWorks大数据开发治理平台
DataWorks提供的调度参数，可实现调度场景下代码动态传参。在节点编辑页面定义函数变量后，需进入调度配置中为变量赋值。本文示例为变量 bizdate 赋值为前一天，即在函数计算节点定时运行时间的前一天，DataWorks会调度运行该节点。更多...
通过函数计算节点发送邮件
DataWorks提供的调度参数，可实现调度场景下代码动态传参。更多调度参数的配置，请参见 调度参数支持的格式。更多调度属性，请参见 任务调度属性配置概述。步骤三：提交并发布节点 函数计算节点需要提交发布至生产环境后，才会自动调度运行...
函数计算节点
DataWorks提供的调度参数，可实现调度场景下代码动态传参。在节点编辑页面定义函数变量后，需进入调度配置中为变量赋值。本文示例为变量 bizdate 赋值为前一天，即在函数计算节点定时运行时间的前一天，DataWorks会调度运行该节点。更多...
创建手动任务
说明 DataWorks提供内置参数及相关自定义参数，可供任务调度时实现参数动态赋值。若在代码开发时定义了变量，您可在此处对该变量进行赋值。资源属性 用于配置任务发布至生产环境后使用哪个资源组下发任务。该配置下拉选择的为当前工作空间...
ETL工作流快速体验
调度参数常用列表 DataWorks MaxCompute 数据开发 调度参数会根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值，实现在任务调度时间内参数动态替换。通常，您可选择基于业务日期或定时时间获取相应的时间数据。案例配套文档...
历史功能发布记录（2023年）
全部 无 云原生AI套件 GPU调度支持GPU节点动态划分MIG ACK托管集群 安装 云原生AI套件 的调度组件ack-ai-installer后，通过给GPU节点打上特殊标签，可以让GPU节点开启MIG能力以及动态划分。节点按最大支持MIG实例数上报MIG资源，每个Pod的...
配置规则：按表（单表）
若无21天采样记录，您可在配置了动态阈值类规则且规则关联调度任务后，通过 补数据 功能补齐21天采样记录。进入按表配置监控规则页面 进入数据质量页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据...
- 产品推荐
- 这些文档可能帮助您