HTTP触发器节点
和 其他调度系统的触发配置。HTTP触发器节点有上游任务节点 此种场景下：您需要创建HTTP触发节点后，在其他调度系统配置好调度触发，并在DataWorks上配置好各节点的调度和上下游依赖关系，详情可参见 创建HTTP触发器节点 和 其他调度系统的...
基本概念
本文为您介绍DataWorks中，工作空间、业务流程、解决方案、组件、任务、实例、业务日期、定时时间、提交、脚本开发、资源、函数和输出名称等基本概念。工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
离线模式调度配置
调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
离线模式调度配置
调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
调度概述
ACK Scheduler是ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统。ACK Scheduler支持不同弹性资源的混合调度、异构资源的精细化调度、批量计算的任务调度等，提升应用的性能和集群整体资源...
ack-ai-installer
ack-ai-installer是增强ACK Pro版集群和 ACK Edge集群Pro版 调度能力的Device Plugin（设备插件）的组件集合，支持结合ACK Scheduler（ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统）...
巡检任务
巡检任务是巡检规则的聚合载体，并且提供修改规则的执行范围以及调度方式的功能。您可通过巡检任务模块对巡检任务进行统一的管理操作，包括新建、编辑、复制、删除、执行、调度任务等。新建任务 登录高可用管理控制台。在左侧导航栏上，...
共享GPU调度概述
关闭对应用的GPU隔离能力 配置共享GPU调度cGPU算力调度策略 更改共享GPU调度显存最小分配单位 相关概念 共享GPU调度 vs 独占GPU调度 共享GPU调度指的是多个Pod共同使用一张GPU卡，如下图：独占GPU调度指的是一个Pod完整占用一张卡或多张卡...
功能特性
设置集群超配降低成本 资源灵活调度 紧凑型资源调度 MyBase支持紧凑型资源调度和均衡型资源调度两种资源调度策略。紧凑型资源调度策略可以最大化追求更充分的资源利用率，优先从创建时间较早且已分配资源较多的主机中分配资源。资源调度 ...
管理工作流
工作流是指由一系列相关任务组成的有序流程，每个任务之间有明确的依赖关系和执行顺序。如果您需要安排任务在指定的时间运行，可以创建工作流并在工作流中定义调度节点以及调度策略。本文为您介绍如何创建和运行工作流。前提条件 已创建...
数据开发与运维中心：数据加工
DataWorks的 数据开发（DataStudio）是数据加工的开发平台，运维中心 是智能运维平台，基于这两个功能模块，您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...
多终端节点组流量调配原理及应用场景
全球加速支持为单个TCP和UDP协议的监听配置多个不同地域的终端节点组。您可以为终端节点组设置流量调配值，灵活控制转发到各终端节点组的访问流量比例，同时，您还可以为终端节点组开启健康检查，剔除异常的终端节点组。多终端节点组流量...
基础监控
资源混部比例 分为CPU和内存两个资源维度，资源混部比例展示了集群当前可供应用非混部调度的资源量和可供应用混部调度的资源量。集群中的空闲物理资源越多，混部资源的比例越高，表示有更多资源可供混部调度。集群混部资源详情 集群资源...
创建全域数据表质量规则
质量规则试跑和运行区别 试跑和运行的区别在于执行的方式和显示的结果，试跑 指对某个质量规则进行一次模拟执行，以检测规则的正确性和运行情况，试跑的结果不会在质量报告中显示；运行 指在特定的时间内对质量规则进行检查，运行的结果会...
创建全域数据表质量规则
质量规则试跑和运行区别 试跑和运行的区别在于执行的方式和显示的结果，试跑 指对某个质量规则进行一次模拟执行，以检测规则的正确性和运行情况，试跑的结果不会在质量报告中显示；运行 指在特定的时间内对质量规则进行检查，运行的结果会...
创建指标质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
创建指标质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
预测式外呼
调度算法会综合考虑当前坐席的在线数量、空闲情况、外呼号码的呼叫频率限制、电话接通率、通话等待时长、通话时长、话后处理时长等因素，并考虑呼损（客户接通后等待坐席服务过程中挂机）的情况下，通过自动尝试、自动调整、自动学习来控制...
Quick BI v4.3版本说明
支持多种调度方式，包括手动调度，周期调度和动态参数调度。支持任务发布状态管理和运维管理。移动端 移动端图表展示支持栅格布局，一行可放置多个图表。支持布局缩放来调整单个组件尺寸和位置。支持布局个性化隐藏Tab内的单个图表。可视化...
创建实时元表规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
创建实时元表规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
自建Kubernetes集群对接ECI
ECI能为Kubernetes提供基础的容器Pod运行环境，但业务间的依赖、负载均衡、弹性伸缩、定期调度等能力依然需要Kubernetes来提供。本文为您介绍自建Kubernetes集群如何与ECI对接，以及如何使用ECI。对接方式 ECI为Kubernetes提供一种层次化的...
工作原理
您可以根据预测结果判断时序数据未来的走势，提前感知系统或者业务关键指标的状态。本文介绍时序预测的背景信息、功能、调度与执行场景、使用建议等信息。背景信息 服务在运行过程中会产生各种各样的时序数据，记录了服务的各种指标随时间...
创建CDH Spark节点
Spark是一个通用的大数据分析引擎，具有高性能、易用和普遍性等特点，可用于进行复杂的内存分析，构建大型、低延迟的数据分析应用。DataWorks为您提供CDH Spark节点，便于您在DataWorks上进行Spark任务的开发和周期性调度。本文为您介绍...
创建安全沙箱应用
调度设置 您可设置升级方式、节点亲和性、应用亲和性、应用反亲和性和调度容忍，详情请参见 Affinity and anti-affinity。说明 亲和性调度依赖节点标签和Pod标签。您可使用内置的标签进行调度；也可预先为节点、Pod配置相关的标签。配置项 ...
创建数据表质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
创建数据表质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
使用场景
业务流程自动化 结合DMS任务编排的调度和依赖管理功能，可以实现业务流程的自动化处理，提高工作效率和数据处理的准确性。数据治理与数据管控 DMS任务编排提供了数据源的配置和管理功能，支持对数据源进行统一管理和控制，保证数据的安全性...
增量数据同步
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
周期性调度
当测试数据或超参数更新，并需要持续进行增量训练和模型调优时，您可以通过周期性调度功能定期提交DLC任务。DLC与DataWorks互通，方便您可以直接通过DataWorks的调度配置，实现定时提交DLC任务。本文为您介绍如何定时提交DLC任务。背景信息...
概述
任务调度 TS（Task Scheduler）提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化对金融企业不同业务系统的任务进行统一的调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和...
ACK对接ECI
ECI能为Kubernetes提供基础的容器Pod运行环境，但业务间的依赖、负载均衡、弹性伸缩、定期调度等能力依然需要Kubernetes来提供。本文为您介绍阿里云容器服务Kubernetes版（简称ACK）如何与ECI对接，使用ECI作为Pod的运行资源。对接方式 ECI...
工作原理
您可以根据根因定位的结果，判断是时序数据的哪些维度（单个维度和若干维度的组合）异常导致的问题，缩小问题排查范围。本文介绍下探分析的背景信息、功能、调度与执行场景、使用建议等信息。背景信息 服务运行过程中会产生各种各样的时序...
历史功能发布记录（2023年）
全部 自助诊断GPU节点问题 ACK调度器支持IP感知调度和拓扑调度等功能 IP感知调度 当Pod调度到某节点上时，由于可用IP不足无法启动，该节点将被标记为缺少IP状态并被拉黑五分钟。IP感知调度可防止大量Pod由于IP不足而导致的启动失败问题。...
表结构配置管理
查看调度任务 对于已设置调度任务的表结构配置，选择>查看调度任务，可以查看其所属调度任务的执行记录，如下图所示。单击 图标，可展开该表的执行情况。调度相关说明，请参见 调度任务。移除表结构配置 单击 移除，确认移除后，将移除该表...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
- 产品推荐
- 这些文档可能帮助您