确认表血缘
确认表血缘 同空间下确认上游表血缘 节点周期写入某张表某个分区的数据，大部分场景都是采用调度参数来动态实现，您可参考 调度参数，了解调度参数的替换原理。若您需要依赖同工作空间某节点，则可检查其调度参数的配置情况。开发环境确认...
DataWorks On Hologres使用说明
Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务的基本流程、费用说明、环境准备、权限控制等内容。前提条件 已开通...
数据处理
添加 串行数据处理 节点至蓝图画布中，可查看 串行数据处理 节点支持的事件或动作，以及配置参数。添加方式请参见 使用逻辑节点。节点配置面板 配置项说明 参数 说明 处理方法 通过新增数据过滤器的方法编写处理方法，返回结果为Boolean型...
兼容Spring定时任务
通过对接SchedulerX任务调度可在不改变原有定时任务业务代码的情况下，可快速实现企业化运用的支持。功能优势 白屏管控和运维 提供白屏控制台可以动态新增、修改、启用、禁用任务，支持运行一次、原地重跑、重刷数据、停止任务、标记成功等...
DataWorks On MaxCompute使用说明
MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发MaxCompute任务的基本流程、费用说明、环境准备、权限控制等内容。前提条件 已...
资源监控
资源监控可设置调度资源大盘的开启和关闭。针对调度资源大盘，Dataphin管理中心提供实例级别的控制。本文为您介绍如何开启或关闭调度资源大盘。功能限制 资源监控仅支持监控Dataphin集群的资源。前提条件 请联系Dataphin部署团队部署...
配置资源属性
说明 如果需要修改新建任务默认配置的资源组，可前往 调度设置 页面操作，详情请参见 调度设置。如果需要修改已创建任务的资源组，详情请参见 切换调度资源组。单击所选资源组后方的 查看水位，即可查看该资源组前一天不同时间段的使用率。...
创建并使用PAI DLC节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的...
PostgreSQL节点
DataWorks的PostgreSQL节点可进行PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PostgreSQL节点进行任务开发的主要流程。背景信息 PostgreSQL是一款功能强大、灵活的开源关系型数据库管理系统（RDBMS），...
Oracle节点
DataWorks的Oracle节点可进行Oracle任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Oracle节点进行任务开发的主要流程。背景信息 Oracle是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您提供可靠、高效且...
StarRocks
DataWorks的StarRocks节点可进行StarRocks任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用StarRocks节点进行任务开发的主要流程。背景信息 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，...
SQL Server节点
DataWorks的SQL Server节点可进行SQL Server任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SQL Server节点进行任务开发的主要流程。背景信息 SQL Server是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您...
场景：配置增量数据离线同步任务
数据库语法 说明 可与调度参数结合实现每日读取指定时间区间的数据。MongoDB Reader query 说明 向导模式配置时，需要配置的界面参数名为：检索查询条件。基本与数据库一致 说明 可与调度参数结合实现每日读取指定时间区间的数据。OSS ...
工作流
基础架构 工作流示例 审核+转码串行 此流程表示视频进入到点播后，先进行审核操作，然后进行转码操作的串行化处理。具体审核完成后如何进行转码，请参见下文 审核+转码串行。审核+转码并行 此操作表示视频进入到点播后，同时进行审核和转码...
配置事件调度
应用场景 任务的触发条件依赖于外部事件调度时，可选择事件调度。例如，C任务流的调度类型为事件调度，配置了A任务流和B任务流中的单实例SQL节点这两个事件，则A任务流和B任务流的单实例SQL节点都作为C任务流的上游节点，即A和B都执行成功...
采集数据
在导入模板后，您可以前往目标空间，并自行完成后续的数据质量监控和数据可视化操作。仅 空间管理员 角色可导入ETL模板至目标工作空间，为账号授权空间管理员角色详情请参见 空间级模块权限管控。导入ETL工作流模板，详情请参见 导入ETL...
ack-ai-installer
ack-ai-installer是增强ACK Pro版集群和 ACK Edge集群Pro版 调度能力的Device Plugin（设备插件）的组件集合，支持结合ACK Scheduler（ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统）...
DataWorks任务
SchedulerX可支持定时调度DataWorks任务，并将DataWorks任务与其他任务在SchedulerX上进行混合依赖编排，完成相应的定期任务数据处理。前提条件 SchedulerX客户端升级至1.3.4及以上版本。接入客户端，将具备访问DataWorks（需开通企业版）...
查看并管理脚本任务
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，无需用户单独指定，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。最近更新时间 任务最后一次的更新时间。脚本任务列表支持的...
创建指标质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
创建CDH Impala节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
共享GPU调度概述
关于如何安装和使用共享GPU调度，请参考：安装共享GPU调度组件 运行共享GPU调度示例 除此以外，还有一些进阶能力，您可以根据业务需求选择：通过共享GPU调度实现多卡共享 通过共享GPU调度实现算力分配 配置共享GPU调度节点选卡策略 配置...
创建指标质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
数据集成调度策略说明
DTS的数据集成功能可根据调度策略的配置，定期地将源库中的结构和存量数据迁移至目标库中。通过该功能可以帮助您构建更加灵活的数据仓库（例如构建T+1的周期性数仓），本文介绍数据集成的策略、限制及适用场景。支持的数据库 支持全量数据...
场景：切换调度时区
在创建DataWorks工作空间时，您需要选择工作空间所在地域，默认情况下DataWorks工作空间所在地域对应的时区即为调度时区（即任务定时调度时间所使用的时区）。同时，还支持您切换工作空间的调度时区，本文为您介绍如何切换调度时区。背景...
创建数据表质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
Fixed rate
为解决此类精细化定时需求，可采用Fixed rate定期轮询机制，它能够简洁地表达非标准时间间隔的定期任务执行，且表达式简单，但不支持秒级别。Fixed rate定时配置示例 在创建调度任务时可以使用Fixed rate定时调度，创建调度任务的详细操作...
创建数据表质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
创建CDH Hive节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
MySQL整库离线同步到OSS
刷新表映射后，表粒度周期性调度参数配置，支持批量修改或单表定制化修改。您可单击 批量修改 按钮，在下拉列表中找到 周期配置，可以对单表粒度进行配置。更多调度参数配置详情请参见 任务调度属性配置概述。在 周期配置 中，可以设置预期...
创建CDH Presto节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
修改工作流集群配置
成本优先调度：默认使用抢占式Spot ECI运行工作流，确保低成本运行工作流，同时可选择多机型和多可用区提高供给率。使用抢占式Spot ECI运行工作流，可能出现抢占式Spot库存不足，或者抢占式Spot实例被提前回收，导致工作流运行失败。...
工作原理
调度与执行场景 一个任务可生成多个实例，无论是正常被调度还是您触发异常实例重试的情况，同时只有一个实例处于运行中，不存在多个实例并发执行的情况。主要的调度与执行场景如下：场景一：实例延迟执行 无论实例是否延迟执行，实例的调度...
创建全域数据表质量规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。质量分配置...
创建全域数据表质量规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。质量分配置...
创建并使用PAI Designer
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的...
使用工作空间参数
DataWorks在原有任务级别调度参数基础上，新增工作空间级别的调度参数，如果同一个工作空间中的多个参数需配置为相同值，可以使用工作空间参数。工作空间参数可配置为脱敏展示，以保护您的敏感数据；同时，在标准模式工作空间下，生产环境...
配置RDS MySQL间的数据集成任务
背景信息 DTS的数据集成功能可根据调度策略，定期地将源库中的结构和存量数据迁移至目标库中，通过该功能可以帮助您构建更加灵活的数据仓库。更多详情，请参见 数据集成调度策略说明。注意事项 如果源数据库没有主键或唯一约束，且所有字段...
Check节点
您可直接输入路径，也可使用调度参数获取路径，调度参数的使用，详情请参见 调度参数支持的格式。Check通过条件 定义FTP文件的检查通过条件。若检查到FTP文件存在，则此次检查通过，平台即认为该FTP文件可用。若检查到FTP文件不存在，则...
DataWorks任务
SchedulerX可支持定时调度DataWorks任务，并将DataWorks任务与其他任务在SchedulerX上进行混合依赖编排，完成相应的定期任务数据处理。前提条件 SchedulerX客户端升级至1.3.4及以上版本。接入客户端，将具备访问DataWorks（需开通企业版）...
- 产品推荐
- 这些文档可能帮助您