离线数据加工卡点
任务发布卡点 为保证线上数据的准确性，每次变更都需要经过测试再发布到线上生产环境，且生产环境测试通过后才算发布成功。发布上线前的测试包括代码审查和回归测试。对于资产等级较高的应用，必须在完成回归测试之后，才允许任务发布，本...
离线同步任务运维
为确保周期调度的离线同步任务运行无误，请在任务发布完成后，前往 生产运维中心>周期任务 界面查看生产环境任务配置（任务代码，任务使用的调度资源组及数据集成任务执行资源组）是否符合预期。DataWorks的离线同步任务通过调度资源组将其...
新建HOLOGRES_SQL任务
后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布SQL任务，详情请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后的SQL任务，即可参与生产环境的调度。您可前往运维中心查看您发布的任务。详情请参见 运维中心概述。
新建HOLOGRES_SQL任务
后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布SQL任务，详情请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后的SQL任务，即可参与生产环境的调度。您可前往运维中心查看您发布的任务。详情请参见 运维中心概述。
变更管控概述
发布管控是基于用户已经设定好的管控规则及生效策略，在任务发布前执行对应的检查，以判断任务是否符合发布条件。针对校验不通过的任务，根据规则配置详情，会阻断发布流程（强管控）或给出警告提示但不阻塞发布（弱管控），以增强平台的...
变更管控概述
发布管控是基于用户已经设定好的管控规则及生效策略，在任务发布前执行对应的检查，以判断任务是否符合发布条件。针对校验不通过的任务，根据规则配置详情，会阻断发布流程（强管控）或给出警告提示但不阻塞发布（弱管控），以增强平台的...
JAR任务快速入门
您可以自行编写并构建包含业务逻辑的JAR包，上传此业务JAR包后，即可便捷地创建Spark JAR任务。...相关文档 任务发布完成后，您可以在工作流调度中使用，详情请参见 管理工作流。任务编排完整的开发流程示例，请参见 SQL任务快速入门。
新建VIRTUAL任务
后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布VIRTUAL任务。更多信息，请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后的VIRTUAL任务，即可参与生产环境的调度。您可前往运维中心查看您发布的任务。更多信息，请...
DataWorks作业调度
使用DataWorks可以使云原生数据仓库PostgreSQL版...任务发布 选择上述步骤提交的任务，点击发布按钮，如下图所示。您可以在发布列表页面可以查看任务是否发布成功。发布成功之后，您可以进入任务运维页面查看配置的任务，并进行各种运维操作。
新建VIRTUAL任务
后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布VIRTUAL任务。更多信息，请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后的VIRTUAL任务，即可参与生产环境的调度。您可前往运维中心查看您发布的任务。更多信息，请...
新建MAX_COMPUTE_MR任务
后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布MapReduce任务，详情请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后的MapReduce任务，即可参与生产环境的调度。您可前往运维中心查看您发布的任务。详情请参见 运维...
新建MAX_COMPUTE_MR任务
后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布MapReduce任务，详情请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后的MapReduce任务，即可参与生产环境的调度。您可前往运维中心查看您发布的任务。详情请参见 运维...
新建MAX_COMPUTE_SQL任务
后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布SQL任务，详情请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后的SQL任务，即可参与生产环境的调度。您可前往运维中心查看您发布的任务。更多信息，请参见 运维中心...
新建MAX_COMPUTE_SQL任务
后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布SQL任务，详情请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后的SQL任务，即可参与生产环境的调度。您可前往运维中心查看您发布的任务。更多信息，请参见 运维中心...
新建SHELL任务
后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布SHELL任务。更多信息，请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后的SHELL任务，即可参与生产环境的调度。您可前往运维中心查看您发布的任务。更多信息，请参见 ...
新建SHELL任务
后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布SHELL任务。更多信息，请参 管理发布任务。如果您的开发模式是Basic模式，则提交成功后的SHELL任务，即可参与生产环境的调度。您可前往运维中心查看您发布的任务。更多信息，请参见 运...
必读：简单模式和标准模式的区别
说明 您可选择创建任意模式工作空间体验DataWorks，但建议您在实际开发时，使用标准模式工作空间实现DataWorks开发环境与生产环境代码隔离、不同环境计算资源隔离、权限隔离、任务发布流程管控等需求。若您已在使用简单模式工作空间，并且...
概述
非持续交付模式 非持续交付模式分为以下两种：经典发布模式 容器发布模式 本教程以 经典发布模式 为例进行演示。经典发布模式，是指在云服务器 ECS 和自定义技术栈之上做代码包发布的模式。如果您想了解容器发布模式，请参见 容器应用服务...
变更管控
发布管控功能是支持基于用户已经设定好的管控规则及生效策略，在任务发布前执行对应的检查，以判断任务是否符合发布条件。针对校验不通过的任务，根据规则配置详情，会 阻断发布流程（强管控）或 给出警告提示但不阻塞发布（弱管控），以...
变更管控
发布管控功能是支持基于用户已经设定好的管控规则及生效策略，在任务发布前执行对应的检查，以判断任务是否符合发布条件。针对校验不通过的任务，根据规则配置详情，会 阻断发布流程（强管控）或 给出警告提示但不阻塞发布（弱管控），以...
通过流量调控功能实现物品扶持
3.任务效果分析 任务发布成功后，将先后变为“运行中”和“已结束”状态，可以进入“任务详情”页面的“指标分析”模块查看任务效果指标，用于分析任务执行过程遇到的问题、评估任务作用的效果。“指标概览”模块可以查看物品的曝光、点击...
创建PYTHON计算任务
后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布Python任务。更多信息，请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后的Python任务，即可参与生产环境的调度。您可前往运维中心查看您发布的任务。更多信息，请...
创建PYTHON计算任务
后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布Python任务。更多信息，管理发布任务。如果您的开发模式是Basic模式，则提交成功后的Python任务，即可参与生产环境的调度。您可前往运维中心查看您发布的任务。更多信息，请参见 运维...
配置并使用调度参数
测试代码执行及调度参数替换情况 5 测试通过后，任务发布至生产环境，您需在生产运维中心的周期任务界面，确认生产环境任务使用的调度参数是否符合预期。确认生产环境任务的调度参数配置 配置调度参数，并验证参数执行情况的完整示例，详情...
安全设置与其他
说明 开启强制执行冒烟测试后：如果任务未执行冒烟测试，或执行冒烟测试但未通过，则 任务发布 界面会显示该任务检查不通过，导致任务无法正常发布。若特殊场景下需发布检查未通过的任务，则 空间管理员 可进入 任务发布>创建发布包 界面，...
创建手动任务
本文为您介绍如何创建手动任务，并将手动任务发布到生产环境。使用说明 若任务不需要发布生产环境操作生产环境引擎，您可选择 新建临时查询文件。手动任务仅支持手动触发执行，不支持自动调度。手动任务可通过拉线设置执行顺序，但该操作...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。...如果您的开发模式是Dev-Prod模式，则需要发布同步任务，详情请参见 管理发布任务。如果您的开发模式是Basic模式，则不需要发布同步任务，提交后的同步任务就可以参与调度。
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。...如果您的开发模式是Dev-Prod模式，则需要发布同步任务，详情请参见 管理发布任务。如果您的开发模式是Basic模式，则不需要发布同步任务，提交后的同步任务就可以参与调度。
其他问题
说明 新建节点当天，您可以选择发布后及时生成实例，即任务发布运维中心后，您可以在周期实例中看到该实例。日志和实例保留多长时间？公共调度资源组实例保留一个月（30天）、日志保留一周（7天）。独享调度资源组任务实例、日志保留一个月...
发布或下线任务流
完成任务流的配置或变更后，您需要通过发布操作将最新的任务流发布，有效避免部分变更未经确认被直接发布。发布任务流 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据开发>任务编排。单击目标任务流名称，进入任务流...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。...后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布同步任务，详情请参见 管理发布任务。如果您的开发模式是Basic模式，则不需要发布同步任务。
功能发布记录（2022年）
2022.8.2 全部地域 DataWorks用户 通过向导模式配置离线同步任务 2022-7 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 DataWorks智能数据建模支持维度建模 DataWorks智能数据建模支持以下功能：您可以在模板设计中直接引用...
数据集成概述
说明 如果数据开发模式为Basic，则无需发布管道任务。运维调度，详情请参见 运维中心概述。通过离线单条管道构建同步任务 离线的数据管道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据输入组件、数据输出组件及流程和转换...
DataWorks大数据开发治理平台
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
使用热修复
热修复是指通过代码变动在不发版本的情况下直接修复线上的问题。热修复管理是客户端修复紧急问题的配置后台，您可以在该配置后台创建发布任务以及进行多维度的热修复配置。关于此任务 在 热修复管理 页面，通常您需要完成以下操作：添加热...
可选：运维SQL分析任务
手动调度SQL分析任务 SQL分析任务发布后，系统按周期调度任务。您也可以根据需要，进行手动调度任务。在 分析洞察 页面，单击 任务运维。在 任务运维 页面下，单击 手动实例 页签，然后单击 新建手动任务。在 新建手动任务 面板中，完成...
数据开发
运行并上线场景模式任务 场景模式任务适用于算法相对比较复杂，算法流程由多个节点，在一个场景内的混合编排组成的节点工作流场景。在可视化操作界面，通过拖拉拽的方式连接计算节点迅速实现数据加工流程编辑，开发并一键快速实现调试、...
操作审计日志说明
实时发布 MDS CreateMdsClientSwitch 创建开关 实时发布 MDS UpdateMdsClientSwitch 更新开关 实时发布 MDS CreateMdsMiniprogramTask 创建小程序发布任务 实时发布 MDS DeleteMdsMiniprogram 删除小程序 实时发布 MDS CreateMdsNebualTask...
Helm Release 部署
注意：Helm Release 发布只支持使用证书导入的 Kubernetes 集群 添加任务 如下所在，在流水线中添加任务并选择 Helm Release 部署任务 配置发布任务 首次使用 Kubernetes 相关部署的用户需要首先使用自定义建立集群连接：建立 Kubernetes ...
任务运维
将任务发布上线后，调度任务主要是对未来数据的周期性处理，如果我们需要对历史的数据进行处理那么就可以使用补数据功能。对历史业务日期进行补数据操作，选择需要补的业务日期，选中所有下游节点，一共12个节点，确认执行。在 补数据实例 ...
- 产品推荐
- 这些文档可能帮助您