执行冒烟测试
本文为您介绍如何在开发环境进行冒烟测试。背景信息 为保障调度节点任务执行符合预期，建议您在发布前对任务进行冒烟测试。在使用调度参数的场景下，您也可以通过冒烟测试校验调度场景下的参数替换情况。进入数据开发 进入数据开发。登录 ...
入门实践
提交模型至开发环境计算引擎 保存数据模型后，DataWorks开发角色需要先提交数据模型至开发环境计算引擎。测试无误后，再发布至生产环境。进入 数据开发 页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中...
创建EMR Presto节点
配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情...
创建CDH Presto节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
创建CDH Hive节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
创建工作空间
生产、开发环境隔离 定义工作空间模式，即工作空间的生产环境和开发环境是否隔离。是：需隔离生产、开发环境，该方式创建的工作空间为标准模式工作空间。否：无需隔离生产、开发环境，该方式创建的工作空间为简单模式工作空间。工作空间...
创建EMR Kyuubi节点
如您希望在开发环境进行冒烟测试，查看调度节点任务的执行是否符合预期，则可在节点提交时，或节点提交后执行冒烟测试，操作详情请参见 执行冒烟测试。步骤五：提交发布任务 节点任务配置完成后，需执行提交发布操作，提交发布后节点即会...
配置并使用调度参数
完整配置示例 本文以ODPS SQL节点为例，通过 在开发环境执行冒烟测试 功能测试配置的调度参数是否符合预期，并在任务发布后，查看生产运维中心中该任务的调度参数配置情况。说明 各类型节点的调度参数配置，详情请参见 各类型节点的调度...
创建CDH MR节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
创建SSH数据源
注意事项 标准模式工作空间，需分别创建开发环境数据源和生产环境数据源，并且开发环境数据源和生产环境数据源必须使用同一种认证模式。工作空间模式介绍，请参见 必读：简单模式和标准模式的区别。数据源认证模式，请参见 认证模式。前提...
调度依赖配置指引
节点唯一性相关 开发环境与生产环境节点形态不同但节点唯一：同一节点在开发环境和生产环境中的调度依赖配置可以不同，即同一个节点在开发环境和生产环境可以拥有两种不同的形态，但节点唯一。下线节点前需在开发环境与生产环境同时移除...
创建并使用PAI Designer
如您希望在开发环境进行冒烟测试，查看调度节点任务的执行是否符合预期，则可在节点提交时，或节点提交后执行冒烟测试，操作详情请参见 执行冒烟测试。步骤五：提交发布任务 节点任务配置完成后，需执行提交发布操作，提交发布后节点即会...
数据开发与运维中心：数据加工
核心技术与架构 高效、规范的开发流程 说明 DataWorks提供标准模式的工作空间，可隔离开发环境与生产环境，标准模式的详细介绍可参见 简单模式和标准模式的区别。可视化的开发界面 支持通过拖拉拽的方式构建任务流程，在统一的界面进行数据...
什么是云开发平台
全云端的开发环境实现所测即所得、测完即上线的快速交付；一致的 Serverless 环境：不需要购买和部署传统服务器，通过阿里云 Serverless 产品线提供的服务，您可以在日常、预发、线上等多套环境中使用一致的 Serverless 环境去开发、调试、...
自定义配置
多端低代码开发平台魔笔 支持自定义配置。例如，可以配置API集成场景下的Auth授权信息或逻辑流中使用的变量或对象值。操作步骤 在应用开发界面的左侧功能区，单击 配置，系统默认进入 应用配置 页签。选择 自定义配置 页签，单击 添加配置...
注册EMR集群至DataWorks
注意事项 若要实现DataWorks标准模式工作空间的开发环境与生产环境隔离机制，您需要为开发环境和生产环境绑定两个不同的EMR集群。且这两个集群的元数据需要使用如下存储方式：方式一（数据湖方案推荐）：存储在数据湖构建DLF（Data Lake ...
搭建开发环境
HaaS Studio HaaS Studio是AliOS Things配套的开发环境基于VS Code的插件。VS Code安装完成后，可在VS Code的插件市场搜索“haas-studio”，然后点击“install”安装。配置VS Code“代码修改”、“编译”以及“烧入”都是在VS Code中完成的...
发布任务
标准模式工作空间提交任务后，任务仅在开发环境生效，开发环境中的任务不进行自动调度，您需要通过任务发布流程，将任务发布至生产环境后，任务才会周期调度运行。说明 在数据开发界面提交的操作都将进入任务发布界面处于待发布状态，您...
数据开发与运行
说明 如果您的DataWorks为标准模式，则开发环境和生产环境分离，在DataWorks的DataStudio删除资源时，只删除了开发环境的资源，生产环境的资源需要将删除操作发布到生产环境，生产环境的资源才会被删除下线。在开发环境中删除资源。在对应...
新建Flink_SQL任务
开发环境资源队列及引擎版本 支持选择 系统默认配置 或 自行配置。系统默认配置：默认选择，使用与生产环境相同的环境集群与引擎版本。自行配置：您可自行选择开发环境任务运行的环境集群及引擎版本。若您的项目空间为Basic模式，则无需...
创建命名空间
您部署应用的多个环境（例如生产环境和开发环境）可能需要不同的配置值，可以通过创建多个命名空间来实现。需要隔离多个产品线的配置时，也可以给每个产品线分配一个命名空间。背景信息 说明 ACM进入下线状态，所有配置管理相关的需求由MSE...
荣耀推送
开发环境准备，开发环境需要符合荣耀推送集成的环境，具体可以参考 开发准备-环境信息。添加配置文件。在 荣耀开发者服务平台 中下载 mcs-services.json 配置文件，具体参考 添加应用配置文件。配置 SDK 的仓库地址。具体参考官方链接文档 ...
查看版本
状态 已提交：节点已提交至开发环境，但未创建发布包并发布至生产环境。您可进入发布页面发布该节点，详情请参见 发布任务。中间版本：节点已提交至开发环境并且已创建发布包，但未发布至生产环境。节点处于待发布状态。您可进入发布页面...
RunSmokeTest
ProjectEnv String 是 PROD 工作空间的环境，包括PROD（生产环境）和DEV（开发环境）。简单模式的工作空间无开发环境，详情请参见 简单模式和标准模式的工作空间。Bizdate String 是 2020-05-26 00:00:00 业务日期。Name String 是 xm_...
新建FLINK_SQL任务
资源配置（必选）：配置任务生产环境和开发环境对应的集群、引擎版本以及任务的并行度、Task Manager 数量、Job Manager Memory、Task Manager Memory信息。配置说明，请参见 配置Ververica Flink离线模式资源。运行参数：可以通过配置运行...
MaxCompute数据访问权限控制
背景信息 DataWorks通过空间预设角色与空间自定义角色与开发环境引擎Role映射，来让被授予空间角色的RAM用户拥有该角色映射的开发引擎Role权限，但默认无生产权限。您可通过DataWorks安全中心实现MaxCompute数据权限管控。应用场景 场景 同...
注册CDH或CDP集群至DataWorks
步骤三：资源组初始化 初次绑定集群、集群服务配置变更 或 组件版本升级（例如：修改core-site.xml）请初始化资源组，确保资源组可正常访问CDH集群，资源组当前环境配置可正常执行CDH集群任务。在 开源集群 页面，找到已注册的CDH集群，...
创建并使用PAI DLC节点
如您希望在开发环境进行冒烟测试，查看调度节点任务的执行是否符合预期，则可在节点提交时，或节点提交后执行冒烟测试，操作详情请参见 执行冒烟测试。步骤五：提交发布任务 节点任务配置完成后，需执行提交发布操作，提交发布后节点即会...
调度参数
说明 由于数据集成任务没有开发环境测试功能，所以如果您需测试该类任务调度参数替换情况，建议新建一个SQL节点，使用开发环境冒烟测试先单独测试调度参数，测试符合预期后，再在数据集成节点中使用。FAILED:ODPS-0130161:[1,84]Parse ...
AnalyticDB for MySQL
如您希望在开发环境进行冒烟测试，查看调度节点任务的执行是否符合预期，则可在节点提交时，或节点提交后执行冒烟测试，操作详情请参见 执行冒烟测试。步骤五：提交发布任务 节点任务配置完成后，需要执行提交发布操作，提交发布后节点即会...
MaxCompute资源管理
数据开发 面板中的资源只有 同时上传到MaxCompute，并 提交 或 发布 后，才会出现在 MaxCompute资源 面板的开发环境或生产环境中。通过MaxCompute客户端、MaxCompute Studio等非DataWorks渠道上传的资源文件，不会在 数据开发 面板显示，但...
创建CDH Spark节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
任务管理器-微服务端
3、配置补充说明 实际生产系统，一般日常开发环境的数据库和线上环境的数据库是不一样的，数据库配置可以定义成变量，比如application.properties中这样定义数据源：spring.datasource.driver-class-name=${ds_drivername} spring....
任务管理器-WEB服务
4.补充说明 实际生产系统，一般日常开发环境的数据库和线上环境的数据库是不一样的，数据库配置可以定义成变量，比如application.properties中这样定义数据源：spring.datasource.driver-class-name=${ds_drivername} spring.datasource....
创建并使用AnalyticDB for PostgreSQL节点
如您希望在开发环境进行冒烟测试，查看调度节点任务的执行是否符合预期，则可在节点提交时，或节点提交后执行冒烟测试，操作详情请参见 执行冒烟测试。步骤五：提交发布任务 节点任务配置完成后，需要执行提交发布操作，提交发布后节点即会...
新建FLINK_SQL任务
实时模式 资源配置（必选）：配置任务生产环境和开发环境对应的资源队列、引擎版本以及任务的并行度、Task Manager 数量、Job Manager Memory和Task Manager Memory信息。配置说明，请参见 配置开源Flink实时模式资源。变量配置：变量参数...
ClickHouse SQL
如您希望在开发环境进行冒烟测试，查看调度节点任务的执行是否符合预期，则可在节点提交时，或节点提交后执行冒烟测试，操作详情请参见 执行冒烟测试。步骤五：提交发布任务 节点任务配置完成后，需要执行提交发布操作，提交发布后节点即会...
Doris节点
如您希望在开发环境进行冒烟测试，查看调度节点任务的执行是否符合预期，则可在节点提交时，或节点提交后执行冒烟测试，操作详情请参见 执行冒烟测试。步骤五：提交发布任务 节点任务配置完成后，需执行提交发布操作，提交发布后节点即会...
通过配置审计实现资源的多环境合规审计
本文根据开发环境对资源进行分类，对生产环境和测试环境中的资源通过标签进行区分审计为例进行介绍。假设您已为生产环境中的所有资源绑定标签 Env:Prod，为测试环境中的所有资源绑定标签 Env:Test，标签值您可以根据实际情况自行定义，能...
扩展程序概述
DataWorks作为阿里云一站式大数据开发与治理平台，在各项能力支持上预设了很多拓展点，例如，在标准模式下，简略来看，节点创建后完成代码开发后，需先提交到开发环境中进行验证，完成后再正式发布到生产环境中，后续每天根据调度配置定时...
- 产品推荐
- 这些文档可能帮助您