数据源开发和生产环境隔离
数据源隔离模式可以满足标准模式下，开发环境和生产环境的数据隔离需求。背景信息 同一个名称的数据源存在开发环境和生产环境两套配置，在配置数据源时，您可基于标准模式工作空间对应底层两个数据库或数据仓库的背景，针对不同环境设置...
下线节点
如何恢复已下线节点 报错：请先在发布中心把文件${filename}发布到生产环境或在发布中心取消发布 报错：节点存在子节点，导致任务删除或下线失败 如何下线节点 如果您使用的是标准模式工作空间，则开发环境和生产环境隔离，在DataWorks的...
必读：简单模式和标准模式的区别
绑定后不同工作空间模式下，DataWorks模块对应操作的数据源如下表所示：DataWorks模块 标准模式 简单模式 数据开发 操作开发环境数据源（实例，项目、数据库）操作生产环境数据源（实例，项目、数据库）运维中心 开发环境运维中心：操作...
入门概述
本模块将指引您快速完成一个完整的数据开发和运维操作。说明 如果您是第一次使用DataWorks，请确认已经根据 准备工作 模块的操作，准备好账号和工作空间角色等内容后，登录DataWorks控制台，单击相应工作空间后的 进入数据开发，即可进行...
环境管理
多端低代码开发平台魔笔针对研发流程中测试和上线环节，提供资源隔离的开发环境和生产环境，支持对各环境的管控操作，包括环境运行状态管理和启停操作。环境介绍 多端低代码开发平台魔笔 针对研发流程中的开发、测试和上线环节，提供资源...
下线任务
解决方案：确认待下线任务的下游依赖：您可前往开发环境运维中心和生产环境运维中心的周期任务界面，分别确认该任务开发环境和生产环境是否存在下游依赖关系。详情请参见 查看周期任务DAG图。移除待下线任务的下游依赖：进入下游依赖任务的...
场景：工作空间模式升级（简单模式升级标准模式）
非MaxCompute数据源：复制一份生产环境的数据源至开发环境，即开发环境和生产环境将操作同一个库。说明 本文主要针对MaxCompute简单模式升级标准模式的场景进行说明。类别 升级前 升级后 数据源 一个 新增开发环境数据源，开发环境和生产...
概述
迁移助手可以帮您快速复制DataWorks上不同的版本、主账号、地域和工作空间中的开发成果。...隔离开发环境和生产环境 当开发环境和生产环境的网络完全隔离后，您可以通过迁移助手，导出开发环境中已完成开发的任务至生产环境。
创建并管理数据源
附录：数据源环境介绍 标准模式工作空间下，同一个名称的数据源存在开发环境和生产环境两套配置，两套配置可对应底层两个数据库/数据仓库，针对不同环境您可设置不同的数据源信息，使测试与生产调度操作的数据源隔离，以保护生产数据的安全...
绑定交互式分析实例
Hologres实例名称 下拉框可选 无 数据库名 需要绑定的DB名 当前建议绑定开发环境的DB 服务器 Hologres实例的网络地址 实例选择后自动生成 端口 Hologres实例的网络地址 实例选择后自动生成 连通性测试 测试是否连通 无 开发环境 访问身份 ...
场景：MaxCompute引擎在不同模式工作空间访问资源与...
标准模式下，支持开发环境和生产环境隔离，开发环境和生产环境的数据库表命名有所区别，如果需要在开发环境访问生产环境的数据库表，请根据以下命名规范严格区分数据库表名，避免误操作生产环境。环境类型 标准模式 示例 开发环境 项目名_...
新建数据库
Hologres实例名称 下拉框可选 无 数据库名 需要绑定的DB名 当前建议绑定开发环境的DB 服务器 Hologres实例的网络地址 实例选择后自动生成 端口 Hologres实例的网络地址 实例选择后自动生成 连通性测试 测试是否连通 无 开发环境 访问身份 ...
管理数据源权限
如果目标工作空间升级为标准模式工作空间，则该数据源会变为两个，分别对应开发和生产环境，且内容一致，均与源数据源保持分享关系。查看分享的数据源 单击顶部的工作空间名称区域，切换至上文已添加权限的工作空间。进入该工作空间的 数据...
创建工作空间
生产、开发环境隔离 定义工作空间模式，即工作空间的生产环境和开发环境是否隔离。是：需隔离生产、开发环境，该方式创建的工作空间为标准模式工作空间。否：无需隔离生产、开发环境，该方式创建的工作空间为简单模式工作空间。工作空间...
HoloStudio快速入门
说明 Hologres在标准DataWorks工作空间分开发环境和生产环境，但由于当前HoloStudio暂不支持环境切换，导致生产环境的数据在HoloStudio不可查询，建议开发和生产绑定同一个DB。已有工作空间 如果您已创建DataWorks工作空间，可以直接使用该...
准备环境
开发个人组件前，需要配置开发环境和初始化开发项目。步骤一：安装Node.js运行环境 需要安装8.9 LTS以及以上版本：单击并选择版本下载。步骤二：安装npm包管理工具 内测用户先使用bnpm,正式开放之后会迁移至aliplus源，使用npm即可。打开...
审批负责人治理（Beta）
异常原因 系统检测到审批负责人异常的可能原因（优先级依此降低）：同时具备生产和开发环境时，生产表的审批负责人与开发表的审批负责人不相同。表（开发环境/生产环境）的审批负责人对应的云账号不复存在。表（开发环境/生产环境）的审批...
DataWorks on EMR集群配置最佳实践
元数据存储选择 若要实现DataWorks标准模式工作空间的开发环境与生产环境隔离机制，您需在DataWorks计算引擎配置处，为开发环境和生产环境绑定两个不同的EMR集群。同时，为满足数据隔离要求，两个集群的元数据需使用如下方式存储：方式一...
MaxCompute数据访问权限控制
注意事项 开发环境和生产环境的MaxCompute项目，需要先在MaxCompute控制台开启列级访问控制，才可以在安全中心对表中的字段申请权限，详情请参见：Label权限控制。功能介绍 角色 说明 权限申请人 可以通过 权限申请 页面申请MaxCompute表的...
数据源概述
数据源开发与生产隔离 在配置数据源时，您可以对同一个名称的数据源同时添加开发环境和生产环境两套配置，通过数据源隔离使其在不同环境隔离使用。详情请参见：数据源开发和生产环境隔离。说明 目前只有标准模式的工作空间支持数据源隔离。...
创建EMR Presto节点
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询（Presto概述），DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。...
查看公共表
说明 标准模式工作空间下，公共表包括 开发环境 和 生产环境。简单模式工作空间下，公共表仅包括 生产环境。蓝色表示当前环境。表名 相应工作空间下表的名称。列信息 查看当前表的字段数量、字段类型及描述。分区信息 查看当前表的分区信息...
数据开发与运行
说明 如果您的DataWorks为标准模式，则开发环境和生产环境分离，在DataWorks的DataStudio删除资源时，只删除了开发环境的资源，生产环境的资源需要将删除操作发布到生产环境，生产环境的资源才会被删除下线。在开发环境中删除资源。在对应...
对接使用CDH与CDP
以下简称 CDH）与CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，在保留CDH集群或CDP集群作为存储和计算引擎的前提下，您可以使用DataWorks的任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理功能...
发布中心概述
由于简单模式工作空间只有一个环境，不区分开发环境和生产环境，不能直接隔离开发和生产。如果您需要实现开发和生产隔离，则可以使用 跨工作空间发布 功能，将用于开发测试的简单模式工作空间中的任务发布至用于生产调度的简单模式工作空间...
权限管理与规范化数据开发
详情请参考 数据源开发和生产环境隔离。调度参数 调度参数是DataWorks在调度场景下支持自动根据业务时间替换为具体值的参数，节点中使用调度参数后，在调度场景下，可以实现将对应业务时间的业务数据动态写入对应的时间分区中。详情请参见 ...
通用参考：切换资源组
运维中心页面 说明 运维中心可以修改开发环境和生产环境中各任务的资源组，您可以在顶部按需切换环境后，再参考下文进行操作。进入运维中心页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>运维中心，在...
表管理
说明 仅标准模式工作空间的表区分 开发环境 和 生产环境，简单模式工作空间的表仅包括 生产环境。默认展示5000张数据表，建议您使用搜索功能查找表。目前仅MaxCompute、Hologres引擎支持 按引擎元数据查看 展示目标表，其余引擎（例如，EMR...
创建并管理工作空间
生产、开发环境隔离 定义工作空间模式，即工作空间的生产环境和开发环境是否隔离。是：需隔离生产、开发环境，该方式创建的工作空间为标准模式工作空间。否：无需隔离生产、开发环境，该方式创建的工作空间为简单模式工作空间。工作空间...
加工数据
完成设置后，分别单击 提交到开发环境 和 提交到生产环境。设计业务流程 业务流程的新建及依赖关系的配置请参见 新建业务流程。进入业务流程开发面板，并向面板中拖入两个ODPS SQL节点，依次命名为 数据清洗 和 数据汇聚，并配置如下图所示...
创建CDH Spark节点
DataWorks为您提供CDH Spark节点，便于您在DataWorks上进行Spark任务的开发和周期性调度。本文为您介绍如何创建及使用CDH Spark节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎...
创建CDH Impala节点
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如果您希望在开发环境进行冒烟测试，可在...
建表并上传数据
生成表结构后，在 基本属性 模块输入表的 中文名，并分别单击 提交到开发环境 和 提交到生产环境。说明 本示例以标准模式的工作空间为例。如果您使用的是简单模式的工作空间，仅单击 提交到生产环境 即可。在左侧导航栏，单击 表管理。在 ...
创建CDH Presto节点
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如果您希望在开发环境进行冒烟测试，可在...
创建CDH Hive节点
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如果您希望在开发环境进行冒烟测试，可在...
调度参数
FAILED:ODPS-0130161:[1,84]Parse exception-invalid token '$' params format error，please check your params（key=values）运行按钮的赋值逻辑差异 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别 调度参数运维与查看 如何查看...
创建EMR Hive节点
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。说明 调度参数使用详情，请参考 调度参数支持的格式。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。编辑 ...
DataWorks V2.0
DataWorks V2.0支持双工作空间开发，隔离开发和生产环境，保证数据研发规范，减少错误代码的出现。已升级DataWorks V2.0区域 目前所有区域均升级至DataWorks V2.0版本。DataWorks V2.0版本操作差异 您可参见DataWorks V2.0系列详解视频，对...
采集数据
表信息确认无误后，将ods_user_info_d表和ods_raw_log_d表分别单击 提交到开发环境 和 提交到生产环境，此操作将根据您的节点配置在开发环境与生产环境对应计算引擎项目分别创建目标引擎物理表。说明 表结构定义完成后，您需将其提交至开发...
创建CDH MR节点
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如果您希望在开发环境进行冒烟测试，可在...
- 产品推荐
- 这些文档可能帮助您