基于模型生成ETL代码
成功创建节点后，DataWorks会根据模型表的信息为您自动生成部分代码框架，后续您可基于此代码框架快速开展数据开发的工作。选择 绑定DataStudio节点：发布至MaxCompute、EMR Hive引擎的表与已有的相应引擎类型的DataStudio节点绑定，您可在...
工作空间概述
工作空间概述 所有开发工作都将在DataWorks自定义的工作空间内完成，一个工作空间支持绑定多个类型的计算引擎实例，例如：MaxCompute、E-MapReduce和实时计算等。绑定引擎实例后，即可在工作空间进行任务开发、调度引擎任务及管理引擎中...
产品简介
将原本属于前端开发人员的工作，转移到非技术人员身上，让更了解用户的业务运营人员能够直接自主产出需要的页面，既减少了前端开发的工作量，又大大提升了运营效率。所见即所得 丰富的官方模块生态，可基于编辑器，灵活自由创作。页面搭建...
DataWorks准备工作流程
创建DataWorks工作空间：工作空间是DataWorks管理任务、成员，分配角色和权限的基本单元，所有的开发工作都将在工作空间内完成，因此在进行开发操作前，您需先创建工作空间。在工作空间创建数据源或注册集群：使用DataWorks进行数据开发前...
空间管理员职责
数据开发：仅开发角色和空间管理员角色可以在数据开发进行具体的开发工作。在设置工作空间的级别时，您需要首先选择设置调度引擎执行任务时，使用 阿里云主账号 还是 阿里云子账号 执行任务。如果设置有误，权限体系会被破坏。阿里云主账号...
权限管理与规范化数据开发
空间级别-开发角色：可以做任务开发的工作，如DataStudio任务开发、数据服务开发、DQC配置等。空间级别-运维角色：负责配置资源与任务部署，如配置数据源、发布任务。空间级别-部署角色：仅负责发布任务。空间级别-模型设计师角色：仅能...
通用开发流程
步骤 描述 相关文档 步骤一：新建业务流程 DataWorks数据开发基于业务流程组织与开发代码，您需先新建业务流程，才可进行后续的开发工作。创建业务流程 步骤二：新建数据表 DataWorks支持使用可视化方式创建表，并以目录结构在界面展示。...
数据开发：开发者
操作流程 步骤一：新建业务流程 数据开发基于业务流程组织与开发代码，您需要先新建业务流程，才可进行后续的开发工作。步骤二：新建表 DataWorks支持使用可视化方式创建表，并以目录结构方式在界面展示。数据开发前，您需先在引擎创建用于...
第一次使用
正常维护开发，会指定团队管理员进行日常管理操作，团队管理员拥有，创建企业（团队），创建产品，创建应用，添加成员，分配成员等开发的前置环境准备工作的权限。应用管理员，拥有一个团队下应用管理、应用开发、应用运维相关的权限。没有...
开发应用
应用创建好之后，即可开始开发该应用。点击「在线开发部署」，云开发平台随即会为您开启 CloudIDE，CloudIDE 启动完成后，会自动加载该应用的代码，初始化状态下，加载的代码为你创建该应用时所选择的应用...您就可以开始您的应用开发工作了。
实现开发生产等多套环境隔离
在开发环境的工作空间中，使用DataStudio进行任务开发和调度配置，同时建表语句使用SQL命令完成。建表语句示例：create table if not exists db1.table1(id int,name String);说明 由于数据库已经在DLF中声明了路径，此处不再声明路径。...
开发温度告警服务
在业务逻辑开发工作台的 全局日志 和 节点日志 下，查看服务的全局日志和具体节点日志。如下图所示，判断结果为true，发送告警信息。钉钉群收到消息如下图。在业务逻辑开发工作台，单击页面右上角 发布 图标。业务服务发布启动后，该业务...
规划工作空间
数据开发（DataStudio）各工作空间之间的数据开发工作是 完全隔离 的。工作空间之间的业务流程、任务节点独立开发，互不影响。在工作空间内部：仅“开发”、“管理员”角色的成员具备创建、编辑、删除任务节点的权限。仅“开发”、“运维”...
场景：工作空间模式升级（简单模式升级标准模式）
场景示例 例如，某公司在DataWorks上有一个工作空间A，单击 升级为标准模式 后，创建了一个开发环境的工作空间A_dev。原来工作空间A中的成员、角色、资源都会在工作空间A_dev下进行创建。原工作空间A下的成员A1（开发角色）、B1（运维角色...
数据开发功能索引
3 使用目录树的方式对各业务流程中的节点、表、资源、函数进行管理：业务流程：业务开发的单位，用于进行具体的业务开发工作。节点：代码开发的最小单位，支持对应引擎、算法、数据集成、数据库、通用节点进行代码开发。表：使用可视化方式...
在工作空间创建数据源或注册集群
本文主要以使用正式开发环境为例，为您介绍开发前的工作空间环境准备，包括“如何创建数据源或注册集群”，“用于进行调度的数据源如何绑定至数据开发”。背景信息 在DataWorks工作空间中，主要基于数据源或集群执行相关数据同步、数据开发...
Native 框架简介
联动 为减少设计和开发人员之间的沟通成本、避免重复的控件开发工作和视觉设计，统一组件库（AntUI）聚合完成了开发和视觉工作。设计师制定规范，开发解释规范成为控件，完整的开发指南便于开发实现，形成一站式的控件体系。通过统一的命名...
接口
支持的JSON的数据格式有：对象（Object）：{} 数组（Array）：[]字符串（string）："test"数字（number）：123 布尔值（bool）：true、false 业务逻辑开发：调用在当前项目中，通过业务逻辑开发工作台开发的服务接口，将返回数据作为组件...
场景：MaxCompute引擎在不同模式工作空间访问资源与...
仅需要授权数据开发人员“DataWorks开发角色”即可完成所有数据仓库开发工作。安全、规范。具备安全、规范的代码发布管控流程（包含代码评审、代码DIFF查看等功能），保障生产环境稳定性，避免不必要的因代码逻辑引起的脏数据蔓延或任务报...
创建并配置发布环境
如果您配置了跨项目依赖映射至新的项目，DataWorks将根据映射关系修改节点的依赖关系，请确保映射的工作空间可正常添加依赖。常见的无法正常添加依赖的情况，请参见 提交节点报错：当前节点依赖的父节点输出名不存在。MaxCompute引擎类任务...
账号鉴权
背景信息 使用Web可视化工作台开发的应用，默认访问时不会进行安全验证。为保证安全，如信息安全、设备控制保护等，可以开启账号鉴权。Web应用可以限制用户登录的访问权限，保证Web应用的安全性。开通账号鉴权 登录 物联网应用开发控制台，...
数据治理中心概述
DataWorks的工作空间分为标准模式和简单模式，不同模式工作空间下任务的开发流程存在一定差异。本文以标准模式工作空间的开发流程示例。实际流程请根据您使用的工作空间模式为准。不同模式工作空间的通用开发流程，详情请参见 任务开发流程...
MaxCompute数据权限控制详情
DataWorks通过空间预设角色或空间自定义角色与开发环境引擎Role映射，来让被授予空间角色的RAM用户，拥有该空间角色映射的开发引擎Role所拥有的MaxCompute引擎权限，但默认无生产权限，本文为您介绍预设角色权限基本情况、MaxCompute权限...
SQL组件概述
权限说明 您需具备DataWorks工作空间的 开发 权限，才可创建并使用组件。授权详情请参见 添加空间成员并管理成员角色权限。组件类型 组件分为项目组件及公共组件，组件开发者（即创建组件的用户）在创建组件时可自行定义。项目组件：组件...
MaxCompute数据访问权限控制
开发或生产环境用户访问跨工作空间的开发或生产环境表。默认不在工作空间下的子账号无法在数据开发界面跨项目访问开发表或生产表。如果需要跨项目操作开发表或生产表，子账号需要在 安全中心 发起申请，待审批通过后，便可在数据开发界面...
DataWorks on EMR集群配置最佳实践
DataWorks支持绑定EMR（E-MapReduce）的DataLake（新版数据湖）集群为EMR计算引擎，创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，帮助EMR用户更好地产出数据。本文为您介绍在DataWorks上...
GetProject
调用GetProject查询一个DataWorks工作空间的信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String...
绑定交互式分析实例
Hologres实例的网络地址 实例选择后自动生成 端口 Hologres实例的网络地址 实例选择后自动生成 连通性测试 测试是否连通 无 进入HoloStudio开发 工作空间创建成功后会跳转至管控台，可看到已配置好的工作空间信息，单击目标工作空间后的 ...
默认工作空间内置逻辑说明
进行实际开发时，建议您创建自己的工作空间，将用于执行开发操作的项目（例如，MaxCompute、E-MapReduce、Hologres）创建为工作空间的数据源或集群，并绑定至数据开发（DataStudio）模块，详情请参见 创建工作空间、在工作空间创建数据源或...
创建并使用PAI Designer
步骤二：开发PAI Designer节点任务 简单示例 开发任务：编写Designer工作流 编辑PAI Designer节点任务时，如选择加载已有工作流，则需提前在PAI中创建Designer工作流，通过名称搜索，载入已经创建好的工作流。在PAI Designer节点编辑页面，...
创建EMR Hive节点
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务...
DataWorks On Hologres使用说明
DataWorks资源组概述 二、开发环境准备 您需先将Hologres实例创建为DataWorks工作空间的数据源并绑定至数据开发（DataStudio），才可进行相关开发工作。同时，支持以工作空间为单位管理空间成员以便进行协同开发。类别 描述 相关文档 数据...
概述
迁移助手可以帮您快速复制DataWorks上不同的版本、主账号、地域和工作空间中的开发成果。...隔离开发环境和生产环境 当开发环境和生产环境的网络完全隔离后，您可以通过迁移助手，导出开发环境中已完成开发的任务至生产环境。
DataWorks On CDP/CDH使用说明
新增和使用独享调度资源组 二、开发环境准备 您需先在DataWorks工作空间注册 CDP或CDH 集群，才可在数据开发（DataStudio）进行数据开发工作，并以工作空间为单位管理空间成员，以便进行协同开发。类别 描述 相关文档 数据同步环境准备 ...
DataWorks On EMR使用说明
新增和使用独享调度资源组 二、开发环境准备 您需先在DataWorks工作空间注册EMR集群，才可在数据开发（DataStudio）进行数据开发工作，并以工作空间为单位管理空间成员以便进行协同开发。类别 描述 相关文档 注册EMR集群 基于DataWorks进行...
RunSmokeTest
简单模式的工作空间无开发环境，详情请参见 简单模式和标准模式的工作空间。Bizdate String 是 2020-05-26 00:00:00 业务日期。Name String 是 xm_create_test 工作流的名称。NodeId Long 是 1234 节点的ID。您可以调用 ListNodes 接口获取...
新建数据库
说明 当前标准版的工作空间分开发环境和生产环境，以保证数据的安全性。但是由于当前HoloStudio未上线环境切换功能，建议开发和生产绑定同一个DB，否则HoloStudio将无法查询生产环境的数据。环境 配置项 说明 备注 标题 实例显示名称 ...
跨项目克隆说明
跨项目克隆主要用于隔离同租户（阿里云账号）简单模式工作空间下的开发环境和生产环境，您也可以利用跨项目克隆功能实现计算、同步等类型的任务在工作空间之间的克隆迁移。本文为您介绍如何处理跨项目克隆时任务间的依赖关系。通过 跨项目...
OpenEvent概述
提升开发效能：通过在DataWorks界面上创建相关配置，您无需再进行发送消息相关配置，仅需做好相关SDK开发的准备配置工作及订阅消息配置，节省繁杂的手工操作。实现个性化需求：DataWorks提供丰富的事件类型，您可以通过订阅不同事件类型的...
功能发布记录 2022年之前
当您的工作空间中有多个调度资源组时，可以根据实际业务需求，使用该功能快速为目标节点重新分配资源组，促进资源的合理使用。2021.11.30 全部地域。资源组编排 数据开发新增批量操作功能。DataWorks支持对节点、资源、函数进行批量修改...
- 产品推荐
- 这些文档可能帮助您