DataWorks V2.0

DataWorks V2.0支持双工作空间开发,隔离开发和生产环境,保证数据研发规范,减少错误代码的出现。已升级DataWorks V2.0区域 目前所有区域均升级至DataWorks V2.0版本。DataWorks V2.0版本操作差异 您可参见DataWorks V2.0系列详解视频,对...

第一次使用

正常维护开发,会指定团队管理员进行日常管理操作,团队管理员拥有,创建企业(团队),创建产品,创建应用,添加成员,分配成员等开发的前置环境准备工作的权限。应用管理员,拥有一个团队下应用管理、应用开发、应用运维相关的权限。没有...

查看版本

进入节点编辑页面 登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。进入节点编辑页面。在 数据开发 页面的左侧目录树查找目标节点,双击节点名称即可进入节点编辑页面。...

场景:MaxCompute引擎在不同模式工作空间访问资源与...

仅需要授权数据开发人员“DataWorks开发角色”即可完成所有数据仓库开发工作。安全、规范。具备安全、规范的代码发布管控流程(包含代码评审、代码DIFF查看等功能),保障生产环境稳定性,避免不必要的因代码逻辑引起的脏数据蔓延或任务报...

阶段二:数据安全防护措施及策略增强建设

在数据开发、测试场景下,开发人员在生产环境中导出数据进行开发或测试时,不展示明细数据时也不会影响开发工作。为避免数据分析师、开发人员滥用数据,出于非工作目的查看明细数据,则可采用数据脱敏能力(支持保留格式加密、掩盖、HASH...

安全设置与其他

使用限制 启用页面查询内容脱敏 启用页面查询内容脱敏是对DataWorks工作空间范围生效,如果您需要所有工作空间在查询数据时对敏感信息均脱敏展示,则需对所有工作空间逐一开启该功能。说明 例如,工作空间A设置了脱敏展示,工作空间B未设置...

任务调度属性配置概述

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。进入调度配置页面。在数据开发(DataStudio)界面,您需找到目标节点,进入该节点的编辑页面。单击节点编辑页面右侧...

魔笔开发过程中,工作流无法选择审批用户

问题描述 魔笔开发过程中,使用工作流为用户分配逻辑流时,已经创建好了数据模型,但后端逻辑流中选择数据模型里面逻辑流为空,如下图所示:问题原因 逻辑流在创建的时候,必须返回一个系统用户的列表才能在这里被识别到。解决方案 建议您...

数据开发:开发者

操作流程 步骤一:新建业务流程 数据开发基于业务流程组织与开发代码,您需要先新建业务流程,才可进行后续的开发工作。步骤二:新建表 DataWorks支持使用可视化方式创建表,并以目录结构方式在界面展示。数据开发前,您需先在引擎创建用于...

使用工作空间参数

DataWorks在原有任务级别调度参数基础上,新增工作空间级别的调度参数,如果同一个工作空间中的多个参数需配置为相同值,可以使用工作空间参数。工作空间参数可配置为脱敏展示,以保护您的敏感数据;同时,在标准模式工作空间下,生产环境...

数据源开发和生产环境隔离

背景信息 同一个名称的数据源存在开发环境和生产环境两套配置,在配置数据源时,您可基于标准模式工作空间对应底层两个数据库或数据仓库的背景,针对不同环境设置不同的数据源信息。在同步任务执行过程中,可由执行环境控制离线同步任务所...

什么是自动驾驶开发平台

本文为您简要介绍自动驾驶开发平台的相关内容。阿里云自动驾驶开发平台包含自动驾驶研发过程中需要数据管理、仿真、车云协同采集相关能力与产品。帮助客户在云上充分利用阿里云的存储计算能力,实现自动驾驶研发过程中全链路降本提效。功能...

数据治理中心概述

数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题,并通过健康分量化评估,从全局、工作空间、个人等多个视角,以治理报告及排行榜呈现治理成果,帮助您高效达成治理目标。同时,提供...

查看治理方案模板

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击顶部菜单栏左侧的 图标,选择 全部产品>数据治理>数据治理中心。单击顶部菜单栏的 配置管理,...

什么是内容安全

产品功能 阿里云内容安全是内容安全领域的先行者,源自阿里巴巴多年安全技术积累,涵盖电商、社区、支付等多领域的平台内容治理经验以及AI算法和云计算基础设施,为企业用户提供稳定、即接即用、成熟的内容安全解决方案,帮助企业和开发者...

建模空间

当您所需要管理多个DataWorks工作空间且需要复用一套数仓规划时,面对跨多个工作空间的复杂数据体系,可以通过设计空间来共享一套数据建模工具,针对整个数据体系进行统一的数仓规划、维度建模及指标定义等工作。本文为您介绍DataWorks建模...

创建解决方案

数据开发模式全面升级,包括工作空间>解决方案>业务流程三级结构,抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级,按照业务种类组织相关的不同类型的节点,让您能够更好地以业务为单元、连接多个业务流程进行开发...

MaxCompute数据访问权限控制

开发或生产环境用户访问跨工作空间的开发或生产环境表。默认不在工作空间下的子账号无法在数据开发界面跨项目访问开发表或生产表。如果需要跨项目操作开发表或生产表,子账号需要在 安全中心 发起申请,待审批通过后,便可在数据开发界面...

ClickHouse SQL

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程,选择 新建节点>ClickHouse>ClickHouse SQL。在 新建节点 对话框中输入节点 ...

采集数据

本教程以MySQL中的用户基本信息(ods_user_info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构...

DataWorks V3.0

本文将为您介绍DataWorks V3.0版本的发布历史及新增特性。DataWorks V3.0发布 发布版本:DataWorks V3.0...支持灵活选择导入或导出工作空间内的任务节点、表DDL、资源、函数和数据源等内容,以便您迁移工作空间的内容,或快速初始化工作空间。

实现开发生产等多套环境隔离

使用DataWorks进行大数据开发时,支持对开发、测试、生产等环境进行隔离,当您联合使用了其他阿里云产品时,也可根据环境隔离诉求进行对应业务的环境设置与隔离,本文以DataWorks联合EMR、OSS等产品为例,为您介绍如何实现开发生产等多套...

GetFile

该参数与 DataWorks控制台 中,数据开发任务的“调度配置>时间属性>重跑属性”配置内容对应。SchedulerType String NORMAL 调度的类型,取值如下:NORMAL:正常调度任务。MANUAL:手动任务,不会被日常调度,对应手动业务流程下的节点。...

系统配置

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据治理>数据保护伞,单击 立即体验,进入数据保护伞。说明 若...

查看发布包列表

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击顶部菜单栏的 图标,选择 全部产品>更多>发布中心,进入发布中心。进入发布列表。在 发布中心 ...

发布中心概述

如果您需要实现开发和生产隔离,则可以使用 跨工作空间发布 功能,将用于开发测试的简单模式工作空间中的任务发布至用于生产调度的简单模式工作空间,实现简单模式工作空间开发环境和生产环境的隔离。跨工作空间发布常用的场景如下:将目标...

创建MaxCompute数据源

您需在目标工作空间中,将MaxCompute项目创建为该工作空间的数据源,用于后续在该工作空间进行开发操作。同时,需将购买的DataWorks资源组绑定至该工作空间,确保数据源与资源组网络连通。创建工作空间,详情请参见 创建并管理工作空间。...

默认工作空间内置逻辑说明

进行实际开发时,建议您创建自己的工作空间,将用于执行开发操作的项目(例如,MaxCompute、E-MapReduce、Hologres)创建为工作空间的数据源或集群,并绑定至数据开发(DataStudio)模块,详情请参见 创建工作空间、在工作空间创建数据源或...

创建并使用PAI Designer

步骤二:开发PAI Designer节点任务 简单示例 开发任务:编写Designer工作流 编辑PAI Designer节点任务时,如选择加载已有工作流,则需提前在PAI中创建Designer工作流,通过名称搜索,载入已经创建好的工作流。在PAI Designer节点编辑页面,...

配置代码模板

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左侧导航栏底部的 图标,进入 设置 页面。在 设置 页面,单击 代码模板,进入 代码模板 页面。设置代码模板。在 ...

配置检查项

在进行数据开发前,可通过检查项对数据开发功能相关的约束进行检查,当检查出不符合约束规范的内容时,系统会生成影响开发流程正常执行的问题事件,您可基于该事件处理暴露的问题,以保障数据开发流程可以正常执行。本文为您介绍如何查看并...

产品概述

阿里云内容安全是内容安全领域的先行者,源自阿里巴巴多年安全技术积累,涵盖电商、社区、支付等多领域的平台内容治理经验以及AI算法和云计算基础设施,为企业用户提供稳定、即接即用、成熟的内容安全解决方案,帮助企业和开发者在复杂多变...

设计阶段

完成需求阶段的工作后,数据产品经理会产出最终版本的产品需求文档,以供设计人员进行设计工作。设计工作包含数据探查和系分设计两部分:数据探查旨在了解来源数据的数据形态,例如数据质量、数据分布等。结合业务场景,帮助分析和判断需求...

常见问题

服务门户 魔笔的表达式文档 请问如何获取应用的ID?...魔笔开发过程中,工作流无法选择审批用户 魔笔使用中A、B两人可以互相看到各自的模块吗?魔笔有什么方便的学习资料?魔笔中使用导入控件导入数据时,如何不把重复数据导进去。

开发可视化应用监控树莓派状态

物联网应用开发(IoT Studio)中的Web可视化开发工具可帮助您开发一个基于网页的控制界面,无需编写代码,十分的方便快捷。本文介绍通过开发Web应用,实现检测边缘计算机状态和控制设备电源指示灯开关的功能。前提条件 已完成项目开发和...

创建Hologres数据源

您需在目标工作空间中,将Hologres实例创建为该工作空间的数据源,用于后续在该工作空间进行开发操作。同时,需将购买的DataWorks资源组绑定至该工作空间,确保数据源与资源组网络连通。创建工作空间,详情请参见 创建并管理工作空间。说明...

工作空间创建数据源或注册集群

工作空间创建完成后,您需要先将您的数据库或数据仓库,通过创建数据源的方式添加至DataWorks工作空间,或将您的集群注册至DataWorks工作空间,以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例,为您...

数据保护伞概述

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品>数据治理>数据保护伞,单击 立即体验,进入数据保护伞。说明 若...

标准代码

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据建模,在下拉框中选择对应工作空间后单击 进入数据建模。进入 标准代码。在 智能数据建模 页面的顶部菜单栏,单击 数据标准,进入 数据标准 页面。在 数据...

RunCycleDagNodes

ProjectEnv String 是 PROD 工作空间的环境,PROD表示生产环境,DEV表示开发环境。StartBizDate String 是 2020-05-20 00:00:00 补数据的起始业务日期。格式为yyyy-MM-dd 00:00:00。Name String 是 xm_test 工作流的名称。RootNodeId Long ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
商标服务 云虚拟主机 云解析DNS 域名 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用