用户价值
数据开发更简单：平台提供的各种工具产品能够极大的简化数据开发过程，缩短数据治理周期，降低数据治理成本。通过标准化、精细化、规格化的智能数据生产流程，完成流水线式的数据生产作业，提升数据资源生产效率、消除数据供应品质差异。...
实现开发生产等多套环境隔离
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
技术架构选型
在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};
MaxCompute数据源
MaxCompute数据源作为数据中枢，为您提供读取和写入数据至MaxCompute的双向通道。使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
大数据AI公共数据集分析
教程简介 阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、...
使用DataWorks连接
DataWorks基于MaxCompute等引擎，提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间，绑定计算引擎后，您即可在DataWorks上创建对应引擎...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
OpenEvent概述
提升开发效能：通过在DataWorks界面上创建相关配置，您无需再进行发送消息相关配置，仅需做好相关SDK开发的准备配置工作及订阅消息配置，节省繁杂的手工操作。实现个性化需求：DataWorks提供丰富的事件类型，您可以通过订阅不同事件类型的...
集成与开发概览
DMS的数据集成与开发功能模块，针对数据全生命周期的集成、开发、服务三个阶段提供界面化的功能支持。功能简介 数据集成与开发功能模块支持多种计算、存储引擎，支持结构化、半结构化、非结构化数据的实时集成、离线集成、开发、服务，能够...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
在工作空间创建数据源或注册集群
工作空间创建完成后，您需要先将您的数据库或数据仓库，通过创建数据源的方式添加至DataWorks工作空间，或将您的集群注册至DataWorks工作空间，以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例，为您...
基于MaxCompute进行大数据BI分析
本实践以电商行业为例，通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理，并同步至分析型数据库MySQL（AnalyticDB MySQL）进行实时分析，再通过Quick BI进行可视化展示。背景信息 MaxCompute：用于进行大规模数据计算，详情请...
入门概述
本模块将指引您快速完成一个完整的数据开发和运维操作。说明 如果您是第一次使用DataWorks，请确认已经根据 准备工作 模块的操作，准备好账号和工作空间角色等内容后，登录DataWorks控制台，单击相应工作空间后的 进入数据开发，即可进行...
数仓开发任务流
数仓开发的项目空间由入仓解决方案和业务场景两部分组成。每个项目空间内可以创建多个业务场景，每个业务场景下又可添加多个任务流，用于实现复杂的数据处理和任务调度。前提条件 已创建项目空间。具体操作，请参见 创建项目空间。创建数仓...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
基于模型生成ETL代码
成功创建节点后，DataWorks会根据模型表的信息为您自动生成部分代码框架，后续您可基于此代码框架快速开展数据开发的工作。选择 绑定DataStudio节点：发布至MaxCompute、EMR Hive引擎的表与已有的相应引擎类型的DataStudio节点绑定，您可在...
创建数据脱敏场景
脱敏场景介绍 DataWorks提供的 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等动态脱敏，及 数据集成静态脱敏 等一级脱敏场景为固定场景，不支持执行新增、编辑、删除等操作。同时，DataWorks...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
概述
EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。
工作空间概述
后续：开始数据开发 创建工作空间并分配空间成员角色权限后，您可根据各角色定义的权限前往数据开发DataStudio模块开始数据开发工作，数据开发模块的入门教程详情请参见：数据开发：开发者。相关文档 在阅读工作空间的概述后，若您想创建...
创建Log Service数据源
在引入Log Service的业务数据至Dataphin中进行数据开发的场景中，您需要先创建Log Service数据源。本文为您介绍如何创建Log Service类型的数据源。背景信息 Log Service即阿里云日志服务，如果您使用的是阿里云日志服务，在对接Dataphin...
数据开发与运维中心：数据加工
功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持MaxCompute、EMR、CDH、Hologres、AnalyticDB、Clickhouse等多种计算引擎，支持在统一的平台上进行各类引擎任务的开发、测试、发布和运维等操作。DataStudio支持智能编辑器、...
创建Log Service数据源
在引入Log Service的业务数据至Dataphin中进行数据开发的场景中，您需要先创建Log Service数据源。本文为您介绍如何创建Log Service类型的数据源。背景信息 Log Service即阿里云日志服务，如果您使用的是阿里云日志服务，在对接Dataphin...
任务调试流程
任务代码开发完成后，您可根据需要，通过运行、带参运行、快捷运行等功能调试完整代码或代码片段的正确性，并在调试完成后查看运行结果。本文为您介绍任务调试的相关内容。前提条件 已完成任务开发，详情请参见 数据开发概述。背景信息 您...
对接使用CDH与CDP
以下简称 CDH）与CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，在保留CDH集群或CDP集群作为存储和计算引擎的前提下，您可以使用DataWorks的任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理功能...
生成数据API
如果没有开通Hologres，也可以使用 数据开发 的MySQL数据源来测试。操作步骤 由于数据服务生成的API需发布至网关统一管理。若您未开通API网关，请 免费开通；若您已开通，请跳过此步骤。新建业务流程。业务名称：retail_e_commerce_2。API...
创建项目
任务开发及调试 开发角色成员通过DataWorks的数据开发模块进行任务开发、调试。如果用到生产项目的表，可以在DataWorks的数据治理模块进行申请。DataWorks的数据开发模块支持多人协同开发，所有本项目的成员都可以查看任务代码，且有编辑...
概述
数据开发 的核心功能如下：文件夹 用于存放并管理数据库中的数据开发节点。详情请参见 文件夹。Hologres开发 用于周期性调度作业。详情请参见 Hologres开发：周期性调度。一键MaxCompute表结构同步 支持使用可视化方式批量创建外部表，加速...
HoloStudio一键迁移至DataStudio
数据开发迁移 我们会将HoloStudio数据开发中的目录及其文件按照默认迁移策略一同迁移至DataStudio（数据开发）的调度业务流程中，调度业务流程详情请参见 创建业务流程。迁移策略：HoloStudio数据开发中已设置调度的任务不用迁移，未设置...
DataWorks HoloStudio下线公告
尊敬的DataWorks用户：为给您提供一致的开发体验，DataWorks>HoloStudio 产品能力将整合至 DataWorks>数据开发（DataStudio）中，从 2024年2月29日 开始，HoloStudio将不再提供服务，届时您可使用DataStudio相关功能继续进行Hologres的数据...
开发管控：管理者
MaxCompute数据访问权限控制 恢复数据 操作 说明 相关文档 节点恢复 您可以使用数据开发的回收站还原近期删除的节点。说明 节点还原后，节点ID是新生成的，与原ID不一致。回收站 节点版本对比与回滚 您可在节点或业务流程编辑页面右侧导航...
创建业务流程
DataWorks的 业务流程 开发结构满足根据业务视角来组织数据开发任务的需求，也提供了 周期业务流程 和 手动业务流程 两种，以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程，...
操作流程
通过操作流程图及说明，您可以直观且全局了解数据开发的任务流程。本文从节点任务和场景任务两个使用场景来介绍数据开发的任务操作流程。节点模式操作流程 节点模式主要适用于计算节点相对独立，整个流程由单个节点组成的这类简单数据处理...
操作流程
通过操作流程图及说明，您可以直观且全局了解数据开发的任务流程。本文从节点任务和场景任务两个使用场景来介绍数据开发的任务操作流程。节点模式操作流程 节点模式主要适用于计算节点相对独立，整个流程由单个节点组成的这类简单数据处理...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
创建业务流程
创建业务流程 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，鼠标悬停至 图标，单击 新建业务流程。在 新建业务流程 对话框中，输入 业务名称 和 ...
- 产品推荐
- 这些文档可能帮助您