大数据开发流程-大数据开发流程文档介绍内容-阿里云

技术架构选型

在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。

通用开发流程

开发流程 数据开发任务的通用开发流程如下。步骤描述相关文档步骤一：新建业务流程 DataWorks数据开发基于业务流程组织与开发代码，您需先新建业务流程，才可进行后续的开发工作。创建业务流程步骤二：新建数据表 DataWorks支持使用...

流程管控

背景信息 DataWorks的工作空间分为标准模式和简单模式，不同模式工作空间下任务的开发流程存在一定差异，两种模式的数据开发流程示意如下。标准模式工作空间开发流程简单模式工作空间开发流程如上图所示，在通用流程的关键节点，例如，...

创建业务流程

创建周期业务流程 数据开发基于业务流程下对应的开发组件进行具体开发操作，所以您创建节点前需要先新建业务流程。创建业务流程前，您可以参考下文的设计业务流程章节，结合自身的业务情况，先规划设计好符合自身业务诉求的业务流程。...

通用数据开发

说明上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步...

技术架构选型

在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};

创建手动任务

进入手动业务流程功能界面您需要前往 DataStudio（数据开发）>手动业务流程页面，通过手动业务流程创建手动触发执行的任务。进入 数据开发 页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在...

入门实践

而数据建模新增定义数据形态的流程，为您提供一站式的模型管理解决方案和数据开发前的治理能力。在数据建模时，您可以根据对业务流程的理解和需求的调研，定义企业的业务标准和规范。同时，基于数据标准进行引用和实行，生成表结构，实现...

CreateBusiness

调用CreateBusiness，创建数据开发（DataStudio）的业务流程。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 ...

使用流程参数

流程参数配置入口进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏，单击工作空间列表。选择工作空间所在地域后，单击相应工作空间后的快速进入>数据开发。进入流程参数配置界面。双击目标业务流程，在业务流程编辑页面右侧导航...

RunManualDagNodes

NodeParameters String 否 {"20000123121":"key1=val2 key2=val2","20000123124":"kkkk=vvvvv aaaa=bbbb"} 传递手动业务流程执行时的节点参数信息，一个JSON格式：{"<手动业务流程内部的某个节点ID>":"节点的调度参数信息，和数据开发调度...

数据质量：全流程的质量监控

DataWorks的全流程数据质量监控功能为您提供35种预设表级别、字段级别和自定义的监控模板。数据质量帮助您第一时间感知到源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延...

EstablishRelationTableToBusiness

相当于在数据开发页面右键单击业务流程，选择导入表的操作。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 ...

GetBusiness

UseType String NORMAL 业务流程所属的功能模块，包括NORMAL（数据开发）和MANUAL_BIZ（手动业务流程）。ErrorCode String Invalid.Tenant.ConnectionNotExists 错误码。ErrorMessage String The connection does not exist.错误信息。...

数据服务入门

步骤三：新建业务流程数据服务基于业务流程实现以业务为单元的数据服务API开发，并通过业务流程对API及创建API所使用的函数等文件进行组织管理。因此，在数据服务创建API前，需先新建业务流程。步骤四：生成API 业务流程创建完成后，您可...

计算引擎审批策略

您可以自定义MaxCompute引擎的表、资源、函数的审批流程。背景信息您可以从 MaxCompute项目维度或数据保护伞分级分类维度定义审批流程适用的数据范围，详情可参见选择配置范围。使用限制仅空间管理员、被授权 ...

数据质量管理流程

数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...

概述

阿里云DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供一体化的数据建模解决方案（DATABLAU），将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力用户实现数据资产价值化输出，在数据全生命周期上夯实数据...

创建业务流程

创建业务流程登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。在 数据开发 页面，鼠标悬停至图标，单击新建业务流程。在新建业务流程对话框中，输入业务名称和 ...

文档修订记录

系统管理 2023.6.16 新增功能 数据开发 流程参数支持Hologres SQL节点使用。更新流程参数的赋值逻辑。使用流程参数 2023.6.10 更新功能数据开发优化创建ODPS Spark节点文档的结构及内容。开发ODPS Spark任务 2023年5月更新记录时间特性...

概述

EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。

创建并管理业务流程

数据服务基于业务流程实现以业务为单元的API开发，并基于业务流程对API、函数和服务编排进行组织管理。因此在生成API前，您需要创建业务流程。本文为您介绍如何创建及管理业务流程。前提条件在创建业务流程之前，您需要登录 API网关控制台...

EMR数据开发停止更新公告

作为一站式大数据开发治理平台，DataWorks沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。迁移流程阿里云DataWorks on EMR团队提供了完善...

数据治理中心概述

您可基于该事件处理暴露的问题，以便数据开发流程可以正常执行。治理项检测。用于提交发布后的管控治理。可使用数据治理中心的治理功能，通过全局视角、个人视角或工作空间视角，查看对应的待治理项。数据治理人员可以基于暴露的待治理...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...

EMR Studio概述

EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...

必读：简单模式和标准模式的区别

无法对数据开发流程进行管控。说明开发角色可以不经过任何人审批，随时新增、修改代码并提交至调度系统，给生产带来不稳定因素。流程相对复杂，一般情况下无法一人完成所有数据开发、生产流程。场景示例：标准模式对使用流程的影响如图，...

DataWorks模块使用说明

使用流程概览：参考文档：DataWorks数据建模子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...

应用示例：数据开发过程触发事件检查

本文将为您介绍数据开发DataStudio中支持的扩展点事件，以及使用扩展点触发扩展程序的操作过程。前提条件已开启消息订阅操作，详情请参见开启消息订阅。已完成扩展程序的开发部署操作，详情请参见开发部署扩展程序。背景信息启动扩展...

实现开发生产等多套环境隔离

使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...

全景视角

数据生产视角：在数据开发场景下，建议您使用数据生产视角，关注查看数据开发过程中表、开发任务、数据服务、数据质量等方面的情况。详情请参见：数据生产视角。说明您当前登录的账号需要拥有 AliyunDataWorksFullAccess 权限，才能使用 ...

开发管控：管理者

作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...

任务调试流程

调试运行业务流程 数据开发概述，在左侧导航栏的数据开发或手动业务流程模块，双击目标业务流程，进入该业务流程面板。调试运行业务流程。单击业务流程面板工具栏的运行（图标），即可按照依赖关系，依次运行整个业务流程中的任务。说明当...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...

云产品集成

大数据开发治理平台 DataWorks DataWorks 是一款为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成...

DataWorks准备工作流程

DataWorks是为您提供专业高效、安全可靠的一站式大数据开发与治理平台，使用其进行数据开发前，您需做好相关准备工作，保障后续开发任务可顺利执行。本文为您介绍DataWorks的购买及环境准备流程，帮助您快速开通DataWorks并准备所需开发...

DataWorks On EMR使用说明

背景信息开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...

DataWorks on EMR Serverless StarRocks最佳实践

了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...

DataWorks on EMR数据安全方案

数据安全能力：任务管理 DataWorks提供了大数据开发运维等能力，其中工作空间、安全中心等功能模块可实现对大数据计算任务的管理。工作空间：通过DataWorks的工作空间规划可以实现工作空间的人员管理、设置大数据作业可见性和可运维性。...

大数据开发流程

新品推荐