大数据平台开发项目-大数据平台开发项目文档介绍内容-阿里云

修改数据开发项目

调用ModifyFlowProject接口，修改数据开发项目。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String ...

删除数据开发项目

调用DeleteFlowProject接口，删除数据开发项目。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String ...

创建数据开发项目

调用CreateFlowProject接口，创建数据开发项目。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String ...

项目分配与安全

在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...

DataWorks模块使用说明

使用流程概览：参考文档：DataWorks数据建模子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...

产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

产品简介

开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...

核心能力

一站式大数据开发平台，提供一致性开发体验一站式数据同步支持离线/实时数据传输。周期同步任务调度统一管理。主流空间数据库全面支持同步汇聚（超图SDX+，ArcGIS SDE，PostGIS，Ganos）。自动灵活的数据探查物理表预览和表数据自动探查...

DataWorks On EMR使用说明

背景信息开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...

项目管理

创建E-MapReduce集群后，您可以在数据开发中创建项目，并在项目中进行作业的编辑和工作流的调度。新建项目之后，您可以对项目进行管理，为项目关联集群资源、添加项目成员以及设置全局变量。前提条件已创建集群，详情请参见创建集群。...

创建MaxCompute数据源

数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供MaxCompute任务的开发与调度能力，若您需要基于该MaxCompute数据源进行MaxCompute任务开发，或周期性调度MaxCompute相关...

概述

EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...

云产品集成

大数据开发治理平台 DataWorks DataWorks 是一款为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成...

跨项目克隆实践

操作步骤进入 DataStudio（数据开发）页面，打开相应的业务流程。单击右上角的跨项目克隆，跳转至相应的克隆页面，过滤出相应的节点，并将任务克隆到目标工作空间。筛选需要克隆的节点，并选择克隆目标工作空间。单击设置计算引擎映射...

DataWorks on EMR Serverless StarRocks最佳实践

了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...

准备环境

前提条件 大数据开发治理平台DataWorks：购买DataWorks，详情请参见购买指引。说明因本示例提供的数据资源都在华东2（上海），建议购买时选择地域为华东2（上海）。对象存储OSS：已开通OSS服务，具体步骤，请参见开通OSS服务。步骤一：...

场景：跨账号创建数据源

注意事项跨账号创建的数据源不能用于数据开发和调度。如您需进行相关数据开发操作，请使用当前账号创建数据源。详情请参见创建MaxCompute数据源、创建Hologres数据源。跨账号创建数据源时，仅支持通过RAM角色访问的方式访问对应的项目。...

空间管理员职责

当您使用MaxCompute引擎时，DataWorks预设角色MaxCompute开发引擎（开发项目）存在一定的权限映射，即授权预设角色后，该用户拥有对应的引擎开发项目的资源操作权限。详情可参考文档：用户、角色与权限概述。为保证生产环境的稳定性和安全...

通过DataWorks实现MaxCompute跨项目迁移

编辑您新建的数据同步任务节点，其中数据源 WorkShop2023 是您的原始项目，数据源 odps_source 代表您当前的新建项目，表名是您需要同步数据的表 ods_user_info_d。完成后单击调度配置。单击使用工作空间根节点后，提交数据同步任务。补...

查看工作空间信息

单击项目/数据库，即可进入项目或数据库的详情页，查看项目或数据库的基础信息及该项目或数据库中的表信息。您可在操作列收藏表，也可单击表名称进入表详情页，查看相应表的明细、产出及血缘等信息。更多表的管理操作，详情请参见查看...

API概览

删除数据开发项目 调用 DeleteFlowProject接口，删除数据开发项目 查询工作流信息调用DescribeFlow接口，查询工作流信息。查询作业信息调用DescribeFlowJob接口，查询作业信息。查询项目详情调用 DescribeFlowProject 接口，查询项目...

技术架构选型

在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。

EMR Studio概述

EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...

基于MaxCompute进行大数据BI分析

通过MaxCompute、AnalyticDB MySQL强大的数据加工和分析能力，降低大数据平台建设的门槛，轻松解决了海量数据的计算问题。同时有效降低企业成本，并保障数据安全。与第三方开源生态无缝对接，在不侵入用户应用的情况下，传输日志至日志服务...

DataWorks on EMR数据安全方案

数据安全能力：任务管理 DataWorks提供了大数据开发运维等能力，其中工作空间、安全中心等功能模块可实现对大数据计算任务的管理。工作空间：通过DataWorks的工作空间规划可以实现工作空间的人员管理、设置大数据作业可见性和可运维性。...

快速体验

涉及产品本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控，以及数据可视化展现，您需提前开通该服务。详情请参见开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...

ListEnabledExtensionsForProject

调用ListEnabledExtensionsForProject来获取项目空间下已经开启的扩展程序列表，包含系统扩展程序和自定义扩展程序。eventCode取值可参考文档：扩展事件编码。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行...

测试分析方案报告

指标名称字段来源业务规则系统架构分析概括当前项目数据开发总体的流程和范围。测试过程管理测试版本控制代码从测试环境发布至开发环境后，需描述此部分。项目交付测试通过后，每天上午9点、下午3点接受开发提交的新版本，其他时间...

离线同步数据质量排查

DataWorks标准项目分为开发数据源、生产数据源，在开发环境运行任务使用开发数据源，在生产环境运行任务使用生产数据源，再对数据数量和内容比对时，需要确认下使用的数据源环境，避免开发、生产查询不一致。在实际生产业务当中，在线数据...

跨项目克隆说明

跨项目克隆主要用于隔离同租户（阿里云账号）简单模式工作空间下的开发环境和生产环境，您也可以利用跨项目克隆功能实现计算、同步等类型的任务在工作空间之间的克隆迁移。本文为您介绍如何处理跨项目克隆时任务间的依赖关系。通过跨项目...

DataWorks跨项目克隆下线公告

尊敬的DataWorks用户：为了更好地给您提供跨工作空间发布能力，从 2024年6月30日起，跨项目克隆功能将不再提供服务，届时您可使用发布中心继续执行跨工作空间发布的相关操作。详情请参见发布中心。

快速体验

数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据地图（必选）、大数据开发治理平台 DataWorks数据保护伞（必选），基础版DataWorks已包含。数据展示：智能分析套件Quick BI（必选），您可根据...

GetOptionValueForProject

获取扩展程序选项配置在项目空间下的配置调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String 是 ...

运维中心

查看项目任务概览进入数据开发的项目列表页面。通过阿里云账号登录阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域和资源组。单击上方的 数据开发 页签。在项目列表页面，单击目标任务所在行的运行记录。在左侧导航...

查看历史信息

在数据开发页面，单击项目名称后的图标，选择数据开发的项目空间（Dev 或 Basic 项目）。如果您当前访问的是 Dev 或 Basic 项目，且项目空间为您的数据开发空间，则不需要选择项目空间。在数据开发页面，将鼠标悬停在顶部菜单栏的 ...

数据集成权限列表

更多角色说明自定义项目角色是Dataphin基于产品的功能，对数仓规划、数据集成、数据开发、项目资产权限、发布运维等多个模块的权限管理。管道任务目录权限列表权限点项目管理员项目开发者项目运维项目访客项目分析师普通成员查看...

大数据平台开发项目

新品推荐