大数据开发环境-大数据开发环境文档介绍内容-阿里云

数据源开发和生产环境隔离

标准模式工作空间下，DataStudio界面与开发环境运维中心默认访问开发环境数据源指向的数据源。生产调度环境下，生产环境运维中心界面任务执行默认访问生产环境数据源指向的数据源。说明由于开发环境和生产环境数据源配置的数据库、账号...

EMR Studio概述

简化运维 EMR Studio提供开箱即用的大数据开发环境，可以快速响应业务需求。您可以将EMR Studio一键关联至EMR集群（EMR on ECS、EMR on ACK）提交作业，并可以在不关闭Notebook的情况下切换计算集群。EMR Studio自动适配Hive、Spark、Flink...

准备环境

前提条件 大数据开发治理平台DataWorks：购买DataWorks，详情请参见购买指引。说明因本示例提供的数据资源都在华东2（上海），建议购买时选择地域为华东2（上海）。对象存储OSS：已开通OSS服务，具体步骤，请参见开通OSS服务。步骤一：...

实现开发生产等多套环境隔离

使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...

DataWorks准备工作流程

DataWorks是为您提供专业高效、安全可靠的一站式大数据开发与治理平台，使用其进行数据开发前，您需做好相关准备工作，保障后续开发任务可顺利执行。本文为您介绍DataWorks的购买及环境准备流程，帮助您快速开通DataWorks并准备所需开发...

创建EMR Spark节点

说明该参数仅支持用于数据开发环境测试运行流程。“USE_GATEWAY”设置本节点提交作业时，是否通过Gateway集群提交。取值如下：true：通过Gateway集群提交。false：不通过Gateway集群提交，默认提交到header节点。说明如果本节点所在的...

执行冒烟测试

登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。开启强制冒烟测试空间管理员可开启工作空间强制进行冒烟测试，开启强制冒烟测试功能后，当前工作空间任务发布前需要...

配置Python开发环境

本文为您介绍如何配置Python开发环境。安装PyODPS 您需要在本地安装PyODPS。PyODPS是MaxCompute的Python SDK，安装的操作详情请参见安装PyODPS。运行IntelliJ IDEA，在顶部菜单栏上，单击 File>Settings。在 Settings 页面左侧导航栏，...

EMR Workbench

阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...

环境准备

说明 DataWorks的工作空间分为简单模式和标准模式：简单模式：指一个DataWorks工作空间对应一个引擎项目，无法设置开发和生产环境，只能进行简单的数据开发，无法对数据开发流程以及表权限进行强控制。标准模式：指一个DataWorks工作...

概述

EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。

必读：简单模式和标准模式的区别

绑定后不同工作空间模式下，DataWorks模块对应操作的数据源如下表所示：DataWorks模块标准模式简单模式数据开发操作开发环境数据源（实例，项目、数据库）操作生产环境数据源（实例，项目、数据库）运维中心开发环境运维中心：操作...

技术架构选型

在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。

DeployFile

调用DeployFile接口，发布数据开发中的文件至生产环境。调用DeployFile接口后，您需要通过DeployFile返回的Data参数继续调用 GetDeployment 接口，轮询被触发的异步发布流程的状态。调试您可以在OpenAPI Explorer中直接运行该接口，免去您...

ETL工作流快速体验

案例提供的数据仅用于阿里云大数据开发治理平台DataWorks数据应用体验。仅空间管理员角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色，请参见空间级模块权限管控。导入ETL工作流模板您可以将DataWorks ETL工作流模板...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...

创建ClickHouse数据源

说明标准模式工作空间，需分别创建开发环境数据源和生产环境数据源。工作空间模式，详情请参见必读：简单模式和标准模式的区别。参数说明数据源名称定义数据源在DataWorks的名称，名称必须唯一。配置模式目前支持通过连接串模式增...

创建AnalyticDB for MySQL3.0数据源

说明标准模式工作空间，需分别创建开发环境数据源和生产环境数据源。工作空间模式介绍，详情请参见必读：简单模式和标准模式的区别。方式一：通过阿里云实例模式创建数据源创建数据源配置如下。配置基础信息。参数说明数据源名称定义...

创建AnalyticDB for PostgreSQL数据源

说明标准模式工作空间，需分别创建开发环境数据源和生产环境数据源。工作空间模式介绍，详情请参见必读：简单模式和标准模式的区别。方式一：通过阿里云实例模式创建数据源配置基础信息。参数说明数据源名称定义数据源在DataWorks的...

创建Hologres数据源

说明标准模式工作空间，需分别创建开发环境数据源和生产环境数据源。工作空间模式，详情请参见必读：简单模式和标准模式的区别。参数说明数据源名称定义数据源在DataWorks的名称，名称必须唯一。认证方式新建数据源时无需配置，默认...

搭建Windows开发环境

本文为您介绍如何在Windows操作系统下搭建MaxCompute Spark开发环境。如果您安装了Linux操作系统，请前往搭建Linux开发环境。前提条件搭建Spark开发环境前，请确保您已经在Windows操作系统中安装如下软件：说明本文采用的软件版本号及...

DataWorks on EMR Serverless StarRocks最佳实践

了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...

快速体验

涉及产品本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控，以及数据可视化展现，您需提前开通该服务。详情请参见开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...

实验介绍

涉及产品本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，加工，质量监控，与数据可视化展现，您需提前开通该服务。详情请参见开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...

创建MaxCompute数据源

说明标准模式工作空间，需分别创建开发环境数据源和生产环境数据源。工作空间模式，详情请参见必读：简单模式和标准模式的区别。方式一：通过已有MaxCompute项目创建数据源若您已有MaxCompute项目，则可将已有MaxCompute项目添加为当前...

使用DataWorks连接

DataWorks基于MaxCompute等引擎，提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间，绑定计算引擎后，您即可在DataWorks上创建对应引擎...

DataWorks on EMR数据安全方案

数据安全能力：任务管理 DataWorks提供了大数据开发运维等能力，其中工作空间、安全中心等功能模块可实现对大数据计算任务的管理。工作空间：通过DataWorks的工作空间规划可以实现工作空间的人员管理、设置大数据作业可见性和可运维性。...

开通DataWorks服务

成功登录后，即可进入申请免费试用DataWorks 页面，左侧导航栏产品类别选择大数据计算>数据开发与服务，单击 大数据开发治理平台DataWorks 产品的立即试用。在弹出的购买试用面板选择开通的地域，勾选服务协议后单击立即试用。开通...

场景：跨账号创建数据源

标准模式工作空间，需分别创建开发环境数据源和生产环境数据源。工作空间模式，详情请参见必读：简单模式和标准模式的区别。关键参数配置如下：对方账号的UID：其他阿里云账号（即账号B）的账号UID。需从账号B处获取。对方RAM角色：允许本...

需求分析

本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景为了更好的制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体地理属性、社会属性等，...

大数据AI公共数据集分析

准备环境和资源开通大数据开发治理平台DataWorks。访问阿里云免费试用。单击页面右上方的登录/注册按钮，并根据页面提示完成账号登录（已有阿里云账号）、账号注册（尚无阿里云账号）或实名认证（根据试用产品要求完成个人实名认证或...

创建并配置发布环境

进入发布中心登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。单击顶部菜单栏的图标，选择全部产品>更多>发布中心，进入发布中心。说明标准模式...

SubmitFile

调用SubmitFile，提交文件至调度系统的开发环境，生成对应的任务。该API是异步处理，您可以使用GetDeployment接口获取文件的提交状态。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI ...

创建并管理数据源

同一个数据源名称可分别配置开发环境数据源、生产环境数据源，且不同环境的数据源配置是相互独立的。管理数据源在数据源管理页面，您可根据数据源类型、数据源名称筛选需要查看的数据源。同时，支持您对目标数据源执行如下管理操作：...

运维中心入门

若您仅需在数据开发（DataStudio），即开发环境，查询数据及相关SQL代码、测试代码的实际运行情况与期望值是否相符，或验证代码的正确性，而无需将数据或SQL代码发布至生产环境并操作生产环境引擎，则可通过新建临时查询文件实现。...

mPaaS Android 工程如何在多套开发环境间切换

mPaaS Android 60 基线提供了多套开发环境间切换的能力，能够帮助开发者在多套开发环境间（如：开发 DEV/测试 TEST/体验 UAT/线上 PROD）方便自如地进行切换。涉及 mPaaS 的改动对于 mPaaS 开发者，在切换开发环境的过程中，涉及到以下...

新建同步节点并运行后上线

参数说明源端配置开发数据源 开发环境中传输链路输入端的云计算资源类型和资源。逻辑表输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，。当选择星号（*）时，表示数据...

新建同步节点并运行后上线

参数说明源端配置开发数据源 开发环境中传输链路输入端的云计算资源类型和资源。逻辑表输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的...

大数据开发环境

新品推荐