数据仓库开发与大数据开发-数据仓库开发与大数据开发文档介绍内容-阿里云

大数据开发治理平台 DataWorks

大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万...

概述

（推荐）DataStudio DataWorks的DataStudio（数据开发）模块为您提供了界面化、智能高效的大数据开发与测试服务，您可以在绑定Hologres实例后，通过使用Hologres节点进行Hologres数据开发，包括SQL管理、MaxCompute数据同步等功能。...

划分数据域

数据仓库是面向主题（数据综合、归类并进行分析利用的抽象）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况进行纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念层次归类，目的是便于...

DataWorks准备工作流程

DataWorks是为您提供专业高效、安全可靠的一站式大数据开发与治理平台，使用其进行数据开发前，您需做好相关准备工作，保障后续开发任务可顺利执行。本文为您介绍DataWorks的购买及环境准备流程，帮助您快速开通DataWorks并准备所需开发...

扩展程序概述

产品能力 DataWorks作为阿里云一站式大数据开发与治理平台，在各项能力支持上预设了很多拓展点，例如，在标准模式下，简略来看，节点创建后完成代码开发后，需先提交到开发环境中进行验证，完成后再正式发布到生产环境中，后续每天根据调度...

数仓构建流程

下图为MaxCompute数据仓库构建的整体流程。基本概念在正式学习本教程之前，您需要首先理解以下基本概念：业务板块：比数据域更高维度的业务划分方法，适用于庞大的业务系统。维度：维度建模由Ralph Kimball提出。维度模型主张从分析决策的...

概述

EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。

数据开发与运维中心：数据加工

任务监控与定位处理计费进行数据开发与运维可能产生的费用包括：运行任务所需的调度资源组费用。计费详情请参见独享调度资源组计费说明：包年包月、公共调度资源组计费说明：按量付费。进行运维监控时，监控规则计算扫描所需的实例...

HoloStudio一键迁移至DataStudio

单击顶部菜单栏的图标，选择全部产品>数据开发与运维>Holo Studio。单击HoloStudio界面左侧导航栏的一键迁移DataStudio。在 HoloStudio一键迁移界面，单击右上角的开始迁移。开始迁移后将为您展示迁移进度和迁移结果。迁移完成后，您...

创建ClickHouse数据源

后续操作数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供ClickHouse任务的开发与调度能力，若您需要基于该ClickHouse数据源进行ClickHouse任务开发，或周期性调度...

创建AnalyticDB for MySQL3.0数据源

后续操作数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供AnalyticDB for MySQL3.0任务的开发与调度能力，若您需要基于该AnalyticDB for MySQL3.0数据源进行AnalyticDB for...

创建Hologres数据源

数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供Hologres任务的开发与调度能力，若您需要基于该Hologres数据源进行Hologres任务开发，或周期性调度Hologres相关任务，需先...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

工作空间概述

说明在进行引擎绑定前请务必提前阅读：简单模式和标准模式的区别，您后续的数据开发与权限控制将基于该特性进行展开。操作指南：引擎的基本操作操作必读：简单模式和标准模式的区别成员角色规划与分配工作空间创建完成后，您需要将RAM...

创建MaxCompute数据源

数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供MaxCompute任务的开发与调度能力，若您需要基于该MaxCompute数据源进行MaxCompute任务开发，或周期性调度MaxCompute相关...

独享资源组

左上角的图标，选择全部产品>数据开发与运维>运维中心（工作流），进入生产运维中心页面，选择周期任务。说明虚拟节点不占用资源，所以无需也不支持修改调度资源组。如何切换数据集成任务执行时使用的数据集成资源组？切换数据集成...

绑定交互式分析实例

进入DataWorks工作间之后，单击左上角的图标，选择全部产品>数据开发与运维>HoloStudio，进入HoloStudio开发界面。进入HoloStudio后，在 PG管理单击刷新，即可看到已成功绑定DB，之后您可以开始使用HoloStudio开发。选择已有工作空间...

导出、分享和下载电子表格

单击页面左上方的图标，选择全部产品>数据开发与运维>DataStudio（数据开发）。插入数据至已有表或新建MaxCompute并插入数据。将数据插入MaxCompute表（insert overwrite）如果您选择的插入模式为将数据插入MaxCompute表（insert ...

独享资源组模式

在数据集成任务的编辑页面，通过调度运行及界面测试，选择运行时执行数据集成离线同步任务的资源组：单击左上角的图标，选择全部产品>数据开发与运维>DataStudio（数据开发），并切换至修改的归属工作空间。在数据开发面板，双击打开...

数据服务：低成本快速发布API

功能概述作为数据仓库与上层应用系统间的“桥梁”，DataWorks数据服务为企业搭建统一的服务总线，帮助企业统一创建及管理对内、对外的API服务，解决数仓、数据库与数据应用间的“最后一公里”，加速数据的流动和共享。数据服务支持通过零...

运维中心入门

若您仅需在数据开发（DataStudio），即开发环境，查询数据及相关SQL代码、测试代码的实际运行情况与期望值是否相符，或验证代码的正确性，而无需将数据或SQL代码发布至生产环境并操作生产环境引擎，则可通过新建临时查询文件实现。...

入门概述

DataWorks V2.0常见问题与难点分析 DataWorks V2.0数据开发功能与用法解析 DataWorks V2.0数据集成简介与最佳实践 DataWorks V2.0智能监控简介与最佳实践 DataWorks V2.0数据服务功能及用法解析 DataWorks V2.0数据质量简介及最佳实践 ...

开发前准备：绑定数据源或集群

登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。在左侧导航栏单击数据源，进入数据源或集群绑定页面。若左侧导航栏未显示数据源模块，则您需进入个人设置页面，...

我的地盘

登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。单击左上方的图标，选择全部产品>数据建模>DATABLAU。选择我的地盘页签，在我的地盘页面中查看模型的相关信息。

概述

HoloStudio的数据开发模块与DataWorks无缝连接，提供一站式稳定高效的ETL（Extract-Transform-Load）服务，帮助您使用可视化方式周期性调度作业、创建外部表、同步外部表数据以及上传本地文件。数据开发 的核心功能如下：文件夹用于存放并...

数据下载

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。单击左上角的图标，选择全部产品>数据集成>上传与下载。在上传与下载页面单击左侧导航栏的下载...

用户管理

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。单击左上方的图标，选择全部产品>数据建模>DATABLAU。选择用户管理页签，在用户管理页面中查看...

查看数据开发操作记录

进入数据开发DataStudio 登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。查看操作历史在数据开发DataStudio左侧边栏点击图标进入操作历史页面，可通过操作类型、...

模型目录

登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。单击左上方的图标，选择全部产品>数据开发>DATABLAU。选择模型目录页签，在模型目录页面中查看模型的详细信息。...

MaxCompute函数管理

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。展开左侧导航栏中的 MaxCompute，单击 MaxCompute函数。MaxCompute函数默认按照创建时间倒序排列，...

代码搜索

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。在数据开发目录树区域，单击顶部菜单栏的图标，进入代码搜索页面。配置搜索条件并查看搜索结果。...

创建解决方案

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。开启解决方案配置。在左侧导航栏底部，单击图标。在设置页面的个人设置页签，勾选显示解决...

执行冒烟测试

登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。开启强制冒烟测试空间管理员可开启工作空间强制进行冒烟测试，开启强制冒烟测试功能后，当前工作空间任务发布前需要...

通用参考：切换资源组

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。修改数据集成资源组。离线同步任务单个任务修改在左侧导航栏，单击数据开发，找到目标离线同步...

创建并使用AnalyticDB for PostgreSQL节点

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。右键单击目标业务流程，选择新建节点>AnalyticDB for PostgreSQL>ADB for PostgreSQL。在新建节点...

通用开发流程

进入数据开发登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。进入数据开发后，您可根据下文流程创建所需任务。开发流程数据开发任务的通用开发...

全文检索

部分数据仓库在全文检索功能上的的缺失，导致用户需要对文本数据做大量开发后才能将数据导入数据仓库。任务调度依赖数据仓库内核的SQL标准支持能力，以及强大的外部工具支持。全文检索涉及大量的文本数据，而数据仓库在处理文本数据时性能...

进入数据质量概览（旧版）

查看数据质量概览登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。单击左上角的图标，选择全部产品>数据质量，默认进入概览页面。模块描述我的订阅为您展示当前...

敏感数据概况

操作步骤登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。单击左上方的图标，选择全部产品>数据治理>数据保护伞，单击立即体验，进入数据保护伞。单击左侧导航栏的 ...

数据仓库开发与大数据开发

新品推荐