大数据开发架构师-大数据开发架构师文档介绍内容-阿里云

快速体验

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...

ETL工作流快速体验

案例提供的数据仅用于阿里云大数据开发治理平台DataWorks数据应用体验。仅空间管理员角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色，请参见空间级模块权限管控。导入ETL工作流模板您可以将DataWorks ETL工作流模板...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...

实现开发生产等多套环境隔离

使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...

DataWorks模块使用说明

使用流程概览：参考文档：DataWorks数据建模子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...

DataWorks on EMR Serverless StarRocks最佳实践

了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...

DataWorks on EMR数据安全方案

数据安全能力：任务管理 DataWorks提供了大数据开发运维等能力，其中工作空间、安全中心等功能模块可实现对大数据计算任务的管理。工作空间：通过DataWorks的工作空间规划可以实现工作空间的人员管理、设置大数据作业可见性和可运维性。...

DataWorks On EMR使用说明

背景信息开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...

大数据AI公共数据集分析

教程简介阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、...

采集数据

本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。章节目标将MySQL存储的用户基本信息及OSS存储的网站访问日志数据，通过数据集成服务同步至...

产品简介

缺少大数据、AI算法方面的技术架构师、模型设计、运维技术人员，项目实施无从下手。服务内容服务大类服务类型服务内容 大数据专家咨询服务 大数据技术架构方案咨询为客户提供构建和优化大数据体系的技术架构方案咨询服务，覆盖离线/...

概述

通过 DST，运维人员、开发人员和架构师能看清楚复杂的大规模微服务架构下的应用及服务之间的复杂调用关系、性能指标、出错信息与关联日志，从而实现故障根因分析、服务治理、应用开发调试、性能管理、性能调优、架构管控、故障定责等运...

创建Teradata数据源

如果您使用的是Teradata，在对接Dataphin进行数据开发或导出Dataphin数据至Teradata，您需要先完成Teradata数据源的创建。更多Teradata信息，请参见 Teradata官网。权限说明 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目...

创建Teradata数据源

如果您使用的是Teradata，在对接Dataphin进行数据开发或导出Dataphin数据至Teradata，您需要先完成Teradata数据源的创建。更多Teradata信息，请参见 Teradata官网。权限说明 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目...

功能架构

分布式链路分布式链路帮助运维人员、开发人员和架构师看清楚复杂的大规模微服务架构下的应用及服务之间的复杂调用关系、性能指标、出错信息与关联日志，从而实现故障根因分析、服务治理、应用开发调试、性能管理、性能调优、架构管控、...

分布式链路概述

帮助运维人员、开发人员和架构师轻松应对复杂的大规模微服务架构下的应用及服务之间的复杂调用关系、性能指标、出错信息与关联日志，从而实现故障根因分析、服务治理、应用开发调试、性能管理、性能调优、架构管控、故障定责等运维开发工作...

应用场景

该方案优势如下：全托管免运维弹性扩展能力开放数据湖架构一站式的数据开发平台数据查询与分析场景在传统数据平台下，数据仓库工程师和数据分析师通常面临两个不同的环境，甚至使用不同的引擎和语法，导致数据指标和算子行为存在差异...

创建GreenPlum数据源

使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与配置请参见添加、配置及管理Dataphin成员。板块架构师配置请参见创建数据板块。项目管理员配置请参见添加...

创建Hologres数据源

如果您使用的是Hologres，在对接Dataphin进行数据开发时，您需要先完成Hologres数据源的创建。更多Hologres信息，请参见什么是实时数仓。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作...

创建GreenPlum数据源

使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与配置请参见添加、配置及管理Dataphin成员。板块架构师配置请参见创建数据板块。项目管理员配置请参见添加...

场景：数据开发定制化展示

角色模块展示空间管理员项目所有者安全管理员模型设计师开发运维 数据开发（周期调度）数据开发（手动触发）表管理临时查询运行历史回收站发布任务运维中心说明安全管理员、模型设计师、运维角色在DataStudio界面只有只读...

大数据安全治理的难点

流转大数据系统通常是端到端的一整套数据开发和治理服务，不仅要采集数据、加工数据，更要将数据提供给业务方使用。因此，其存在错综复杂的数据流转链路，包括但不限于即席查询链路、离线传输链路、实时传输链路、数据服务API链路、其他...

数据治理中心概述

在进行数据开发前，可通过检查项对数据开发功能相关的约束进行检查，当检查出存在不符合约束规范的内容时，系统会生成影响开发流程正常执行的问题事件。您可基于该事件处理暴露的问题，以便数据开发流程可以正常执行。治理项检测。用于提交...

创建MaxCompute数据源

权限说明 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。使用限制 MaxCompute数据源不支持接入MaxCompute的外部项目。详情请参见 MaxCompute项目概述。操作步骤在Dataphin首页，单击顶部菜单栏管理...

创建HBase数据源

使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与配置请参见添加、配置及管理Dataphin成员。板块架构师配置请参见创建数据板块。项目管理员配置请参见添加...

新建Doris数据源

权限说明 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤在Dataphin首页，单击顶部菜单栏管理中心。按照下图操作指引，进入新建数据源对话框。在新建数据源对话框的 大数据存储区域，...

文档修订记录

创建数仓分层配置及使用数仓分层检查器 2023.3.16 新增功能数据建模 DataWorks智能数据建模联合具备丰富行业建模经验的数据架构师，总结阿里云百万用户最全面的业务场景，结合阿里巴巴技术创新能力，提供零售电子商务、金融、制造等多个...

概述

通过分布式链路跟踪，运维人员、开发人员和架构师能看清楚复杂的大规模微服务架构下的应用及服务之间的复杂调用关系、性能指标、出错信息与关联日志，从而实现故障根因分析、服务治理、应用开发调试、性能管理、性能调优、架构管控、故障...

创建MaxCompute数据源

权限说明 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。使用限制 MaxCompute数据源不支持接入MaxCompute的外部项目。详情请参见 MaxCompute项目概述。操作步骤在Dataphin首页，单击顶部菜单栏管理...

新建Doris数据源

权限说明 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤在Dataphin首页，单击顶部菜单栏管理中心。按照下图操作指引，进入新建数据源对话框。在新建数据源对话框的 大数据存储区域，...

创建Kudu数据源

权限说明 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤在Dataphin首页，单击顶部菜单栏管理中心。按照以下操作指引，进入新建数据源对话框。依次单击数据源管理->数据源->新建数据源。...

创建Hologres数据源

如果您使用的是Hologres，在对接Dataphin进行数据开发时，您需要先完成Hologres数据源的创建。更多Hologres信息，请参见什么是实时数仓。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。若您需...

创建Hudi数据源

权限说明仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤在Dataphin首页，单击顶部菜单栏管理中心。按照以下操作指引，进入新建数据源对话框。依次单击数据源管理->数据源->新建数据源。在新建...

创建Hudi数据源

权限说明仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤在Dataphin首页，单击顶部菜单栏管理中心。按照以下操作指引，进入新建数据源对话框。依次单击数据源管理->数据源->新建数据源。在新建...

全场景解决方案

快速迭代、弹性扩展经济性：高可靠、高性能、低成本，灵活扩展方案优势金融级云原生架构体系技术上引入阿里“全家桶”云原生架构技术体系，包括飞天平台、企业级分布式架构平台、OceanBase 数据库、大数据平台、移动开发平台、风控平台...

数据源管理概述

权限说明 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。功能介绍多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系...

数据源管理概述

权限说明 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。功能介绍多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系...

2023年

授权实践 2023-09-14 新增（邀测）MaxCompute Notebook使用说明新说明 MaxCompute Notebook是由MaxCompute提供的全托管、交互式数据分析挖掘模块，为数据工程师、数据分析师及数据科学家等人员提供Web交互式开发环境。支持用户通过SQL、...

创建Impala数据源

权限说明 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。使用限制 Dataphin的Impala数据源的数据集成使用JDBC的方式进行集成，因此性能相较于Hive较差，若您集成的表为非Kudu表，您可使用Hive数据源及...

大数据开发架构师

新品推荐