建模空间

模型设计师设置好 数据模型设计空间 与 数据研发工作空间 的关系后,模型设计师在进行模型(汇总表、维度表、明细表、应用表)发布时,可以选择将模型物化到被关联的某一个研发空间,后续数据开发工程师即可在对应的工作空间进行数据开发...

概述

EMR数据开发于2022年2月21日停止功能更新,2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能,推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks,详情请参见 EMR数据开发停止更新公告。

技术架构选型

在数据模型设计之前,您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};

数据开发与运维中心:数据加工

DataWorks的 数据开发(DataStudio)是数据加工的开发平台,运维中心 是智能运维平台,基于这两个功能模块,您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台,为了便于新用户快速了解DataWorks的数据开发治理操作全流程,DataWorks为您提供了...

基于模型生成ETL代码

维度表、明细表、汇总表等模型表发布后,DataWorks智能数据建模的模型开发功能支持快速生成代码框架,帮助您提高后续数据开发效率。本文为您介绍如何通过模型开发功能生成代码框架。前提条件 模型表已发布,操作详情请参见 发布模型至引擎...

云产品集成

大数据开发治理平台 DataWorks DataWorks 是一款为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源,管理 OceanBase 数据库中的数据,通过数据集成...

工作空间概述

后续:开始数据开发 创建工作空间并分配空间成员角色权限后,您可根据各角色定义的权限前往数据开发DataStudio模块开始数据开发工作数据开发模块的入门教程详情请参见:数据开发:开发者。相关文档 在阅读工作空间的概述后,若您想创建...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴数据建设方法论,支撑数据中台建设,同时与...

对接使用CDH与CDP

Step3:在DataWorks中新增CDH集群配置 您需要将CDH集群注册至工作空间后,才可在该工作空间使用此集群进行相关数据开发工作。注册集群,详情请参见 注册CDH或CDP集群至DataWorks。说明 仅拥有 空间管理员 权限的账号才能注册集群。标准模式...

快速入门

本文为您介绍使用数据工作站功能前需要完成的工作,以及功能的使用流程。准备工作 将您需要分析的实例录入至DMS。具体操作,请参见 云数据库录入 和 他云/自建数据库录入。实例已开启安全托管。开启操作,请参见 开启安全托管。管理员将待...

数据开发

大幅提升数据开发工作效率。运行开发环境场景并上线 在左侧导航栏,单击 图标,选择 场景模式。单击右侧的 图标。在 开发环境 页面,选择目标场景“信息中心”,单击 操作 列的 编辑。在画布中,单击 图标,进行离线节点运行。在 物理化预...

DataWorks新版数据源公告

若想使用创建的数据源进行数据开发,则数据源创建完成后还需进入数据开发(DataStudio)进行模块绑定。已绑定的计算引擎:已绑定的计算引擎迁移至 数据开发>数据源 管理。编辑计算引擎:不再支持直接编辑计算引擎,如需编辑可直接通过编辑...

DataWorks on EMR数据安全方案

数据安全能力:任务管理 DataWorks提供了大数据开发运维等能力,其中工作空间、安全中心等功能模块可实现对数据计算任务的管理。工作空间:通过DataWorks的工作空间规划可以实现工作空间的人员管理、设置数据作业可见性和可运维性。...

通过函数计算节点实现GitHub实时数据分析与结果发送

开通 大数据开发治理平台DataWorks 并创建工作空间(本实践以使用标准模式工作空间为例,简单模式的操作类似)。操作详情请参见 开通DataWorks服务、创建工作空间。开通 云原生数据计算服务MaxCompute,并创建MaxCompute项目。操作详情请...

必读:简单模式和标准模式的区别

附录:不同工作空间模式下,DataWorks模块对应操作的数据源 您可以在 数据开发>数据源 界面下查看数据开发中已绑定的数据源信息。绑定后不同工作空间模式下,DataWorks模块对应操作的数据源如下表所示:DataWorks模块 标准模式 简单模式 ...

EMR旧版数据开发迁移公告

迁移流程 通过使用EMR Workflow,您可以轻松将在EMR旧版数据开发中的工作流和任务导出为兼容Apache Dolphinscheduler的工作流描述JSON文件,通过EMR Workflow的导入功能,您可以快速导入工作流和任务,实现快速的迁移,从而节省大量的迁移...

EMR数据开发停止更新公告

2022年2月21日21点起,E-MapReduce(简称EMR)数据开发功能停止更新,进入维护状态,会影响创建项目、新建和运行作业、工作流、数据开发运维等功能。如果您还在使用数据开发功能,请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据...

DataWorks OpenAPI概述

DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口,不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...

快速体验

涉及产品 本案例涉及以下产品:一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控,以及数据可视化展现,您需提前开通该服务。详情请参见 开通DataWorks服务。云原生数据计算服务MaxCompute 实现底层加工...

简介

数据工作站可以结合语言模型给业务开发、数据开发、分析师和数据运营同学赋能,提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息,以文档的形式进行交付,并在交付后,希望有可以替您...

阶段一:基础防护建设

在该阶段,DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践,帮助企业做好数据安全治理的相关基础防护工作。场景一:数据分级分类 无论在任何行业,数据分级分类都是监管首要检查的...

实验介绍

涉及产品 本案例涉及以下产品:一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集,加工,质量监控,与数据可视化展现,您需提前开通该服务。详情请参见 开通DataWorks服务。云原生数据计算服务MaxCompute 实现底层加工...

工作空间创建数据源或注册集群

步骤二:将数据源绑定至数据开发(DataStudio)数据源创建完成后,若您需在当前工作空间基于该数据源执行数据开发、数据分析、或使用运维中心周期性调度运行相关任务等操作,还需将数据源绑定至当前工作空间的数据开发(DataStudio)模块。...

入门概述

说明 如果您是第一次使用DataWorks,请确认已经根据 准备工作 模块的操作,准备好账号和工作空间角色等内容后,登录DataWorks控制台,单击相应工作空间后的 进入数据开发,即可进行数据开发操作。本模块的操作在标准模式的工作空间下进行。...

数据仓库研发规范概述

角色职责 数据产品经理:负责承接、评估业务方提出的数据需求,并组织需求评审、产出产品需求文档,同时需要把控其它更为细化的技术评审。设计人员:根据已定稿的产品需求文档所述需求,进行数据探查,了解数据形态(数据质量、数据分布)...

操作指南

您可以在Dataphin工作台进行数据开发、数据治理等操作。功能 文档 Dataphin全托管 数仓规划概述 数据引入概述 数据开发概述 发布中心概述 运维中心概述 分析平台概述 标签工厂概述 资产全景及目录概述 数据标准概述 资产质量概述 资源治理...

DataWorks交流钉钉群

DataWorks作为阿里云大数据平台操作系统,对接各种大数据计算引擎,以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台,高效率完成数据全链路研发流程,建设企业数据治理体系,同时提供优质高效的交流服务,本文为您介绍...

基本概念

数据开发工程师只能在开发环境中注册计算节点,配置节点任务流程,并进行开发。开发通过后要经过上线操作才能把开发环境中的节点任务流程发布到生产环境中。任何人都不能编辑生产环境中的节点流程,但可以修改参数,所有修改都会记录在日志...

(邀测)MaxCompute Notebook使用说明

MaxCompute Notebook是由MaxCompute提供的全托管、交互式数据分析挖掘模块,为数据工程师数据分析师及数据科学家等人员提供Web交互式开发环境。支持用户通过SQL、PyODPS、Python等进行数据分析、探索,挖掘数据的价值,完成大数据与AI的...

EMR Studio概述

EMR Studio是E-MapReduce提供的开源大数据开发套件,包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群(EMR on ECS和EMR on ACK)的计算引擎提交任务,并提供了交互式开发、任务调度和任务监控等...

ETL工作流快速体验

案例提供的数据仅用于阿里云大数据开发治理平台DataWorks数据应用体验。仅 空间管理员 角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色,请参见 空间级模块权限管控。导入ETL工作流模板 您可以将DataWorks ETL工作流模板...

概览

为了更好地指导您使用数据管理DMS(Data Management),DMS推出解决方案系列文档,旨在通过最佳实践(Step by Step)的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统,可统一管理企业内...

PolarDB for AI助力菜鸟实现一站式数据智能

但是在AI模型的生命周期管理过程中,存在如下痛点:业务不灵活:数据标注加工、算法设计与开发、特征工程、模型训练、模型调优、模型评估、模型上线等工作涉及众多业务系统、至少三类工程师角色,业务逻辑复杂,全流程耗时过长,当有新需求...

开通DataWorks服务

成功登录后,即可进入 申请免费试用DataWorks 页面,左侧导航栏产品类别选择 数据计算>数据开发与服务,单击 大数据开发治理平台DataWorks 产品的 立即试用。在弹出的购买试用面板选择开通的地域,勾选服务协议后单击 立即试用。开通...

文档修订记录

DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务,需先将已创建的数据源或集群绑定至数据开发...

创建EMR Hive节点

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。创建 EMR Hive 节点。鼠标悬停至 图标,选择 新建节点>EMR>EMR Hive。您也可以找到相应的业务流程,右键单击业务流程,...

概述

除此之外,数据工程师、算法工程师和开发工程师的人力成本也是当前数据驱动的智能决策应用难以规模落地的一个阻碍。事实上,鉴于数据库研究在数据发现、数据管理、版本控制、数据清理和数据集成方面积累的专业知识,PolarDB for AI 可以...

DataWorks准备工作流程

DataWorks是为您提供专业高效、安全可靠的一站式大数据开发与治理平台,使用其进行数据开发前,您需做好相关准备工作,保障后续开发任务可顺利执行。本文为您介绍DataWorks的购买及环境准备流程,帮助您快速开通DataWorks并准备所需开发...

快速体验

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力,本文以一个零售电商行业的数仓搭建实验为例,为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现,帮助您深入了解阿里云...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云数据库 Redis 版 数据传输服务 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用