通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
敏感数据概况
操作步骤 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。单击左侧导航栏的 ...
后续指引
介绍：SQL SQLML PyODPS MapReduce Mars Spark Graph 外部表 Java SDK Python SDK JDBC 实践：数据开发最佳实践 常见问题：错误码 SQL常见问题 PyODPS常见问题 MapReduce常见问题 Spark常见问题 外部表常见问题 Java SDK常见问题 Python ...
通用开发流程
DataWorks将不同类型引擎任务封装为不同节点，通过创建节点来生成数据开发任务。同时，数据开发（DataStudio）支持使用资源、函数、以及不同的逻辑处理节点开发复杂任务。本文将为您介绍数据开发任务的通用开发流程。前提条件 已绑定所需...
通用参考：切换资源组
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。修改数据集成资源组。离线同步任务 单个任务修改 在左侧导航栏，单击 数据开发，找到目标离线同步...
数据质量入门
前提条件 根据 数据开发：开发者 文档创建 result_table 节点，及节点产出的 result_table 表。说明 本文均以 result_table 表来演示数据质量的功能，实际执行时，也可基于您使用的表执行相关操作。背景信息 数据质量支持以表为维度，为...
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python...面向Data+AI开发，需要依赖第三方或自定义镜像完成数据开发、模型开发等整体流程。支持的工具 MaxFrame支持在本地环境、DataWorks、MaxCompute Notebooks中使用。详情请参见 准备工作。
开通DataWorks服务
成功登录后，即可进入 申请免费试用DataWorks 页面，左侧导航栏产品类别选择 大数据计算>数据开发与服务，单击 大数据开发治理平台DataWorks 产品的 立即试用。在弹出的购买试用面板选择开通的地域，勾选服务协议后单击 立即试用。开通...
应用示例：数据开发过程触发事件检查
本文将为您介绍数据开发DataStudio中支持的扩展点事件，以及使用扩展点触发扩展程序的操作过程。前提条件 已开启消息订阅操作，详情请参见 开启消息订阅。已完成扩展程序的开发部署操作，详情请参见 开发部署扩展程序。背景信息 启动扩展...
创建业务流程
DataWorks的 业务流程 开发结构满足根据业务视角来组织数据开发任务的需求，也提供了 周期业务流程 和 手动业务流程 两种，以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程，...
创建ClickHouse数据源
后续操作 数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供ClickHouse任务的开发与调度能力，若您需要基于该ClickHouse数据源进行ClickHouse任务开发，或周期性调度...
创建并使用AnalyticDB for PostgreSQL节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程，选择 新建节点>AnalyticDB for PostgreSQL>ADB for PostgreSQL。在 新建节点...
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
调试代码片段：快捷运行
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。查找目标节点并进入节点编辑页面。在 数据开发 或 手动业务流程 功能模块的目录树，或通过 临时查询 功能，查找目标...
创建并使用PAI Studio节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，鼠标悬停至 图标，单击 新建节点>算法>PAI Studio。在 新建节点 对话框中，输入...
必读：简单模式和标准模式的区别
附录：不同工作空间模式下，DataWorks模块对应操作的数据源 您可以在 数据开发>数据源 界面下查看数据开发中已绑定的数据源信息。绑定后不同工作空间模式下，DataWorks模块对应操作的数据源如下表所示：DataWorks模块 标准模式 简单模式 ...
AnalyticDB for MySQL
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程，选择 新建节点>AnalyticDB for MySQL>ADB for MySQL。在 新建节点 对话框中...
查看数据风险（旧版）
操作步骤 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主...
入门实践
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>DATABLAU。导入数据标准。在数据建模页面的顶部菜单栏，单击 数据标准。...
基于模型生成ETL代码
维度表、明细表、汇总表等模型表发布后，DataWorks智能数据建模的模型开发功能支持快速生成代码框架，帮助您提高后续数据开发效率。本文为您介绍如何通过模型开发功能生成代码框架。前提条件 模型表已发布，操作详情请参见 发布模型至引擎...
客户案例
价值体现 基于飞天大数据平台产品，快狗打车不仅机器成本节约30%以上，数据开发效率提升100%。从Java Storm迁移到Flink SQL使实时计算开发周期大大减少，维护更加容易，数据一致性得到更好地保障，提升了业务监控大屏的准确性和实时性，...
表管理
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 表管理。新建、查找及编辑目标表 新建表及导入表数据 在表管理页面，您可单击 及 ...
独享资源组
切换在数据开发测试运行时任务使用的资源组：如果您需要切换测试运行时的调度资源组，请选择 高级运行。切换生产调度运行时任务使用的调度资源组：在数据开发界面通过发布流程切换生产任务执行时使用的调度资源组。在数据开发界面打开节点 ...
下载建模工具（DDM）
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>DATABLAU。单击页面右上方的 下载DDM。说明 如果单击...
数仓开发任务流
配置DTS数据迁移节点 配置离线数据集成节点 数据开发 显示任务流中的数据开发节点：除数据集成节点之外的其他节点。数据开发节点，试运行和发布后的调度功能相同。任务类型介绍 配置DTS位点检查节点 表 数仓表可被其任务流引用并操作，您...
提交并发布模型
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。查看数据模型。在左侧导航栏，单击 模型管理。说明 如果左侧导航栏未显示 模型管理 图标，您可 在DataStudio界面左侧...
ClickHouse SQL
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程，选择 新建节点>ClickHouse>ClickHouse SQL。在 新建节点 对话框中输入节点 ...
对接使用CDH与CDP
以下简称 CDH）与CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，在保留CDH集群或CDP集群作为存储和计算引擎的前提下，您可以使用DataWorks的任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理功能...
敏感数据访问及导出情况
操作步骤 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主...
使用节点组
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧业务流程目录下，双击目标业务流程，进入该业务流程的编辑面板。新建节点组。生成节点组。您可根据业务需求，...
上传数据
上传数据操作入口 您可以在数据开发的头部菜单栏、业务流程下的表分组或表管理页面中进行上传数据的操作，入口如下所示。在 数据开发 页面的头部菜单栏中。在 数据开发 页面业务流程下的表分组中。标准模式下，在 表管理 页面中，对开发表...
系统管理
背景信息 建表策略管理：是否允许用户在没有数据模型的情况下，可在数据开发（DataStudio）直接创建MaxCompute物理表。策略启用后，凡是未通过智能数据建模发布，直接在数据开发（DataStudio）创建或修改的MaxCompute物理表，在执行提交、...
开发数据服务API
物联网数据分析的数据开发任务是使用标准的SQL语句对设备进行数据分析，而API服务可将数据开发任务封装成API，方便开发者调用。API服务既可以直接响应设备端请求，也可以用于服务端数据对接。创建数据分析任务 登录数据分析控制台，单击 ...
为工作空间添加空间成员
创建简单的周期调度任务，请参见 数据开发：开发者。执行完整示例教程，请参见 实际开发场景示例。本文主要以使用正式开发环境为例，为您介绍开发前如何添加及管理DataWorks工作空间成员。操作步骤 进入 工作空间 管理页面。登录 DataWorks...
数据开发概述
数据开发包括编码研发和规范建模。编码研发用于构建计算任务，例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务；规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发，需已购买实时研发增值服务。详情请参见 ...
准备环境
为保证您可以顺利完成本次实验，请您首先确保自己云账号已开通大数据计算服务MaxCompute、数据工场DataWorks和 人工智能平台 PAI。前提条件 注册阿里云账号，详情请参见 注册阿里云账号。实名认证，详情请参见 个人实名认证 背景信息 本次...
迁移Oracle数据至MaxCompute最佳实践
通过DataWorks将数据从Oracle迁移至MaxCompute 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面创建目标表，用于接收从Oracle迁移的数据。右键单击已...
创建MaxCompute数据源
数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供MaxCompute任务的开发与调度能力，若您需要基于该MaxCompute数据源进行MaxCompute任务开发，或周期性调度MaxCompute相关...
模型管理
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>维度建模。在 维度建模 页面单击 图标，进入 模型列表。查看模型列表及...
加工数据
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，展开目标业务流程。右键单击 MaxCompute，选择 新建表。在 新建表 对话框中，输入表名称，单击 新建...
- 产品推荐
- 这些文档可能帮助您