创建EMR MR节点
在EMR任务开发中，通过创建EMR（E-MapReduce）MR节点，可将大规模数据集分为多个Map任务以并行处理，加速数据集的并行运算。本文将以创建EMR MR节点实现从OSS中读取文本，并统计文本中的单词数为例，为您展示EMR MR节点的作业开发流程。...
功能发布记录 2022年之前
DataWorks的数据治理中心从全局视角、工作空间视角、个人视角，自动发现并量化平台使用过程中数据存储、任务计算、代码开发、数据质量及数据安全等维度存在的待治理问题，并通过健康分模型进行统计，以治理报告及治理排行榜的形式呈现治理...
准备数据
进入业务流程开发面板，并向面板中拖入一个虚拟节点（start）和三个离线同步节点（电量下降趋势数据同步、窃电标志数据同步和指标数据同步）分别填写相应的配置后，单击 提交。拖拽连线将start节点设置为三个离线同步节点的上游节点。配置...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
采集数据
在 数据开发 页面，双击相应的业务流程名，进入业务流程开发面板。双击虚拟节点 WorkShop_Start。进入该节点的编辑页面，单击右侧的 调度配置。配置WorkShop_Start调度属性。通过以下配置实现调度场景下，每日00:15，由工作空间根节点触发...
计算巢软件分销模式说明
软件 分销面临的问题和计算巢软件分销的解决方法 软件开发商与云分销商在合作过程中，存在需求和问题需要解决：云分销商需要触达更多的软件开发商来扩展业务，而软件开发商需要分销商的渠道来拓展用户。云分销商承接分销软件时，需要重复...
迁移助手与迁云服务
计费 开通DataWorks后即可使用迁移助手功能，但不同版本的DataWorks计费及支持的功能细节存在差异。开通DataWorks及DataWorks各版本详情，请参见 DataWorks各版本详解。开通使用 购买DataWorks版本后，您即可登录DataWorks控制台使用迁移...
什么是 mPaaS
移动开发平台（Mobile PaaS，简称 mPaaS）是源于支付宝 App 的移动开发平台，为移动开发、测试、运营及运维提供云到端的一站式解决方案，能有效降低技术门槛、减少研发成本、提升开发效率，协助企业快速搭建稳定高质量的移动 App。...
迁移场景
软件迁移主要包含以下两种场景：自研软件：指开发者开发的或者基于开源软件增强开发的软件。自研软件使用的编程语言主要包含以下两类：编译型语言：以C++/Go为代表的编译型语言，这些语言会将源代码编译成架构相关的二进制文件，因此迁移后...
迁移概述
其中，软件迁移支持迁移自研软件和开源软件：自研软件：指开发者开发的或者基于开源软件增强开发的软件。具体操作，请参见 源码迁移。开源软件：指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。更多...
用户授权与管理
角色规划 使用数据建模并应用至数据开发的过程中，通常需要进行定义标准、数据建模、数据开发、部署运维等任务，下图为您示例不同流程中操作人员的角色以及所需的角色权限。建议您参考下图进行用户角色及权限规划。开通权限 建议您参考 ...
操作流程
通过操作流程图及说明，您可以直观且全局了解数据开发的任务流程。本文从节点任务和场景任务两个使用场景来介绍数据开发的任务操作流程。节点模式操作流程 节点模式主要适用于计算节点相对独立，整个流程由单个节点组成的这类简单数据处理...
操作流程
通过操作流程图及说明，您可以直观且全局了解数据开发的任务流程。本文从节点任务和场景任务两个使用场景来介绍数据开发的任务操作流程。节点模式操作流程 节点模式主要适用于计算节点相对独立，整个流程由单个节点组成的这类简单数据处理...
计费方式与计费项
本文介绍 云备份 的详细计费规则、费用组成、各备份数据源的计费项、价格 和计费案例。计费方式 重要 开通 云备份 不收取任何费用，但是使用 云备份 功能会产生相关费用。云备份支持包年包月以及按量付费两种计费方式。计费方式 说明 按量...
安装树莓派系统
软件下载过程中，如果显示软件更新的说明信息，此时按 Q 键即可退出，并继续下载更新软件。软件下载完成后，在弹出的确认对话框中单击 确定，开始安装更新。说明 根据网络带宽情况，需要等待3~5分钟完成软件下载和安装，请耐心等待。后续...
任务调试流程
调试运行业务流程 数据开发概述，在左侧导航栏的数据开发或手动业务流程模块，双击目标业务流程，进入该业务流程面板。调试运行业务流程。单击业务流程面板工具栏的运行（图标），即可按照依赖关系，依次运行整个业务流程中的任务。说明 当...
材料填写注意事项
以下是控制台每个选项的填写注意事项，申请流程详见普通软件著作权申请流程教学：第一步：实名认证。一、软件信息 1、软件全称 注意事项及规则：应以软件/APP/系统/平台进行结尾，如果申请内容是小程序，可以以小程序结尾。软件全称应与...
数据开发功能索引
本文为您介绍DataWorks数据开发（DataStudio）界面的整体布局，以及进行开发操作的主界面（业务流程和节点）中各组件、按钮的功能作用，方便您快速了解及使用数据开发模块。进入数据开发 登录 DataWorks控制台，单击左侧导航栏的 数据建模...
创建并管理MaxCompute节点
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建MaxCompute数据源并绑定至数据开发（DataStudio）。创建MaxCompute相关节点并开发...
DataWorks准备工作流程
DataWorks是为您提供专业高效、安全可靠的一站式大数据开发与治理平台，使用其进行数据开发前，您需做好相关准备工作，保障后续开发任务可顺利执行。本文为您介绍DataWorks的购买及环境准备流程，帮助您快速开通DataWorks并准备所需开发...
AnalyticDB for MySQL
DataWorks的AnalyticDB for MySQL节点可进行AnalyticDB for MySQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用AnalyticDB for MySQL节点进行任务开发的主要流程。前提条件 已购买相应版本服务。购买DataWorks标准...
创建EMR Presto节点
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建阿里云EMR集群，并注册EMR集群至DataWorks。创建EMR相关节点并开发EMR任务前，您需要先将...
StarRocks
数据开发（DataStudio）基于业务流程执行不同引擎的具体开发操作，因此，创建节点前需先创建业务流程，操作详情请参见 创建业务流程。已创建StarRocks数据源。您需先将您的StarRocks数据库创建为DataWorks的StarRocks数据源，详情请参见 ...
ClickHouse SQL
数据开发（DataStudio）基于业务流程执行不同引擎的具体开发操作，因此，创建节点前需先创建业务流程，操作详情请参见 创建业务流程。已创建EMR ClickHouse或数据库ClickHouse集群，且完成相关准备工作。EMR引擎类型包括新版数据湖...
开发接入流程
使用智能搭建进行模块化页面搭建时，您需要参照以下流程完成组件、接口的研发和接入。流程步骤说明：开发人员编写组件，参见 业务组件开发。在智能搭建控制台的 组件管理 模块中，创建组件，将已编写的组件录入到组件库中。控制台展示已...
MaxCompute资源管理
您可以通过MaxCompute资源面板，查看在MaxCompute计算引擎中存在的资源、资源的变更历史，并可以一键添加资源文件至数据开发面板的业务流程中。使用限制 仅支持MaxCompute客户端（odpscmd）上传的不超过200M的资源通过MaxCompute资源功能...
MaxCompute函数管理
您可以通过MaxCompute函数面板，查看在MaxCompute计算引擎中存在的函数、函数的变更历史，并可以一键添加函数至数据开发面板的业务流程中。查看函数 进入 数据开发 页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据...
创建手动任务
您可以在DataWorks的数据开发（DataStudio）模块创建手动任务，并在生产环境的运维中心管理手动任务。本文为您介绍如何创建手动任务，并将手动任务发布到生产环境。使用说明 若任务不需要发布生产环境操作生产环境引擎，您可选择 新建临时...
创建并管理业务流程
数据服务基于业务流程实现以业务为单元的API开发，并基于业务流程对API、函数和服务编排进行组织管理。因此在生成API前，您需要创建业务流程。本文为您介绍如何创建及管理业务流程。前提条件 在创建业务流程之前，您需要登录 API网关控制台...
Oracle节点
数据开发（DataStudio）基于业务流程执行不同引擎的具体开发操作，因此，创建节点前需先创建业务流程，操作详情请参见 创建业务流程。已创建Oracle数据源。您需先将您的Oracle数据库创建为DataWorks的Oracle数据源，才可通过该数据源访问...
数据开发与运行
本文为您介绍数据开发的相关问题。资源 如何在pyodps调用第三方包？如何在节点内使用资源？如何下载上传到DataWorks的资源？超过30M的资源如何上传？通过odpscmd上传的资源如何在DataWorks上使用？在DataWorks如何上传自己本地编写的jar并...
调试代码片段：快捷运行
数据开发 及 手动业务流程 目录树结构，详情请参见 数据开发功能索引。使用临时查询，详情请参见 创建临时查询。快捷运行所选代码并查看运行结果。本文以ODPS SQL节点示例。选中目标代码。在节点编辑页面的SQL代码区域，鼠标定位至目标代码...
SQL Server节点
数据开发（DataStudio）基于业务流程执行不同引擎的具体开发操作，因此，创建节点前需先创建业务流程，操作详情请参见 创建业务流程。已创建SQL Server数据源。您需先将您的SQL Server数据库创建为DataWorks的SQL Server数据源，才可通过该...
环境管理
多端低代码开发平台魔笔针对研发流程中测试和上线环节，提供资源隔离的开发环境和生产环境，支持对各环境的管控操作，包括环境运行状态管理和启停操作。环境介绍 多端低代码开发平台魔笔 针对研发流程中的开发、测试和上线环节，提供资源...
HoloStudio一键迁移至DataStudio
为给您提供一致的开发体验，HoloStudio产品能力将整合至DataStudio中，届时您可使用DataStudio相关功能继续进行Hologres的数据开发。在指定时间内，您可参考本文手动迁移HoloStudio的已有文件至DataStudio；超过该时间，系统将自动为您完成...
PostgreSQL节点
数据开发（DataStudio）基于业务流程执行不同引擎的具体开发操作，因此，创建节点前需先创建业务流程，操作详情请参见 创建业务流程。已创建PostgreSQL数据源。您需先将您的PostgreSQL数据库创建为DataWorks的PostgreSQL数据源，才可通过该...
实现开发生产等多套环境隔离
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
创建并使用AnalyticDB for PostgreSQL节点
DataWorks的AnalyticDB for PostgreSQL节点可进行AnalyticDB for PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用AnalyticDB for PostgreSQL节点进行任务开发的主要流程。前提条件 已购买DataWorks标准版及...
创建CDH Hive节点
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建阿里云CDH集群，并注册CDH集群至DataWorks。创建CDH相关节点并开发CDH任务前，您需要先将...
创建CDH Presto节点
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建阿里云CDH集群，并注册CDH集群至DataWorks。创建CDH相关节点并开发CDH任务前，您需要先将...
- 产品推荐
- 这些文档可能帮助您