创建EMR MR节点
在EMR任务开发中，通过创建EMR（E-MapReduce）MR节点，可将大规模数据集分为多个Map任务以并行处理，加速数据集的并行运算。本文将以创建EMR MR节点实现从OSS中读取文本，并统计文本中的单词数为例，为您展示EMR MR节点的作业开发流程。...
客户案例
相较之前客户基于python开源的airflow任务管理系统来说，DataWorks拥有以下优势：任务管理一目了然，任务出错定位以及即时跳转到相关任务代码修复。数据源一次性管理，不需要重复劳动，可被多种数据服务需求使用游戏业务拥有上百个数据源。...
创建并管理MaxCompute节点
DataWorks为您提供多种MaxCompute节点，便于您根据需要开发不同类型的MaxCompute任务，并为您提供丰富的节点调度配置，帮助您灵活设置MaxCompute任务的调度，本文为您介绍创建并管理MaxCompute节点的通用操作指导。前提条件 已创建业务流程...
通用开发流程
DataWorks将不同类型引擎任务封装为不同节点，通过创建节点来生成数据开发任务。同时，数据开发（DataStudio）支持使用资源、函数、以及不同的逻辑处理节点开发复杂任务。本文将为您介绍数据开发任务的通用开发流程。前提条件 已绑定所需...
下线节点
如何恢复已下线节点 报错：请先在发布中心把文件${filename}发布到生产环境或在发布中心取消发布 报错：节点存在子节点，导致任务删除或下线失败 如何下线节点 如果您使用的是标准模式工作空间，则开发环境和生产环境隔离，在DataWorks的...
StarRocks
DataWorks的StarRocks节点可进行StarRocks任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用StarRocks节点进行任务开发的主要流程。背景信息 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，...
任务调试流程
任务代码开发完成后，您可根据需要，通过运行、带参运行、快捷运行等功能调试完整代码或代码片段的正确性，并在调试完成后查看运行结果。本文为您介绍任务调试的相关内容。前提条件 已完成任务开发，详情请参见 数据开发概述。背景信息 您...
AnalyticDB for MySQL
DataWorks的AnalyticDB for MySQL节点可进行AnalyticDB for MySQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用AnalyticDB for MySQL节点进行任务开发的主要流程。前提条件 已购买相应版本服务。购买DataWorks标准...
创建并使用AnalyticDB for PostgreSQL节点
DataWorks的AnalyticDB for PostgreSQL节点可进行AnalyticDB for PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用AnalyticDB for PostgreSQL节点进行任务开发的主要流程。前提条件 已购买DataWorks标准版及...
通过OpenAPI创建、修改、删除离线同步任务
调用 SubmitFile 接口，提交数据集成任务至调度系统的开发环境。任务提交后，Response会返回deploymentId，您可以调用GetDeployment接口，通过deploymentId获取本次发布包的详细信息。public void submitFile()throws ClientException{ ...
通过OpenAPI创建、修改、删除离线同步任务
调用 SubmitFile 接口，提交数据集成任务至调度系统的开发环境。任务提交后，Response会返回deploymentId，您可以调用GetDeployment接口，通过deploymentId获取本次发布包的详细信息。public void submitFile()throws ClientException{ ...
什么是多端低代码开发平台魔笔
对于业务人员，技术门槛降低，业务人员可以直接操作和配置系统开发软件。什么是多端低代码开发平台魔笔 多端低代码开发平台魔笔是面向全端（Web、H5、全平台小程序、App）场景，模型驱动的低代码开发平台（Low Code Development Platform）...
创建业务流程
DataWorks的 业务流程 开发结构满足根据业务视角来组织数据开发任务的需求，也提供了 周期业务流程 和 手动业务流程 两种，以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程，...
引用SQL组件
任务开发 后处理 当您完成当前节点的任务开发后，通常您可进行以下操作。调度配置：配置节点的周期性调度属性。任务需要周期性调度运行时，您需要设置节点后续实际运行过程中的重跑属性、调度依赖关系等，操作详情请参见 任务调度属性配置...
创建并使用PAI Designer
步骤二：开发PAI Designer节点任务 简单示例 开发任务：编写Designer工作流 编辑PAI Designer节点任务时，如选择加载已有工作流，则需提前在PAI中创建Designer工作流，通过名称搜索，载入已经创建好的工作流。在PAI Designer节点编辑页面，...
创建并使用PAI DLC节点
步骤二：开发PAI DLC任务 开发任务代码：简单示例 在PAI DLC节点编辑页面，您可通过如下方式编写DLC任务：基于已有DLC任务编写任务代码。通过名称搜索，载入在人工智能平台PAI已创建的DLC任务。任务载入后，DLC节点编辑器会根据PAI中该任务...
这个简单的小功能，半年为我们产研团队省下213个小时
我们只需在云效Projex里设置好：（1）当任务下面关联代码提交时，系统自动变更任务状态为开发中。（2）当任务下面关联发布变更时，系统自动变更任务状态为已发布。开发同学更新任务状态的工作量就会减轻不少，团队的度量数据也会更真实。3...
工作空间概述
工作空间是DataWorks中进行任务开发和成员权限管理的基本单元。本文将为您介绍工作空间的概念、类型及基本操作。工作空间概述 所有开发工作都将在DataWorks自定义的工作空间内完成，一个工作空间支持绑定多个类型的计算引擎实例，例如：...
数据接入任务
数据接入任务模块为您提供设备数据接入和数据开发跟踪管理功能。数据接入任务的界面如下图所示，界面上方为您介绍“为什么会有数据接入任务”，以及“如何完成数据接入任务”。该模块任务主要来源于：接口导入：您在“数据服务”模块开通的...
可视化MapReduce模型
您无需修改后端代码，只需在SchedulerX控制台将分布式模型改为可视化MapReduce，即可新增一个子任务列表页面，并且可以查看每个子任务的详情、结果和日志，同时支持每个子任务级别的重跑。注意事项 仅专业版支持。子任务个数不能超过1000个...
创建工作空间
工作空间是DataWorks管理任务、成员，分配角色和权限的基本单元，所有开发工作都将在具体的工作空间内完成。因此，进行任务开发前您需要先创建工作空间，本文为您介绍如何创建工作空间。前提条件 已开通DataWorks服务，详情请参见 开通...
研发管理者如何7步规范管理企业代码资产？
规则内容：当任务关联代码提交时，该任务可以自动由「待开发」状态流转为「开发中」状态：场景二：当任务下面关联合并请求时，系统自动变更任务状态为待评审 第一步：创建分支合并关联任务 创建分支合并关联开发人员开发完成特性分支后，会...
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。不同开发方式的使用方法、...
创建项目
任务开发及调试 开发角色成员通过DataWorks的数据开发模块进行任务开发、调试。如果用到生产项目的表，可以在DataWorks的数据治理模块进行申请。DataWorks的数据开发模块支持多人协同开发，所有本项目的成员都可以查看任务代码，且有编辑...
离线同步数据质量排查
DataWorks标准项目分为开发数据源、生产数据源，在开发环境运行任务使用开发数据源，在生产环境运行任务使用生产数据源，再对数据数量和内容比对时，需要确认下使用的数据源环境，避免开发、生产查询不一致。在实际生产业务当中，在线数据...
如何分配开发任务
在团队协同开发任务中，管理员创建好应用之后，可以将应用的开发任务分配给不同的团队成员。为应用分配开发成员 管理员在「应用列表」找到要进行开发任务分配的应用，点击进入「应用详情页」，在左侧菜单点击「开发者管理」，点击「添加...
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、基于Catalog开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。...
任务管理
任务管理就是为多任务环境中的每个任务分配一个上下文（context）（上下文（context）是指当任务被调度执行的所必不可少的一组数据，包括前任务的CPU指令地址（PC指针），当前任务的栈空间，当前任务的CPU寄存器状态等），在任务相继执行...
实现开发生产等多套环境隔离
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
计费概述
则您每天的任务托管总量为：任务托管总量（CU）=（8+2×10）+（2+3×5）=45 重要 启用的任务数只计算当天启用的最大任务数，例如当天创建了1000个任务，删除了1000个任务，同一时间最多启用100个任务，仅算100个任务。计费方式 按量计费 ...
创建CDH Spark节点
准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度CDH Spark任务前，您需要先在CDH中开发Spark任务代码并完成任务代码的编译，生成编译后的任务JAR包，CDH Spark任务的开发指导详情请参见 Spark概述。说明 后续您需要将任务JAR包...
任务调度属性配置概述
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发，不同类型的引擎任务在DataWorks上被封装为不同...
DataWorks On MaxCompute使用说明
节点代码定义：MaxCompute语法 创建并使用MaxCompute表 开发ODPS SQL任务 引用SQL组件 开发ODPS Spark任务 开发PyODPS 2任务 开发PyODPS 3任务 开发ODPS Script任务 开发ODPS MR任务 创建并使用MaxCompute资源 创建并使用自定义函数 您可...
产品优势
生态支持 阿里云游戏平台向游戏开发商、游戏运营商、通信运营商、内容渠道商（视频网站、内容终端厂商）等多类泛游戏客户提供不同的服务，并与优质游戏开发运营商合作，建立云游戏完整生态，助力各类客户协同发展。内容支持：阿里云游戏...
DataWorks On Hologres使用说明
开始使用 DataWorks为您提供了多个功能模块，您可在数据开发（DataStudio）中进行调度任务的开发，并在开发完成后进入生产运维中心进行调度任务的监控运维。同时，提供了任务开发与发布的流程管控，助力您规范开发操作，保障开发过程的安全...
配置调度日历
背景信息 自定义调度日历适用于有灵活调度日期需求的行业及场景，例如：金融行业，任务运行需避开金融行业的休市时间（法定假日、周末）时，您就可以年度自定义一个本年的调度日历，便于后续任务开发时可直接选择任务需调度的时间，避开...
DataWorks On CDP/CDH使用说明
DataWorks支持基于CDH（Cloudera's Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群创建Hive、MR、Presto和Impala等节点，实现CDP/CDH任务工作流的配置、定时调度和元数据管理等...
管理数据流动任务
本文介绍如何在文件存储控制台创建、管理CPFS数据流动任务及查看任务报告。前提条件 已创建CPFS Fileset。具体操作，请参见 创建Fileset。已创建数据流动。具体操作，请参见 创建数据流动。任务说明 任务类型 按任务对数据的操作，可分为...
数据开发常见问题
上游A是小时任务，下游B是日任务，任务每天在A任务全部执行完成后要汇总执行一次，小时任务运行到第二天，天任务是否会运行，参数是否会影响 节点A每天每小时整点执行一次，节点B每天运行一次。如何设置节点A每天第一次运行成功后，节点B便...
最佳实践：SQL组件
任务发布：完成所有开发相关操作后，您需要将所有任务节点进行发布，发布后节点即会根据调度配置结果进行周期性运行，操作详情请参见 发布任务。附录：表结构说明 您需在ODPS SQL节点中创建销售明细数据表和目标输出表，详情请参见 开发...
- 产品推荐
- 这些文档可能帮助您