创建业务流程
创建周期业务流程 数据开发基于业务流程下对应的开发组件进行具体开发操作，所以您创建节点前需要先新建业务流程。创建业务流程前，您可以参考下文的 设计业务流程 章节，结合自身的业务情况，先规划设计好符合自身业务诉求的业务流程。...
创建并管理业务流程
数据服务基于业务流程实现以业务为单元的API开发，并基于业务流程对API、函数和服务编排进行组织管理。因此在生成API前，您需要创建业务流程。本文为您介绍如何创建及管理业务流程。前提条件 在创建业务流程之前，您需要登录 API网关控制台...
GetDataServiceGroup
调用GetDataServiceGroup查询数据服务业务流程。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
CreateDataServiceGroup
调用CreateDataServiceGroup创建数据服务业务流程。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
创建手动任务
进入手动业务流程功能界面 您需要前往 DataStudio（数据开发）>手动业务流程 页面，通过手动业务流程创建手动触发执行的任务。进入 数据开发 页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在...
CreateBusiness
调用CreateBusiness，创建数据开发（DataStudio）的业务流程。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
创建业务流程
本文为您介绍如何创建业务流程，在业务流程中创建节点并配置依赖关系。完成创建后，您可以利用数据开发功能，对工作空间的数据进行深入分析和计算。前提条件 开始本操作前，请确保您已经在工作空间中准备好业务数据表 bank_data 和其中的...
数据服务入门
步骤三：新建业务流程 数据服务基于业务流程实现以业务为单元的数据服务API开发，并通过业务流程对API及创建API所使用的函数等文件进行组织管理。因此，在数据服务创建API前，需先新建业务流程。步骤四：生成API 业务流程创建完成后，您可...
场景：如何配置业务流程定时时间
当业务流程所有任务都要求在某一时间才可以开始执行的情况下，您可只设置业务流程开始节点的定时时间，业务流程会在定时时间到达后按照依赖关系依次运行整个业务流程。关于依赖关系对任务执行的影响，详情请参见 依赖关系对任务执行的影响...
ListDataServiceGroups
调用ListDataServiceGroups查询数据服务业务流程列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
ListBusiness
UseType String NORMAL 业务流程所属的功能模块，包括NORMAL（数据开发）和MANUAL_BIZ（手动业务流程）。PageNumber Integer 1 当前数据页的页码。PageSize Integer 10 当前数据页的数据条数。TotalCount Integer 13 满足查询条件的数据总...
EstablishRelationTableToBusiness
相当于在数据开发页面右键单击业务流程，选择导入表的操作。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
GetBusiness
UseType String NORMAL 业务流程所属的功能模块，包括NORMAL（数据开发）和MANUAL_BIZ（手动业务流程）。ErrorCode String Invalid.Tenant.ConnectionNotExists 错误码。ErrorMessage String The connection does not exist.错误信息。...
实时数据API
实时数据业务流程。在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图所示。实时数据业务痛点。处理实时数据业务的整个链路中，...
场景3：如何配置跨业务流程、跨工作空间的调度依赖
说明 虚拟节点属于控制类节点，它是不产生任何数据的空跑节点，通常作为业务流程统筹节点的根节点（例如，控制该业务流程整体调度时间，与是否调度控制），或作为业务流程中多个分支节点的汇总输出节点使用。一个业务流程存在多个分支结果...
RunManualDagNodes
运行手动业务流程前，您需先创建手动业务流程并提交发布至所用环境，提交发布后运维中心才会显示对应手动业务流程。创建、提交、发布业务流程，详情请参见 CreateBusiness、SubmitFile、DeployFile。调试 您可以在OpenAPI Explorer中直接...
任务调试流程
调试运行业务流程 数据开发概述，在左侧导航栏的数据开发或手动业务流程模块，双击目标业务流程，进入该业务流程面板。调试运行业务流程。单击业务流程面板工具栏的运行（图标），即可按照依赖关系，依次运行整个业务流程中的任务。说明 当...
产品简介
适用场景 如果您在大数据业务场景中遇到如下问题，可以通过阿里云大数据专家获取专属服务：受限于传统数据工作开展方式及组织管理模式，数字化转型中遇难到大数据各方面瓶颈；根据业务发展，难以从全局构建稳定的、变化的、集成的大数据...
UpdateBusiness
调用UpdateBusiness更新业务流程。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
DataWorks on EMR数据安全方案
数据安全实践：从Hadoop单一账号升级到完善的数据权限管理 很多用户为快速开始大数据业务，使用单一账号Hadoop进行作业开发运行，没有做用户管理和相应的数据权限管理。如何能够快速升级，保障业务正常运转的情况下增加对数据的安全管控...
使用创建反向任务功能
前提条件 已创建存储空间大于业务数据库已使用的灾备数据库，建议灾备数据比业务数据大10%。已在业务数据库和灾备数据库中创建用于数据同步的账号。权限要求，请参见 RDS MySQL实例间的同步 或 RDS SQL Server间的同步。重要 灾备数据库的...
ListManualDagInstances
调用ListManualDagInstances获取手动执行的业务流程实例的信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
DeleteBusiness
调用DeleteBusiness删除业务流程。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
场景1：包含离线同步节点的业务流程，如何配置调度...
DataWorks的离线同步节点不支持通过自动解析自动添加调度依赖，包含离线同步节点的业务流程，如果下游节点依赖离线同步节点产生的表，您需手动添加产出表到离线同步节点的输出中，下游节点查询离线同步节点数据时，自动解析可以通过表快速...
使用节点组
详情请参见 创建业务流程、数据开发概述。注意事项 引用节点组时，节点组中节点的配置及依赖关系保持不变。如果创建的节点组里包含 人工智能平台 PAI 节点，则在其他业务流程中引用节点组并使用PAI节点时，需重新创建实验。引用节点组时，...
通用开发流程
步骤 描述 相关文档 步骤一：新建业务流程 DataWorks数据开发基于业务流程组织与开发代码，您需先新建业务流程，才可进行后续的开发工作。创建业务流程 步骤二：新建数据表 DataWorks支持使用可视化方式创建表，并以目录结构在界面展示。...
AnalyticDB for MySQL
已创建业务流程。数据开发（DataStudio）基于业务流程执行不同引擎的具体开发操作，因此，创建节点前需先创建业务流程，操作详情请参见 创建业务流程。已创建AnalyticDB for MySQL数据源并绑定至数据开发（DataStudio）。您需先将您的...
创建并使用AnalyticDB for PostgreSQL节点
已创建业务流程。数据开发（DataStudio）基于业务流程执行不同引擎的具体开发操作，因此，创建节点前需先创建业务流程，操作详情请参见 创建业务流程。已创建AnalyticDB for PostgreSQL数据源并绑定至数据开发（DataStudio）。您需先将您的...
ClickHouse SQL
前提条件 已创建业务流程。数据开发（DataStudio）基于业务流程执行不同引擎的具体开发操作，因此，创建节点前需先创建业务流程，操作详情请参见 创建业务流程。已创建EMR ClickHouse或数据库ClickHouse集群，且完成相关准备工作。EMR引擎...
通过DataWorks实现MaxCompute跨项目迁移
本文为您介绍如何配置不同MaxCompute项目并实现数据迁移。...验证结果 您可以在 业务流程>数据开发 中新建 ODPS SQL 类型节点，执行如下语句查看数据是否完成同步。select*from ods_user_info_d where dt BETWEEN '20190611' and '20190617';
通过DataWorks实现MaxCompute跨项目迁移
本文为您介绍如何配置不同MaxCompute项目并实现数据迁移。...验证结果 您可以在 业务流程>数据开发 中新建 ODPS SQL 类型节点，执行如下语句查看数据是否完成同步。select*from ods_user_info_d where dt BETWEEN '20190611' and '20190617';
入门概述
通常，通过DataWorks的工作空间实现数据开发和运维包含以下操作：建表并上传数据 创建业务流程 创建同步任务 设置周期和依赖 运行及排错 使用临时查询快速查询SQL（可选）下图为数据开发和运维的基本流程。在正式开始操作DataWorks前，您...
创建并使用PAI Designer
已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，因此，创建节点前需先新建业务流程，操作详情请参见 创建业务流程。步骤一：创建PAI Designer节点 进入数据开发页面。登录 DataWorks控制台，单击左侧...
DataWorks OpenAPI概述
相当于在数据开发页面右键单击业务流程，选择导入表的操作。2级 SubmitFile 调用SubmitFile，提交文件至调度系统的开发环境，生成对应的任务。3级 ListBusiness 调用ListBusiness查询业务流程的列表。1级 GetFileVersion 调用...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
低成本RDS历史库
背景信息 在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量呈大幅增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战：...
应用场景：低成本历史库
背景信息 在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战 存储...
产品概述
可视化的数据资产：系统化构建业务数据资产大图，从数据视角还原业务系统、提取业务数据，快速感知业务关键环节及数据。数据使用简单可依赖：通过主题式数据查询服务，您可以快速查询和访问研发构建的数据逻辑表，简化约80%的查询代码。...
- 产品推荐
- 这些文档可能帮助您