什么是流程编排
各节点说明请参考：Start节点使用说明；LLM节点说明；API调用节点说明；Script节点使用说明；函数计算节点使用说明；逻辑节点使用说明；End节点使用说明；参数如何关联 流程编排中，需要显式声明流程的入参以及出参，中间过程也可能需要...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至DataHub。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步...
OSS数据离线同步至MaxCompute
新建离线同步任务 在数据开发（DataStudio）页面的某个业务流程下，新建一个离线同步节点，根据界面提示配置节点的路径、名称等信息，操作详情请参见 通过向导模式配置离线同步任务。配置数据来源：OSS侧参数 配置离线同步节点的数据来源...
OSS数据离线同步至MaxCompute
新建离线同步任务 在数据开发（DataStudio）页面的某个业务流程下，新建一个离线同步节点，根据界面提示配置节点的路径、名称等信息，操作详情请参见 通过向导模式配置离线同步任务。配置数据来源：OSS侧参数 配置离线同步节点的数据来源...
配置任务调度
已创建同步节点 write_result 生成的同步任务，详情请参见 创建同步任务。背景信息 DataWorks具有强大的调度能力，支持根据时间、依赖关系的触发机制。DataWorks可以为您保障每日千万级别的任务，根据DAG关系准确、准时运行，并且支持分钟...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至 AnalyticDB for MySQL。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，...
采集数据
步骤三：同步数据 配置离线同步节点 同步RDS数据源的用户信息至自建的OSS。在 数据开发 页面，双击 di_ods_user_info_d_emr 节点，进入节点配置页面。配置同步网络链接。完成以下网络与资源配置后，单击 下一步，并根据界面提示完成连通性...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至MaxCompute。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要...
配置Hologres输出
在实时同步节点的编辑页面，单击 输出>Hologres 并拖拽至编辑面板，连线已配置好的输入或转换节点。单击 Hologres 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的Hologres数据源，此处仅支持Hologres数据源...
创建同步任务
步骤二：新建并配置同步任务 通过创建同步节点 write_result 来生成一个同步任务，用于将 result_table 表中的数据写入至自己的MySQL数据库中。操作如下：进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 ...
一键表结构导入
操作步骤 新建 一键MaxCompute表结构同步 节点。登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表。选择工作空间所在地域后，单击相应工作空间 操作 列的 快速进入>数据开发。在 DataStudio 界面的左侧导航栏，单击 图标。进入 数据...
一键表数据同步
操作步骤 新建 一键MaxCompute数据同步 节点。登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表。选择工作空间所在地域后，单击相应工作空间 操作 列的 快速进入>数据开发。在 DataStudio 界面的左侧导航栏，单击 图标。进入 数据...
配置MySQL输入
在实时同步节点的编辑页面，单击 输入>MySQL 并拖拽至编辑面板。单击 MySQL 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的MySQL数据源，此处仅支持MySQL数据源。如果未配置数据源，请单击右侧的 新建数据...
一键同步MaxCompute数据
新建 一键MaxCompute数据同步 节点。进入 Hologres管理控制台。在页面上方选择目标地域。在左侧菜单栏单击 前往DataStudio，前往DataWorks-HoloStudio开发。在 Holo Studio 页面的左侧导航栏，单击 图标。进入 数据开发 页面，鼠标悬停至...
一键同步MaxCompute数据
新建 一键MaxCompute数据同步 节点。进入 Hologres管理控制台。鼠标悬停至顶部菜单栏左侧的 图标，选择目标地域。单击左侧导航栏的 前往DataStudio。在 Holo Studio 页面的左侧导航栏，单击 图标。进入 数据开发 页面，鼠标悬停至顶部菜单...
一键同步MaxCompute表结构
新建 一键MaxCompute表结构同步 节点。进入 Hologres管理控制台。在页面上方选择目标地域。在左侧菜单栏单击 前往DataStudio，前往DataWorks-HoloStudio开发。在 Holo Studio 界面的左侧导航栏，单击 图标。进入 数据开发 页面，鼠标悬停至...
End节点使用说明
本文档介绍 End节点 使用说明。节点界面 点击应用中心-流程编排-新建流程，点击 结束节点。节点说明 End节点作为结束节点，在一个流程中不一定唯一，有多个分支的流程需要多个结束节点，每个结束节点需要单独配置返回的参数结构。配置页面 ...
一键同步MaxCompute表结构
新建 一键MaxCompute表结构同步 节点。进入 Hologres管理控制台。鼠标悬停至顶部菜单栏左侧的 图标，选择目标地域。单击左侧导航栏 前往DataStudio。在 Holo Studio 界面的左侧导航栏，单击 图标。进入 数据开发 页面，鼠标悬停至顶部菜单...
Kafka增量数据同步至MaxCompute
新建离线同步任务 在数据开发（DataStudio）页面的某个业务流程下，新建一个离线同步节点，根据界面提示配置节点的路径、名称等信息，操作详情请参见 通过向导模式配置离线同步任务。配置数据来源：Kafka侧参数 配置离线同步节点的数据来源...
Kafka增量数据同步至MaxCompute
新建离线同步任务 在数据开发（DataStudio）页面的某个业务流程下，新建一个离线同步节点，根据界面提示配置节点的路径、名称等信息，操作详情请参见 通过向导模式配置离线同步任务。配置数据来源：Kafka侧参数 配置离线同步节点的数据来源...
配置MaxCompute输出
在实时同步节点的编辑页面，单击 输出>MaxCompute 并拖拽至编辑面板，连线已配置好的输入或转换节点。单击 MaxCompute 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的MaxCompute数据源，此处仅支持...
将表格存储时序表中数据同步到另一个时序表
您可以在数据开发（DataStudio）界面直接创建离线同步节点用于离线（批量）数据周期性同步或者创建实时同步节点用于单表或整库增量数据实时同步。更多信息，请参见 数据集成概述。使用DataWorks数据集成的离线同步任务，您可以将表格存储...
基本概念
节点类型：任务流中包含的同步节点、MaxCompute_SQL节点、Flink_Vvp节点、自定义计算节点等在不同计算资源上运行的计算任务节点。补数据计划：通常情况下，对于离线周期任务，当前序任务失败或任务第一次上线，需要通过补数据计划同步或...
配置LogHub（SLS）输入
在实时同步节点的编辑页面，鼠标单击 输入>LogHub 并拖拽至编辑面板。单击 LogHub 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的LogHub（SLS）数据源，此处仅支持LogHub（SLS）数据源。如果未配置数据源，...
新增数据表
节点使用引擎种类的选择，可参考以下两个条件：节点使用引擎的种类依赖于当前节点参与的项目类型，关于项目类型和节点引擎种类的关系，请参见 引擎。目标数据表所属节点使用的引擎种类为联邦学习、训练或分析引擎，不能为预测引擎。已在...
使用Terraform创建具备自动伸缩功能的节点池
在 节点池 页面右上方，单击 同步节点池。如果您未在集群中使用alicloud_cs_kubernetes_autoscaler组件，请直接进行以下操作。使用Terraform创建开启自动伸缩功能的节点池。创建节点池的配置文件。在已有集群中创建开启自动伸缩功能的节点...
使用Terraform创建具备自动伸缩功能的节点池
在 节点池 页面右上方，单击 同步节点池。如果您未在集群中使用alicloud_cs_kubernetes_autoscaler组件，请直接进行以下操作。使用Terraform创建开启自动伸缩功能的节点池。创建节点池的配置文件。在已有集群中创建开启自动伸缩功能的节点...
配置Kafka输出
在实时同步节点的编辑页面，鼠标单击 输出>Kafka 并拖拽至编辑面板，连线已配置好的输入或转换节点。单击 Kafka 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的Kafka数据源，此处仅支持Kafka数据源。如果未...
Shell节点
Shell节点使用资源 在DataWorks节点使用资源时，需要先将资源上传至DataWorks，并通过节点引用资源的方式，将资源加载入节点运行环境后，才可以在节点中使用资源。具体操作如下。创建资源 DataWorks支持通过新建资源或上传已有资源两种方式...
配置Elasticsearch输出
在实时同步节点的编辑页面，单击 输出>Elasticsearch 并拖拽至编辑面板，连线已配置好的输入或转换节点。单击 Elasticsearch 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的Elasticsearch数据源，此处仅...
修改持久内存型实例的同步模式
同步模式概述 原生Redis采用的主备节点同步模式为异步（Async），即当客户端发起更新请求，主节点（Master）完成操作后会立即响应客户端，同时主节点向备节点（Replica）同步数据。当主节点不可用时引发高可用（High Availability）切换，...
修改持久内存型实例的同步模式
同步模式概述 原生Redis采用的主备节点同步模式为异步（Async），即当客户端发起更新请求，主节点（Master）完成操作后会立即响应客户端，同时主节点向备节点（Replica）同步数据。当主节点不可用时引发高可用（High Availability）切换，...
DataWorks On Hologres使用说明
节点代码定义：Hologres开发指南 Hologres SQL节点 一键MaxCompute表结构同步节点 一键MaxCompute数据同步节点 您可结合DataWorks的通用类型节点和引擎计算节点进行复杂的逻辑处理。主要节点如下：用于管控业务流程的虚拟节点。用于外部...
新增离线数据同步任务
参数 说明 依赖配置 支持配置上游依赖节点，可依赖同周期数据同步节点或数据开发节点。开启后将等待上游节点调度运行成功后，再运行当前节点。表结构变化 选择是否开启检测表结构变化。开启后，以天为单位，进行数据源端表结构检测。若发现...
新建开发环境场景并运行
步骤三：（可选）添加系统节点并配置 系统节点包括：同步节点、就绪检测节点和节点组。请根据实际需要添加需要的系统节点，添加方式相似。以下是以就绪检测节点为例介绍的添加节点的示例操作。关于其他节点的配置，更多信息，请参见 同步...
新建开发环境场景并运行
步骤三：（可选）添加系统节点并配置 系统节点包括：同步节点、就绪检测节点和节点组。请根据实际需要添加需要的系统节点，添加方式相似。以下是以就绪检测节点为例介绍的添加节点的示例操作。关于其他节点的配置，更多信息，请参见 同步...
新增离线数据同步任务
参数 说明 依赖配置 支持配置上游依赖节点，可依赖同周期数据同步节点或数据开发节点。开启后将等待上游节点调度运行成功后，再运行当前节点。表结构变化 选择是否开启检测表结构变化。开启后，以天为单位，进行数据源端表结构检测。若发现...
配置同周期调度依赖
依赖配置：对于使用SQL任务加工离线同步任务的产出表的场景，为了方便SQL任务对离线同步任务产出表进行加工时，可通过血缘自动解析快速依赖离线同步任务，您需手动将离线同步节点的产出表配置为节点输出，或者将离线同步任务产出表名作为离...
配置Kafka输入
在实时同步节点的编辑页面，鼠标单击 输入>Kafka 并拖拽至编辑面板。单击 Kafka 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的Kafka数据源，此处仅支持Kafka数据源。如果未配置数据源，请单击右侧的 新建...
赋值节点
当您需要将上游节点任务的查询或输出结果提供给下游节点使用时，可通过赋值节点实现。赋值节点支持ODPS SQL、SHELL和Python三种赋值语言，将节点最后一条查询或输出结果自动赋值给节点自带的输出参数（outputs），便于赋值节点的下游节点...
- 产品推荐
- 这些文档可能帮助您