03创建开发环境场景并运行
dataq_dws_rds_prod 将dws层公共节点和对应的同步节点进行连线。步骤三：运行开发环境场景 单击 图标，保存画布后，单击 图标，进行离线节点运行。说明 如果场景运行失败，您可将鼠标指针指向状态后并单击后面的 查看日志，通过运行日志...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
主备切换
说明 由于主备节点间的同步数据是异步实现的，可能会丢失主节点最近写入的部分数据。Q：实例为 读写分离版 时，主备切换对只读节点的使用有影响吗？A：在切换过程中，只读节点的数据会临时减少1个，在切换完成后恢复正常。Q：实例为 集群版...
主备切换
说明 由于主备节点间的同步数据是异步实现的，可能会丢失主节点最近写入的部分数据。Q：实例为 读写分离架构 时，主备切换对只读节点的使用有影响吗？A：在切换过程中，只读节点的数据会临时减少1个，在切换完成后恢复正常。Q：实例为 集群...
离线同步写入MongoDB数据
step2：创建离线同步节点，并配置离线同步任务 在DataWorks的DataStudio中创建一个离线同步节点，并配置离线同步的来源与去向等任务配置参数，核心配置要点如下，其他参数可保持默认值即可。详细操作请参见 通过向导模式配置离线同步任务。...
各类型节点的调度参数配置示例
SQL类型节点及离线同步节点 SQL类型节点及离线同步节点的调度参数配置与多数类型节点的配置相似，可供多数节点参考使用。本文以ODPS SQL节点为例，为您展示如何为系统内置变量及自定义参数赋值，并在代码中进行调用。说明 部分节点可能不...
使用业务流程图设计器
如果您拖动的节点是 业务活动，在 业务活动 面板，设置业务活动的 名称、编码、描述（可选填），选择当前业务活动关联业务对象行为。说明 业务活动 节点：支持作为连线的起点和终点，也可以作为多条连线的起点。支持关联一个业务对象的行为...
管理能力产品
如果您拖动的节点是 业务活动，在 业务活动 面板，设置业务活动的 名称、编码、描述（可选填），添加当前业务活动关联的基础能力。添加当前业务活动关联的基础能力。单击 添加。在 添加基础能力 对话框中，选中目标基础能力名称（支持多选...
流程质检规则创建
最后命中的节点是节点4；即使节点5到节点10没有命中，不再对这些节点进行计分。2).计算到完整流程的最后节点 功能介绍：以完整流程最后一个节点，作为计算质检得分的最后一个节点。使用示例：完整流程有从节点1到节点10共10个节点。最后...
新建Hive类型的公共节点
Hive类型的节点是离线节点，运行在Hive云计算资源之上，支持处理Hive、Hbase和Phoenix类型的数据。本文介绍如何新建Hive类型的公共节点。前提条件 已新建Hive类型云计算资源，具体操作，请参见 新建云计算资源。背景信息 Hive节点运行于...
新建Hive类型的公共节点
Hive类型的节点是离线节点，运行在Hive云计算资源之上，支持处理Hive、Hbase和Phoenix类型的数据。本文介绍如何新建Hive类型的公共节点。前提条件 已新建Hive类型云计算资源，具体操作，请参见 新建云计算资源。背景信息 Hive节点运行于...
分流方案概述
您可以在添加只读节点的时候选择添加的节点是行存或是列存。具体请参见 添加只读列存节点。为了实现SQL查询的最大性能，您可以通过配置集群地址（Endpoint），实现OLAP查询引流到列存节点、OLTP查询引流到行存节点。当前支持手动分流和自动...
节点分组
节点分组是某些拥有共同特性和数据出口的终端节点组合。凭证分配给节点分组后，分组内的节点可使用凭证接入网络。本文介绍创建节点分组、配置数据出口、添加节点入网和查看节点分组的上下行数据的全流程。背景信息 创建节点分组时，需要...
如何理解并使用对话工厂
机器人想：判断节点、服务调用、函数节点、赋值节点。机器人回答：回复节点。系统能力：填槽节点。在中间的就是画布，可以通过拖拽进行布局，针对节点可复制粘贴，支持Ctrl+C和Ctrl+V、Delete这样的快捷键。右上角是节点的定位可以一键定位...
数据准备与预处理
如果您从 读数据表-1 到 SQL脚本-1 连线的节点是t2或其他（在 SQL脚本-1 的 参数设置 页面的 输入源 会显示对应节点），需要修改SQL语句为对应节点。单击画布上方的 运行 按钮，实验将根据工作流顺序依次运行 读数据表-1、SQL脚本-1 节点。...
什么是流程编排
节点类型 当前平台支持基础节点、模型节点、引用节点、函数编程节点。各节点说明请参考：Start节点使用说明；LLM节点说明；API调用节点说明；Script节点使用说明；函数计算节点使用说明；逻辑节点使用说明；End节点使用说明；参数如何关联 ...
如何理解并使用对话工厂
机器人想：判断节点、服务调用、函数节点、赋值节点。机器人回答：回复节点。系统能力：填槽节点。针对节点，页面上可复制粘贴删除，支持Ctrl+C和Ctrl+V、Delete等快捷键。整个画布可以通过拖拽调整布局。右上角是节点的定位，可以快速定位...
负载均衡
事务写后读被路由到只读节点的前提是当前的只读节点已同步事务之前的写操作的数据，如果用户配置了会话一致性，那么在路由写后读时会先判断当前Session的只读节点是否已经同步之前的写，如果已同步就会路由过去，否则会直接路由到主节点。...
CreateGadInstanceMember-创建Gad实例成员
该接口用于在RDS全球多活数据库集群中添加节点。接口说明 适用引擎 RDS MySQL 相关功能文档 注意 使用该接口前，请仔细阅读功能文档，确保完全了解使用接口的前提条件及使用后造成的影响后，再进行操作。添加或移除单元节点 调试 您可以在...
CreateGadInstanceMember-创建Gad实例成员
该接口用于在RDS全球多活数据库集群中添加节点。接口说明 适用引擎 RDS MySQL 相关功能文档 注意 使用该接口前，请仔细阅读功能文档，确保完全了解使用接口的前提条件及使用后造成的影响后，再进行操作。添加或移除单元节点 调试 您可以在...
CreateGADInstance-创建GAD实例
rm-uf6wjk5*DBList string 是 中心节点中数据库信息的 JSON 数组，该数组中所有数据库信息将同步至当前单元节点（备节点）。参数说明：name：数据库名称。all：是否同步当前库或表中的所有数据。取值：true|false Table：表名称。若 all ...
CreateGADInstance-创建GAD实例
rm-uf6wjk5*DBList string 是 中心节点中数据库信息的 JSON 数组，该数组中所有数据库信息将同步至当前单元节点（备节点）。参数说明：name：数据库名称。all：是否同步当前库或表中的所有数据。取值：true|false Table：表名称。若 all ...
向量检索版介绍
查询节点是一个计算型节点，不加载用户的数据，一般不需要太多的内存，但是当返回的文档个数较多或者统计产出的条目过多时才会消耗大量内存。如果查询节点的处理能力达到瓶颈，可以扩充查询节点的备份数或者扩查询节点的规格。数据节点：...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
数据开发：开发者
任务定时时间为单个节点维度，但任务实际运行时间与节点依赖的上游节点其定时时间有关，所以即便当前节点定时时间早于上游节点，当前节点仍需要等待上游节点定时时间到并且执行成功后，下游节点才会执行。本文示例设置 result_table 节点 ...
一键MaxCompute表结构同步节点
本文为您介绍如何创建并使用一键MaxCompute表结构同步节点。背景信息 Hologres 是阿里巴巴自主研发的一站式实时数仓引擎，它与MaxCompute在底层无缝连接，支持使用新建外部表的方式加速查询MaxCompute数据。DataWorks是基于 IMPORT FOREIGN...
场景1：包含离线同步节点的业务流程，如何配置调度...
DataWorks的离线同步节点不支持通过自动解析自动添加调度依赖，包含离线同步节点的业务流程，如果下游节点依赖离线同步节点产生的表，您需手动添加产出表到离线同步节点的输出中，下游节点查询离线同步节点数据时，自动解析可以通过表快速...
查看节点和双向同步实例
本文介绍如何在RDS全球多活数据库集群中查看、管理节点以及双向同步的实例。前提条件 已创建全球多活数据库集群。操作步骤 访问 全球多活数据库集群 页面。在全球多活数据库集群列表页面，单击目标集群ID。在集群 基本信息 页面，查看和...
副本集架构
副本集架构 MongoDB副本集架构通过部署多种节点来达到高可用和读写分离的效果，每个副本集实例包含一个主节点（Primary节点）、一个或多个从节点（Secondary节点）、一个隐藏节点（Hidden节点）和可选的一个或多个只读节点（ReadOnly节点）...
系统架构
Cassandra没有Master节点或Proxy节点，所有节点是对等的（逻辑上系统会选择每DC有2个节点作为seed节点，对系统压力不大，无需单独部署进程）。客户端与服务端每个节点连接，保障高性能。不同的数据中心可以设定不同的复本数，既可以作为跨...
PolarDB PostgreSQL版架构介绍
数据一致性 传统数据库的内存状态同步 传统share nothing的数据库，主节点和只读节点都有各自的内存和存储，只需要从主节点复制WAL日志到只读节点，并在只读节点上依次回放日志即可，这也是复制状态机的基本原理。基于Shared-Storage的内存...
赋值节点
原理介绍 在DataWorks中，节点上下文参数可实现节点参数的上下游传递，赋值节点在此基础上，可将赋值节点最后一条查询结果传递给自带的输出参数（outputs），若下游节点依赖了赋值节点，则下游节点可通过添加输入参数的方式，在节点代码中...
PolarDB PostgreSQL版架构介绍
数据一致性 传统数据库的内存状态同步 传统share nothing的数据库，主节点和只读节点都有各自的内存和存储，只需要从主节点复制WAL日志到只读节点，并在只读节点上依次回放日志即可，这也是复制状态机的基本原理。基于Shared-Storage的内存...
高可用和容灾设计
RDS SQL Server 最大支持一主一备高可用架构和七个只读节点，支持横向扩展集群读能力，备节点和所有只读节点都是从主节点同步数据。集群系列的高可用能力与高可用系列相同，而且只读节点可以创建在和主备节点不同的其它可用区。说明 仅RDS ...
增加或删除节点
新增的只读节点的CPU规格与主节点CPU规格对应规则如下：主节点CPU规格（core）允许只读节点最小CPU规格（core）2 2 4 4 8 4 16 8 32 16 64 32 88 32 节点高可用切换不支持切换到和主节点规格不一致的只读节点。节点费用 增加节点时的计费...
任务编排（公测）
例如节点A—>节点B，即节点A是节点B的上游依赖，节点B的运行依赖节点A，在满足节点B运行的其他条件外，还需要节点A完成运行，节点B才能运行。工作流版本 工作流版本指工作流每次编辑（例如添加或删除节点、变更依赖关系等）保存后会生成...
配置for-each节点
DataWorks为您提供遍历节点（for-each节点），您可以通过for-each节点来循环遍历赋值节点传递的结果集。同时您也可以重新编排for-each节点内部的业务流程。本文以一个具体示例，通过for-each节点2次循环遍历赋值节点输出结果，并在每次循环...
层级生成器功能介绍
层级树节点 在层级树面板中，每一行即为一个层级节点，每一个节点内有5种节点信息，包括标题、treeID、地理数据、子节点和父节点。说明 标题、地理数据、子节点和父节点这四个信息，可由您自定义配置修改，只有treeID不可手动更改，由层级...
增加或删除节点
创建PolarDB集群后，您可以手动增加或删除只读节点。背景信息 一个集群最多包含15个只读节点，最少一个只读节点（用于保障集群的高可用）。同一集群中，所有节点的规格总是保持一致。节点费用 增加节点时的计费方式如下：如果集群为 包年...
增加或删除节点
新增的只读节点的CPU规格与主节点CPU规格对应规则如下：主节点CPU规格（core）允许只读节点最小CPU规格（core）2 2 4 4 8 4 16 8 32 16 64 32 88 32 同一集群中，确保至少有一个只读节点与主节点规格保持一致。开启热备 后的只读节点需要与...
- 产品推荐
- 这些文档可能帮助您