API概览
UpdateQueueConfig 更新队列资源组和计算节点实例信息 为集群中的队列更新资源组和计算节点实例的信息。ListNodesByQueue 查询单个集群节点信息 按队列分组查询用户账户下单个集群的节点信息。SetQueue 移动计算节点到指定队列 调用...
配置SQL赋值节点
SQL赋值节点可以将SELECT语句读取的数据赋值给该节点的输出变量，输出变量可以在下一节点中作为输入变量被使用。本文介绍配置SQL赋值节点的方法。背景信息 SQL赋值节点赋予任务流获取表中数据作为下游节点的变量的能力。变量在任务节点中的...
新建补数据计划
如果离线计算任务运行失败，可通过重新调度对应时间周期的任务，补充节点数据。任务中心支持在任务流、节点任务和离线计算任务中补数据。本文以在任务流和离线计算任务中补数据为例，介绍如何新建补数据计划。在任务流中新建补数据计划 ...
名词解释
计算节点 AnalyticDB for PostgreSQL 集群的资源分配单位，一个实例由多个计算节点组成，计算节点数量的增加，可以水平提升存储容量，且保证查询响应时间不变。计算节点为用户可购买的计算资源单位，包括固定的 CPU核，内存，存储。每个...
新建补数据计划
如果离线计算任务运行失败，可通过重新调度对应时间周期的任务，补充节点数据。任务中心支持在任务流、节点任务和离线计算任务中补数据。本文以在任务流和离线计算任务中补数据为例，介绍如何新建补数据计划。在任务流中新建补数据计划 ...
场景2：依赖上一周期的结果时，如何配置调度依赖
如果您需要查看下游节点对当前节点数据的清洗结果是否符合预期，可以对下游节点产出的结果表配置数据质量规则。本节点 节点依赖关系：跨周期自依赖（依赖当前节点的上一周期），即本次节点是否运行取决于上一周期本节点是否运行成功。业务...
整体架构
对于其中部分操作，Storage Service会根据数据特征、时序等多个维度综合评估，自动执行数据优化任务，尽可能保持稳定高效的数据存储和计算状态。元数据管理 主要负责增量场景下 事务并发冲突管理、数据版本管理、Time travel管理、元数据...
SQL
SQL任务类型，用于连接数据库并执行...SQL任务节点设置中，数据源类型选择为 HIVE，数据源实例 选择已添加的HIVE数据源（与上述非查询类SQL任务示例中选择的数据源保持一致），SQL类型 选择为 查询，SQL语句 内容如下。select*from hive_table
查看数据
原始样本：指的是联邦建模各参与方的原始数据，即各节点中授权到该建模项目中的数据，该数据作为建模样本供联邦建模使用。联邦表：对各节点中的原始样本进行分类整理，将具有相同属性的数据整合在一张表中，该表即联邦表。同一张联邦表中的...
只读节点Online Promote
将Replica节点本地的数据（如clog等）拷贝到共享存储中。重置WAL Meta Queue内存空间，从共享存储中重新加载slot信息，并重新设置LogIndex BGW进程的回放位点为其与当前一致性位点两者的最小值，用来表示接下来LogIndex BGW进程从该位点...
固定规格计算包计费问题
A：不是，您可以根据需要决定是否购买固定规格计算包，购买后会自动抵扣按量付费集群中计算节点的费用。Q：固定规格计算包支持使用代金券吗？A：您可以查看代金券的适用范围确定是否支持固定规格计算包使用。若确认了您的代金券适用范围...
产品优势
降低成本 计算节点和存储分离：多个计算节点共享存储，新增只读节点时只需支付计算节点费用，大大降低扩容成本。Serverless存储：存储空间无需手动配置，根据数据量自动伸缩，您只需为实际使用的数据库容量付费。极致性能 深度优化数据库...
只读节点Online Promote
将Replica节点本地的数据（如clog等）拷贝到共享存储中。重置WAL Meta Queue内存空间，从共享存储中重新加载slot信息，并重新设置LogIndex BGW进程的回放位点为其与当前一致性位点两者的最小值，用来表示接下来LogIndex BGW进程从该位点...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
数据开发：开发者
您也可以在创建表后，使用直接上传方式，将本地数据上传至DataWorks的源表，再通过计算节点进行清洗加工，将加工后的数据存储至结果表。本文使用直接上传本地数据，并通过计算类型节点清洗该表数据为例进行说明。进入数据开发 登录 ...
一般性问题
挂载点定义了采用怎样的权限来访问数据库文件存储（DBFS），同一个挂载点可以被多个计算节点同时挂载并进行共享访问。数据库文件存储DBFS的挂载点目前固定，位于“/mnt/dbfs”目录下。3.权限组是什么概念、有什么作用？权限组定义了访问...
跨机并行查询
支持多个计算节点分布式地执行SQL查询，加速 PolarDB PostgreSQL版（兼容Oracle）的分析型查询性能，充分发挥存储层PolarFileSystem的高I/O吞吐能力，以及提高所有计算节点的CPU和内存资源的使用率。跨机并行查询功能具有如下优势：具备...
产品优势
降低成本 计算节点和存储分离：多个计算节点共享存储，新增只读节点时只需支付计算节点费用，大大降低扩容成本。Serverless存储：存储空间无需手动配置，根据数据量自动伸缩，您只需为实际使用的数据库容量付费。极致性能 深度优化数据库...
存储资源监控
InnoDB读写数量 实例存储节点中InnoDB平均每秒钟写入的数据量，单位为KB。实例存储节点中InnoDB平均每秒钟读取的数据量，单位为KB。InnoDB缓冲池请求数 缓冲池的每秒读次数。缓冲池的每秒写次数。InnoDB日志写 实例存储节点的平均每秒日志...
配置 MPC 项目
配置离线样本 离线样本是 MPC 项目中的原始数据，离线样本被存储在节点中且只支持在节点本地使用。如果需要在项目中使用离线样本，需要将数据授权到 MPC 项目内。在 隐私计算项目 页面，单击指定 MPC 项目右侧的 资源配置。在 资源配置 ...
输入节点
说明 若场景任务中，计算节点已指定了上游物理表，则流程中可以没有输入节点。节点属性 输入节点关键参数说明如下：参数 说明 节点名称 节点的名称，支持用户自定义。节点标识 节点的唯一标识，同一场景中不可重复，不可更改，由系统自动...
输入节点
说明 若场景任务中，计算节点已指定了上游物理表，则流程中可以没有输入节点。节点属性 输入节点关键参数说明如下：参数 说明 节点名称 节点的名称，支持用户自定义。节点标识 节点的唯一标识，同一场景中不可重复，不可更改，由系统自动...
云计算资源类型
计算节点：离线类：MaxCompute RDS MySQL Elastic Job Hive Hologres AnalyticDBPostgreSQL PostgreSQL Spark On Yarn Spark Cluster 在线类：Elastic Service 流式类：Blink Flink Flink vvp Flink vvr Spark Thrift Server 读写数据：...
云计算资源类型
计算节点：离线类：MaxCompute RDS MySQL Elastic Job Hive AnalyticDBPostgreSQL PostgreSQL Spark On Yarn Spark Cluster 在线类：Elastic Service 流式类：Blink Flink Flink vvp Flink vvr Spark Thrift Server 读写数据：PostgreSQL ...
实例类型
为满足存储数据量或计算量扩展的需求，核心实例节点支持随时扩容，并且扩容过程中不会影响当前集群的正常运行。核心实例节点可以使用多种不同的存储介质来保存数据，详情请参见 本地盘 和 块存储。计算实例节点（Task）计算实例节点是专门...
配置仪表盘推送节点
任务编排的仪表盘推送节点通过联动数据分析功能，可以将数据分析的图表直接推送至您（责任人、相关人员）的钉钉、钉钉机器人或邮箱中，免去您前往DMS数据服务查看图表的步骤。本文介绍如何配置仪表盘节点。准备工作 创建并配置仪表盘 登录 ...
释放Mongos节点或Shard节点
Shard节点数据量、Balancing Window和Jumbo Chunk等因素会影响释放节点的实际耗时。说明 关于Balancing Window和Jumbo Chunk的更多信息，请参见 Balancing Window 和 Jumbo Chunk。请确保剩余的Shard节点有足够的存储空间。Shard节点在释放...
功能简介
节点模式 节点模式任务主要适用于计算节点相对独立，整个流程由单个节点组成的这类简单数据处理场景，支持灵活的节点开发模式，支持对计算节点中的脚本、自定义函数、节点输入、节点输出、参数等进行配置和管理。支持批量离线、在线和流式...
功能简介
节点模式 节点模式任务主要适用于计算节点相对独立，整个流程由单个节点组成的这类简单数据处理场景，支持灵活的节点开发模式，支持对计算节点中的脚本、自定义函数、节点输入、节点输出、参数等进行配置和管理。支持批量离线、在线和流式...
数据开发
节点模式 节点模式任务主要适用于计算节点相对独立，整个流程由单个节点组成的这类简单数据处理场景，支持灵活的节点开发模式，支持对计算节点中的脚本、自定义函数、节点输入、节点输出、参数等进行配置和管理。支持批量离线、在线和流式...
设置离线节点的调度信息
如果需要在开发环境场景上线后定时调度该场景中离线计算节点，则需要在开发环境场景上线前配置场景中离线节点的调度信息，调度配置在生产环境中生效。本文介绍如何设置开发环境场景中离线节点的调度信息。前提条件 开发环境场景画布流程中...
配置 PSI 项目
您可以根据业务需求对项目中的节点、数据和成员进行配置，只有成功配置项目后，才可以进入项目开发阶段。本文介绍在管理控制台中，配置 PSI 项目的操作步骤。前提条件 在配置 PSI 项目前，请确认您已经完成了以下操作：确认已安装、部署...
配置 FL 项目
您可以根据业务需求对项目中的节点、数据和成员进行配置，只有成功配置项目后，才可以进入项目开发阶段。本文介绍在管理控制台中，配置 FL 项目的操作步骤。前提条件 在配置 FL 项目前，请确认您已经完成了以下操作：确认已安装、部署节点...
计算节点配置说明
计算节点是处理数据代码的算法节点，在算法流程中主要用于某个特定场景，或针对某张表的逻辑处理。本文介绍计算节点的节点画布配置说明和场景画布的配置说明。背景信息 计算节点支持多种类型，但是配置的参数和方法类似，这里只介绍关键...
计算节点配置说明
计算节点是处理数据代码的算法节点，在算法流程中主要用于某个特定场景，或针对某张表的逻辑处理。本文介绍计算节点的节点画布配置说明和场景画布的配置说明。背景信息 计算节点支持多种类型，但是配置的参数和方法类似，这里只介绍关键...
PolarDB PostgreSQL版：ePQ架构详解
不同的是，PolarDB PostgreSQL版 是共享存储架构，存储上的数据可以被所有计算节点全量访问。如果使用传统的mpp执行引擎，每个计算节点Worker都会扫描全量数据，从而得到重复的数据。同时，也没有起到扫描时分治加速的效果，并不能称得上是...
查看账单详情
当项目的实际数据存储量大于0 MB小于等于512 MB时：公共云：用量×单价（0.01元/GB/天）。金融云：用量×单价（0.019元/GB/天）。备份存储 取当前Project当日所有备份存储计量总和除以24的平均值。Byte 公共云：用量×单价（0.004元/GB/天...
产品架构
Shared Disk/Storage（共享存储）有一个分布式的存储集群，每个计算节点像访问单机数据一样访问这个共享存储上的数据。这种架构的存储层可以比较方便的扩展，但是计算节点需要引入分布式协调机制保证数据同步和一致性，因此计算节点的可...
使用场景
使用边缘节点可以解决本地数据收流、处理及存储问题，仅需要让必要信息回源数据中心，是合理高性价比的方案。人工智能 人工智能技术的成熟，不断促进AI应用的快速发展，数据中心的计算压力日益增大。AI计算分布式部署在边缘节点，AI计算...
PolarDB PostgreSQL版：ePQ架构详解
不同的是，PolarDB PostgreSQL版（兼容Oracle）是共享存储架构，存储上的数据可以被所有计算节点全量访问。如果使用传统的mpp执行引擎，每个计算节点Worker都会扫描全量数据，从而得到重复的数据。同时，也没有起到扫描时分治加速的效果，...
- 产品推荐
- 这些文档可能帮助您