配置字符串替换
单击 字符串替换 节点，在 节点配置 对话框中，配置各项参数。参数 描述 规则 规则包括以下参数：字段：选择前一个步骤的输入字段。正则匹配：是否用于正则表达式匹配。原字符串：查找的原字符串。新字符串：替换后的新字符串。大小写敏感...
数值计算
节点配置 在业务逻辑编辑页面的 节点>功能 列表下，拖拽 数值计算 节点到中间画布中，进行配置。配置项 说明 节点名称 设置节点名称。支持中文汉字、英文字母、数字和下划线（_），长度不超过30个字符。数据源 可设置为固定值（静态数值）...
配置源节点
创建数据解析任务后，您可在数据解析工作台，配置数据解析任务的源节点，以作为后续数据解析的数据源。本文介绍配置源节点的操作步骤。前提条件 已创建数据解析任务，具体操作，请参见 创建数据解析任务。背景信息 数据解析功能说明，请...
查看公共节点
本文介绍如何查看公共节点配置信息和操作详情等信息。前提条件 已存在公共节点，具体操作，请参见 添加公共节点。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 ...
配置节点上下文
上游节点配置输出参数。在 节点上下文 中，添加输出参数定义。配置详情请参见 配置输出参数。下游节点配置输入参数。在 节点上下文 中，添加输入参数定义，取值选择引用上游节点的输出参数。字段 含义 说明 编号 编号为系统控制，自动增加...
配置AnalyticDB for MySQL输出
如果您未配置数据源，请单击右侧的 新建数据源，进入 工作空间管理>数据源管理 页面进行新建，详情请参见 配置AnalyticDB for MySQL 3.0数据源。表 选择当前数据源下需要同步的数据表名称。您可以单击右侧的 一键建表 新建数据表，也可以...
Node.js脚本
在节点配置下，单击 扩展库管理。搜索您需要的外部库，单击其对应的 安装 按钮。扩展库安装完成后，将展示在 已安装库 列表中。在编写代码时，通过require方式使用扩展库。代码示例/*@param {Object} payload 上一节点的输出*@param {...
使用流程参数
已创建节点，配置的流程参数将在节点中使用，替换实际节点中的参数取值。说明 当前仅ODPS SQL、EMR Spark Shell、EMR Spark、EMR Shell、EMR Hive、EMR MR、EMR Presto、EMR Trino、EMR Spark SQL、EMR Spark Streaming、EMR Streaming SQL...
新建开发环境场景并运行
您可以通过新建开发环境场景，并在开发环境场景画布中编排节点工作流、配置运行参数，来验证数据处理流程的正确性。本文以MaxCompute节点搭建流程为例介绍如何新建开发环境场景并运行。前提条件 已创建相关的云计算资源，具体操作，请参见 ...
模型训练
在节点配置过程中，如果有多个节点都需要使用的一些全局参数，您可以使用全局变量来提高节点配置效率，详情请参见 高级功能：全局变量。通过连线将节点组织构建成模型工作流。拖入多个组件后，画布中即有多个节点。您可以根据规划通过连线...
新建开发环境场景并运行
您可以通过新建开发环境场景，并在开发环境场景画布中编排节点工作流、配置运行参数，来验证数据处理流程的正确性。本文以MaxCompute节点搭建流程为例介绍如何新建开发环境场景并运行。前提条件 已创建相关的云计算资源，具体操作，请参见 ...
HTTP请求
节点配置 在业务逻辑开发编辑页面的 节点>触发 列表中，拖拽 HTTP请求 节点到中间画布并进行配置，如图所示。配置项 说明 节点名称 支持中文汉字、英文字母、数字和下划线（_）。长度不超过30个字符。Action 设置调用API时，参数 Action 的...
配置功能属性
您需为已添加的孪生节点配置物模型属性，以实现真实设备数据能映射到孪生节点。本文介绍为孪生节点定义功能属性的具体操作。前提条件 已在孪生工作台添加孪生节点。具体操作，请参见 添加孪生节点。编辑物模型 在孪生工作台中，单击孪生...
Kafka单表实时入湖OSS（HUDI）
目标库：选择数据写入的目标数据库，支持您单击右侧的 新建库 创建DLF元数据库。目标表：选择要写入的OSS表是 自动建表 还是 使用已有表。表名：填写或者选择要写入的OSS表名。OSS存储路径选择：选择入湖后数据存储在OSS的哪个路径下。编辑...
开启和管理健康检查
在 配置终端节点 配置向导页面的 健康检查 区域，您可以修改健康检查协议、端口、健康检查间隔时间等各配置项信息，然后单击 下一步。关于配置项信息，请参见 开启健康检查。在 配置审核 配置向导页面，单击 下一步。关闭健康检查 在 监听 ...
可视化编排
配置节点 在画布上选中节点后，右侧弹出节点配置面板，您需要根据本文下方 步骤二：配置节点 中的参数说明，配置节点。退出应用配置可视化编辑器 在页面右上角，单击 退出。在弹出的提示框中，单击 保存并退出 或 不保存并退出，即可退出...
函数计算节点
当前登录用户没有获取服务列表的权限：请联系阿里云主账号为您添加 fc:ListServices 权限，或直接赋予您 AliyunFCFullAccess 权限，授权后请刷新节点配置页面重新尝试。授权操作，请参见 为RAM用户授权。使用DataWorks的函数计算节点运行...
选型配置说明
选择合适的集群规格是CDP产品使用的第一步，CDP的选型配置需要考虑的主要因素包括：使用场景，估算数据量，服务可靠性以及预算等。 基础版CDP集群有主节点...一个集群中至少部署3台Data-Service节点，且节点配置至少为16 core，内存128GB。
钉钉机器人
节点配置 在业务逻辑编辑页面的 节点 中，选择对应功能节点配置业务流，钉钉机器人配置如下。配置项 说明 节点名称 设置节点名称。支持中文汉字、英文字母、数字和下划线（_），长度不超过30个字符。Webhook 钉钉群机器人的Webhook地址。需...
配置流程
配置转换组件 配置目标库信息 您可以选择 输出 节点的一个目标库类型，并为该目标库依次配置以下信息：配置节点信息。配置字段映射信息。配置目标库信息 操作步骤 进入ETL任务的列表页面。登录 DMS数据管理服务。在顶部菜单栏中，单击 集成...
创建业务流程
当存在非周期性调度生产数据的表，有节点select这类表数据时，您需要手动删除通过select自动生成的依赖的上游节点配置。单击工具栏中的 图标，防止代码丢失。单击 图标。运行结束后，即可在页面下方查看运行日志和结果。提交业务流程 运行...
创建并使用PAI Studio节点
机器学习节点用于调用您在机器学习平台中构建的任务，并按照节点配置进行调度生产。前提条件 您需要在机器学习平台创建机器学习实验后，才可以在DataWorks中进行添加。本文以心脏病预测案例实验为例，为您介绍如何加载机器学习实验至...
数据开发：开发者
步骤七：保存并提交节点 节点配置并测试完成后，您需要保存节点配置，并提交节点至开发环境。说明 仅当节点在步骤五中配置了 重跑属性 及 依赖的上游节点 后才可提交。单击工具栏的 图标，保存节点配置。单击工具栏的 图标，提交节点至开发...
依赖关系
当存在非周期性调度生产数据的表，有节点 select 该类表数据时，需手动删除通过 select 自动生成的依赖上游节点配置。非周期性调度生产数据的表包括：从本地上传到DataWorks的表 维表 非DataWorks调度产出的表 手动任务产出的表 不需要依赖...
一键MaxCompute数据同步节点
目标库 Hologres外部表存放于Hologres实例下哪个数据库。外部表来源 配置Hologres外部表的来源方式。后续使用该表作为同步MaxCompute数据至Hologres内部表的链接，映射MaxCompute源表数据。已有外部表：若需要同步数据至内部表的外部表已...
概述
当数据库进行主备切换时，数据库代理将新的后端连接（即数据库代理和数据库节点的连接）桥接到原有的前端连接（即应用程序和数据库代理的连接）上，同时恢复之前的会话状态，包括原来的系统变量、用户变量和字符集编码等信息。连接保持功能...
关系网络
图表样式 关系网络是以点线的形式表现事物之间关系的组件，支持自定义点、线和标签的样式，支持多系列的节点配置，能够以点线的形式在数据看板中展示复杂的网络关系。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
读写分离架构
针对读多写少的业务场景，云原生内存数据库Tair 推出了读写分离架构，提供高可用、高性能、灵活的读写分离服务，满足热点数据集中及高并发读取的业务需求。同时，读写分离架构实例由阿里云 Tair 团队自研的Proxy组件进行数据分发、故障切换...
配置数据过滤转换
前提条件 配置数据过滤节点前，您需要先配置好相应的输入节点，详情请参见 实时同步支持的数据源。操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表。选择工作空间所在地域后，单击相应工作空间后的 ...
多终端节点组流量调配使用示例
在 配置终端节点 配置向导页面，根据以下信息配置北京终端节点组。本文仅介绍强相关配置项，更多配置项信息，请参见 添加和管理智能路由类型监听的终端节点组。配置 说明 节点组名称 输入终端节点组的名称。地域 选择终端节点组所属的地域...
数据集成
再配合运维中心的补数据功能，可实现基于一套完整的任务配置，批量将历史数据同步至目标数据库或数据仓库指定表或指定分区。数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列...
读写分离版
针对读多写少的业务场景，云数据库 Redis 版 推出了读写分离架构，提供高可用、高性能、灵活的读写分离服务，满足热点数据集中及高并发读取的业务需求。同时，读写分离架构实例由阿里云 Tair 团队自研的Proxy组件进行数据分发、故障切换等...
功能特性
查询管理与分析 用户和权限管理 通过用户管理功能，您可以对数据库进行用户权限控制，这样可以确保只有授权的用户能够管理相关的数据库。管理用户及数据授权 元数据管理 元数据管理功能主要为您展示当前实例的所有数据库，数据表，分区及...
运维中心入门
您可在运维中心查看发布至生产环境的任务，并执行测试、补数据等相关运维操作。本文以周期调度任务的运维为例，通过确认调度...后续步骤 您可为节点产出的表数据配置数据质量监控规则，保障表数据的产出符合预期。详情请参见数据质量入门。
关系网络
图表样式 关系网络是以点线的形式表现事物之间关系的组件，支持自定义点、线和标签的样式，支持多系列的节点配置，能够以点线的形式在可视化应用中展示复杂的网络关系。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置...
应用配置
阿里云节点：一个节点，在应用被部署之后，对应阿里云RDS产品的一个实例（如一个RDS for MySQL数据库实例）。三方节点：各类主流开源中间件Docker镜像。这一类镜像完全来自于第三方，功能、性能、质量、安全等，均保持不变。初始化节点：这...
拓扑图
日志服务支持对不同类型的节点配置不同的指标，此处以WEB类型的节点为例（A>WEB）。在 A>WEB 中选择指标数据所在的Project和Logstore，再输入查询和分析语句获取指标字段，然后添加指标字段的配置。例如 metric_1 表示延迟时间，您可以通过...
执行补数据并查看补数据实例（旧版）
选择需要补数据的节点 区域为您展示的是当前节点及其包含的所有下游节点（包含下游节点的子节点），您可选择当前节点及其下游节点的部分或全部节点任务（包含当前节点）进行补数据。海量节点模式补数据 选择当前节点及下游节点作为本次补...
业务逻辑编辑器
功能 说明 节点配置 配置节点的相应参数。详细内容，请参见 节点 目录下的各节点文档。节点日志 部署并调试服务后，单击 节点日志，可查看结构化的日志信息。顶部操作栏 从左到右支持操作依次如下。功能 说明 鼠标指针移到该图标上，可展开...
数据库代理注意事项
数据库代理的连接模型是1:N（即您的一个业务连接到达代理后，代理会连接到主实例和所有配置的只读实例），数据库代理本身并没有最大连接数的限制，连接数的限制主要由后端数据库中计算节点的规格决定。未开启事务级连接池时，每条由客户端...
- 产品推荐
- 这些文档可能帮助您