场景1：包含离线同步节点的业务流程，如何配置调度...
DataWorks的离线同步节点不支持通过自动解析自动添加调度依赖，包含离线同步节点的业务流程，如果下游节点依赖离线同步节点产生的表，您需手动添加产出表到离线同步节点的输出中，下游节点查询离线同步节点数据时，自动解析可以通过表快速...
03创建开发环境场景并运行
在左侧节点列表中，选择 系统节点>同步节点，将同步节点拖到画布上，输入节点名称为“从MaxCompute同步到RDS MySQL”。单击拖入 同步节点1，在右侧的 运行配置 中，配置节点输入和输出。节点 参数 配置信息 节点输入 云计算资源类型 ...
节点异常问题排查
本文目录 类别 内容 诊断流程 诊断流程 常见排查方法 节点故障诊断 检查节点的详情 检查节点的状态 检查节点的事件 检查节点的诊断日志 检查节点的关键组件 检查节点的监控 检查节点的安全组 常见问题及解决方案 节点关键组件异常处理 ...
节点异常问题排查
本文目录 类别 内容 诊断流程 诊断流程 常见排查方法 节点故障诊断 检查节点的详情 检查节点的状态 检查节点的事件 检查节点的诊断日志 检查节点的关键组件 检查节点的监控 检查节点的安全组 常见问题及解决方案 节点关键组件异常处理 ...
支持创建Gateway类型节点组
集群节点提供Gateway类型节点，用于缓解主节点的负载和作为任务提交机 适用客户 全网用户 新增功能/规格 ...这种节点可以帮助用户一键创建任务提交机，并能够自动同步配置，解决了当前任务提交环境部署和配置难的问题。产品文档 管理节点组
节点与节点池FAQ
例如，如何更改节点的Pod数量，如何更换节点池的OS镜像，如何解决节点相关timeout问题等。如何更换节点池OS镜像？是否支持关闭期望节点数功能？开启期望节点数与未开启期望节点数的节点池有什么不同？如何将已有的节点添加到集群？如何在...
同步节点
同步节点即数据传输节点。本文介绍同步节点的各属性配置参数说明。节点属性 节点属性用于设置同步节点的基本信息，关键参数说明如下：参数 说明 节点名称 节点的名称，支持用户自定义。节点标识 节点的唯一标识，支持用户自定义，同一个...
同步节点
同步节点即数据传输节点。本文介绍同步节点的各属性配置参数说明。节点属性 节点属性用于设置同步节点的基本信息，关键参数说明如下：参数 说明 节点名称 节点的名称，支持用户自定义。节点标识 节点的唯一标识，支持用户自定义，同一个...
云盘存储卷FAQ
解决方案 原因1解决方案：确保多Pod不能引用同一个PVC，解决Pod引用PVC的问题。原因2解决方案：请通过 容器服务管理控制台 的 组件管理 页面，升级csi-plugin组件到大于等于v1.26.3-796c9dc-aliyun的版本，并再次确认csi-plugin未直接挂载/...
新建同步节点并运行后上线
数据同步节点，实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。操作步骤 步骤一：登录节点任务设置页面 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，...
新建同步节点并运行后上线
数据同步节点，实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。操作步骤 步骤一：登录节点任务设置页面 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组...
离线同步写入MongoDB数据
step2：创建离线同步节点，并配置离线同步任务 在DataWorks的DataStudio中创建一个离线同步节点，并配置离线同步的来源与去向等任务配置参数，核心配置要点如下，其他参数可保持默认值即可。详细操作请参见 通过向导模式配置离线同步任务。...
通过DataWorks数据集成迁移日志数据至MaxCompute
通过脚本模式配置离线同步节点 成功创建离线同步节点后，单击工具栏中的 转换脚本。单击 提示 对话框中的 确认，即可进入脚本模式进行开发。单击工具栏中的 导入模板。在 导入模板 对话框中，选择从来源端的LogHub数据源同步至目标端的ODPS...
技术架构
节点间只需要同步内存里的元数据信息，通过MVCC机制的保证，就能支持跨节点读取数据的一致性，非常巧妙地解决了主实例和副本之间的数据同步问题，大大节约了跨节点的网络开销，降低副本间的同步延迟。PolarDB PostgreSQL版（兼容Oracle）的...
DescribeDBInstanceDiagnosisSummary-查看节点详情
0 NotSyncingNodeNum integer 未同步节点数量。0 SyncedNodeNum integer 已同步节点数量。1 PreferredNodeNum integer 正常角色节点数量。2 NotPreferredNodeNum integer 主从切换角色节点数量。0 SegmentStatusInfo object 计算节点状态...
准备数据
配置离线同步节点 配置电量下降趋势数据同步节点。双击电量下降趋势数据同步节点，进入节点配置页面。选择数据来源。参数 描述 数据源 选择 MySQL>workshop。表 选择MySQL数据源中的表 trending。数据过滤 您将要同步数据的筛选条件，暂时...
一键MaxCompute表结构同步节点
本文为您介绍如何创建并使用一键MaxCompute表结构同步节点。背景信息 Hologres 是阿里巴巴自主研发的一站式实时数仓引擎，它与MaxCompute在底层无缝连接，支持使用新建外部表的方式加速查询MaxCompute数据。DataWorks是基于 IMPORT FOREIGN...
日志服务通过数据集成投递数据
通过脚本模式配置离线同步节点 成功创建离线同步节点后，单击工具栏中的 转换脚本。单击 提示 对话框中的 确认，即可进入脚本模式进行开发。单击工具栏中的 导入模板。在 导入模板 对话框中，选择从来源端的LogHub数据源同步至目标端的ODPS...
一键MaxCompute数据同步节点
本文为您介绍如何创建并使用一键MaxCompute数据同步节点。背景信息 使用一键同步MaxCompute数据至Hologres进行数据查询时，您需要先在Hologres中创建外部表，该外部表可视为MaxCompute源表（即需要同步的MaxCompute数据所在的表）与...
各类型节点自动解析场景
离线同步节点 离线同步节点不支持自动解析，需手动添加节点的调度依赖配置。不支持自动解析的场景 如下情况不支持自动解析：部分节点可能暂不支持自动解析，节点是否支持自动解析请以实际界面为准。例如：离线节点、AnalyticDB for ...
配置PolarDB输入
在实时同步节点的编辑页面，单击 输入>PolarDB 并拖拽至编辑面板。单击 PolarDB 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的PolarDB数据源，此处仅支持PolarDB数据源。如果未配置数据源，请单击右侧的 ...
配置数据过滤转换
在实时同步节点的编辑页面，鼠标单击 转换>数据过滤 并拖拽至编辑面板，连线已配置好的输入节点。单击 数据过滤 节点，在 节点配置 对话框中，配置各项参数。节点配置 规则：对数据源中的数据进行规则过滤，满足规则的数据才会被保留。例如...
配置字符串替换
在实时同步节点的编辑页面，鼠标单击 转换>字符串替换 并拖拽至编辑面板，连线已配置好的输入节点。单击 字符串替换 节点，在 节点配置 对话框中，配置各项参数。参数 描述 规则 规则包括以下参数：字段：选择前一个步骤的输入字段。正则...
大量数据导出方案
将数据同步节点和ODPS SQL节点连线配置成依赖关系，ODPS SQL节点作为数据的产出节点，数据同步节点作为数据的导出节点。工作流调度配置完成后（可以直接使用默认配置），单击 运行。数据同步的运行日志，如下所示。2016-12-17 23:43:46.394...
配置DataHub输入
在实时同步节点的编辑页面，鼠标单击 输入>DataHub 并拖拽至编辑面板。单击 DataHub 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的DataHub数据源，此处仅支持DataHub数据源。如果未配置数据源，请单击右侧...
各类型节点的调度参数配置示例
SQL类型节点及离线同步节点 SQL类型节点及离线同步节点的调度参数配置与多数类型节点的配置相似，可供多数节点参考使用。本文以ODPS SQL节点为例，为您展示如何为系统内置变量及自定义参数赋值，并在代码中进行调用。说明 部分节点可能不...
配置AnalyticDB for MySQL输出
在实时同步节点的编辑页面，单击 输出>AnalyticDB for MySQL 并拖拽至编辑面板，连线已配置好的输入或转换节点。单击 AnalyticDB for MySQL 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的 AnalyticDB for ...
RestAPI Reader最佳实践
测试运行 本实践使用了调度参数，因此完成离线同步任务的配置后，您可以在离线同步节点页面顶部单击 带参运行，根据界面提示填写测试的调度参数取值，进行离线同步任务测试。测试运行完成后，您可以在界面下方查看运行日程，检查调度参数...
配置DataHub输出
在实时同步节点的编辑页面，鼠标单击 输出>DataHub 并拖拽至编辑面板，连线已配置好的输入或转换节点。单击 DataHub 节点，填写 节点配置 对话框中的参数。参数 描述 数据源 选择已经配置好的DataHub数据源，此处仅支持DataHub数据源。如果...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至DataHub。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步...
使用DataWorks同步iGraph数据
您可以进入离线同步节点的编辑页面，单击右侧的 调度配置，下文将为您介绍如何在同步任务中配置节点调度属性。调度参数使用说明请参见 数据集成使用调度参数的相关说明。配置节点调度属性：用于为任务配置阶段使用的变量赋值调度参数，您在...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至 AnalyticDB for MySQL。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至MaxCompute。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要...
开发环境场景画布概览
序号 区域 说明 ① 左侧节点选择区 节点区域导航栏：系统节点：同步节点：在两个算法节点间传输与同步数据，支持不同计算资源的数据转换。就绪检测节点：检测公共节点流程的数据源是否已准备就绪。只有数据准备就绪后，节点流程才可以正常...
开发环境场景画布概览
序号 区域 说明 ① 左侧节点选择区 节点区域导航栏：系统节点：同步节点：在两个算法节点间传输与同步数据，支持不同计算资源的数据转换。就绪检测节点：检测公共节点流程的数据源是否已准备就绪。只有数据准备就绪后，节点流程才可以正常...
配置任务调度
已创建同步节点 write_result 生成的同步任务，详情请参见 创建同步任务。背景信息 DataWorks具有强大的调度能力，支持根据时间、依赖关系的触发机制。DataWorks可以为您保障每日千万级别的任务，根据DAG关系准确、准时运行，并且支持分钟...
数据节点问题
常见数据节点问题列表：在数据访问代理中使用 RDS 或 OceanBase 的节点 ID 如何查找 RDS 或 OceanBase 的节点 ID 在数据访问代理中使用 RDS 或 OceanBase 的节点 ID 在添加物理数据节点时，需要通过数据节点 ID 来定位指定的数据节点，如下...
一键同步MaxCompute数据
新建 一键MaxCompute数据同步 节点。进入 Hologres管理控制台。在页面上方选择目标地域。在左侧菜单栏单击 前往DataStudio，前往DataWorks-HoloStudio开发。在 Holo Studio 页面的左侧导航栏，单击 图标。进入 数据开发 页面，鼠标悬停至...
配置Hologres输出
在实时同步节点的编辑页面，单击 输出>Hologres 并拖拽至编辑面板，连线已配置好的输入或转换节点。单击 Hologres 节点，在 节点配置 对话框中，配置各项参数。参数 描述 数据源 选择已经配置好的Hologres数据源，此处仅支持Hologres数据源...
一键同步MaxCompute数据
新建 一键MaxCompute数据同步 节点。进入 Hologres管理控制台。鼠标悬停至顶部菜单栏左侧的 图标，选择目标地域。单击左侧导航栏的 前往DataStudio。在 Holo Studio 页面的左侧导航栏，单击 图标。进入 数据开发 页面，鼠标悬停至顶部菜单...
- 产品推荐
- 这些文档可能帮助您