场景1：包含离线同步节点的业务流程，如何配置调度...
DataWorks的离线同步节点不支持通过自动解析自动添加调度依赖，包含离线同步节点的业务流程，如果下游节点依赖离线同步节点产生的表，您需手动添加产出表到离线同步节点的输出中，下游节点查询离线同步节点数据时，自动解析可以通过表快速...
运维中心概述
依赖的所有父节点实例状态都为成功状态 配置节点依赖关系可以保障节点在运行时能取到正确的数据（读取上游表数据时，上游表的最新数据已产生），避免当前节点读取数据时，上游表数据还未产出，导致当前节点读取数据出现问题，所以，当节点...
节点诊断
节点出现进程Hung问题，请收集节点日志并 提交工单 处理。关于收集节点日志操作，请参见 一键采集节点的诊断日志。存在unregister_netdevice 检查内核是否出现unregister_netdevice。节点存在unregister_netdevice问题，请收集节点日志并 ...
Pod诊断
节点出现进程Hung问题，请收集节点日志并 提交工单 处理。关于收集节点日志操作，请参见 一键采集节点的诊断日志。存在unregister_netdevice 检查内核是否出现unregister_netdevice。节点存在unregister_netdevice问题，请收集节点日志并 ...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
kubelet
FAQ 节点重启后，有几率出现MatchNodeSelector的Pod 适用版本：所有 关键词：MatchNodeSelector，ConfigMap挂载失败 问题现象：当节点重启后，该节点上出现了一些处于MatchNodeSelector状态的Pod。相关Issue：...
新建开发环境场景并运行
步骤三：（可选）添加系统节点并配置 系统节点包括：同步节点、就绪检测节点和节点组。请根据实际需要添加需要的系统节点，添加方式相似。以下是以就绪检测节点为例介绍的添加节点的示例操作。关于其他节点的配置，更多信息，请参见 同步...
新建开发环境场景并运行
步骤三：（可选）添加系统节点并配置 系统节点包括：同步节点、就绪检测节点和节点组。请根据实际需要添加需要的系统节点，添加方式相似。以下是以就绪检测节点为例介绍的添加节点的示例操作。关于其他节点的配置，更多信息，请参见 同步...
使用ping命令丢包或不通时的链路测试方法
确认异常节点后，访问 IP地址查询 等网站查询并获取相应节点归属的运营商及网络，解决方案如下：如果是客户端本地网络相关节点出现异常，则需要对本地网络进行相应排查分析。如果是运营商相关节点出现异常，则需要直接联系运营商，或联系...
常见问题
配置离线同步节点时，无法查看全部的表，该如何处理？读取MaxCompute（ODPS）表数据时，添加一行注意事项。读取MaxCompute（ODPS）表数据时，如何同步分区字段？读取MaxCompute（ODPS）表数据时，如何同步多个分区数据？如何处理表列名有...
确认表血缘
未基于表血缘配置节点依赖的影响 场景一：存在强血缘依赖但未设置节点依赖，导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前...
通过Mongo Shell连接MongoDB副本集实例
不同网络类型的ECS实例与MongoDB实例如何连接 ECS实例与MongoDB实例地域不同时如何连接 ECS实例与MongoDB实例不在同一阿里云账号时如何连接 相关问题 排查Mongo Shell登录问题 排查因连接数耗尽导致的数据库连接问题 排查MongoDB CPU使用率...
DataWorks数据集成常见问题
本文将会为您介绍通过DataWorks同步数据至Hologres时，常见的问题以及对应的排查手段，以帮助您能在同步遇见问题时能快速的解决。开源DataX如何将数据同步至Hologres？报错：Holohub does not binary type of Hologres for now?报错：...
MongoDB小版本说明
5.0.5 2022-07-21 4.4.1 修复主节点stepDown时，出现死锁，导致节点角色切换失败的问题，更多信息，请参见 SERVER-59226。修复使用Change Stream拉取分布式事务的Oplog时，导致MongoDB主动退出的问题，更多信息，请参见 SERVER-53566。5.0....
实时同步常见问题
实时同步不支持在DataWorks的界面上直接运行，您需要在配置好实时同步任务后，提交并发布实时同步节点后，进入生产环境运行该节点。详情请参见 实时同步任务运维。实时同步任务DDL策略都有哪些？处理方式如下：正常处理 忽略 报警 出错 此...
标准版-双副本
当主节点出现故障，自研的HA系统会自动进行主从切换，保证业务平稳运行。数据可靠 默认开启数据持久化功能，数据全部落盘。支持数据备份功能，用户可以针对备份集回滚实例或者克隆实例，有效地解决数据误操作等问题。同时，在支持容灾的...
CreateGadInstanceMember-创建Gad实例成员
该接口用于在RDS全球多活数据库集群中添加节点。接口说明 适用引擎 RDS MySQL 相关功能文档 注意 使用该接口前，请仔细阅读功能文档，确保完全了解使用接口的前提条件及使用后造成的影响后，再进行操作。添加或移除单元节点 调试 您可以在...
CreateGadInstanceMember-创建Gad实例成员
该接口用于在RDS全球多活数据库集群中添加节点。接口说明 适用引擎 RDS MySQL 相关功能文档 注意 使用该接口前，请仔细阅读功能文档，确保完全了解使用接口的前提条件及使用后造成的影响后，再进行操作。添加或移除单元节点 调试 您可以在...
标准架构
当主节点出现故障，自研的HA系统会自动进行主从切换，保证业务平稳运行。数据可靠 默认开启数据持久化功能，数据全部落盘。支持数据备份功能，用户可以针对备份集回滚实例或者克隆实例，有效地解决数据误操作等问题。同时，在支持容灾的...
PolarDB MySQL版8.0.1版本发布日志
修复RO节点的物理机出现故障时，RW节点在特殊情况下未将其复制关系中断，而引发RW节点刷脏受阻的问题。修复HA后，因表数量过多而引发table cache淘汰导致Autoinc回退的问题。修复多主集群缓存中心重启情况下，读写节点可能无法启动的问题。...
存储异常问题排查
云盘挂载出现问题。ECS节点和云盘类型不匹配。解决方案：通过将Pod调度到其他节点快速恢复。具体操作，请参见 调度应用Pod至指定节点。通过命令 kubectl describe pods查看Pod的Event。根据不同Event提示信息处理。云盘挂载问题处理，请...
存储异常问题排查
云盘挂载出现问题。ECS节点和云盘类型不匹配。解决方案：通过将Pod调度到其他节点快速恢复。具体操作，请参见 调度应用Pod至指定节点。通过命令 kubectl describe pods查看Pod的Event。根据不同Event提示信息处理。云盘挂载问题处理，请...
一键MaxCompute Merge任务节点问题排查方案
本文为您介绍一键实时同步MaxCompute Merge任务节点失败后的排查与恢复方案。Merge任务说明 基本原理 一键实时同步MaxCompute运行时会先将源表存量数据通过离线同步至Base表中（目标表），同时启动实时同步任务读取源库增量变更日志，写到...
多主集群（库表）商业化
汇聚库可使用多主集群（库表）下的全局只读节点，彻底解决聚合复制链路延迟问题，同时省去聚合库的额外存储和计算备份节点的成本，整体成本下降2/3。架构图 多主集群（库表）的架构图如下：发布时间 2022年09月30日。多主架构以多主集群...
使用限制
故障切换 对于高可用系列、集群系列实例，当主节点出现故障时，RDS会在30秒内切换到备节点（某些主备不一致等特殊场景可能切换时间较长）。切换过程中有30秒左右的连接闪断，需要您设置好程序的自动重连，避免因为切换导致服务不可用。切换...
PolarDB PostgreSQL版架构介绍
低延迟复制 传统流复制的问题 同步链路：日志同步路径IO多，网络传输量大。页面回放：读取和Buffer修改慢（IO密集型+CPU密集型）。DDL回放：修改文件时需要对修改的文件加锁，而加锁的过程容易被阻塞，导致DDL慢。快照更新：RO高并发引起...
将MaxCompute数据同步到表格存储
在 数据集成 节点下会显示新建的离线同步节点。步骤四：配置离线同步任务并启动 新建并配置MaxCompute到表格存储的同步任务，具体步骤如下：在 数据集成 节点下，双击打开新建的离线同步任务节点。配置同步网络链接。选择离线同步任务的...
技术面临的挑战与革新
在部分存储节点出现热点数据、资源紧张时，PolarDB会自动迁移部分数据到其他节点。采用独有的Parallel-Raft技术，每份数据会有三个副本，每次IO都保证至少有两个副本落盘，保障了RPO。由于是共享存储架构，节点间状态接近于完全同步，当...
任务运行失败
本文汇总介绍任务运行失败的相关问题。通用参考 已配置失败重跑的任务在运行失败后未重跑，并报错 Task Run Timed Out，Killed by System！任务执行报错OSError:[Errno 7]Argument list too long.MaxCompute类型节点 ODPS-0420095:Access ...
调度参数
部分节点（例如，离线同步节点）配置了调度参数后，调度参数的返回值不能直接使用，需要进行转换等二次处理。该类节点，您可以配置赋值节点为该节点的上游，使用赋值节点先引用调度参数并对参数返回结果进行转换处理，再通过节点上下文功能...
Multi-Master基础架构
通常情况下，数据库实例中只有Main Master在工作，Standby Master节点作为高可用备份，当Main Master节点出现故障时，Standby Master才会切换成Main Master进行工作。随着业务的发展，例如实时数仓和HTAP场景需求的增加，Single-Master的...
03创建开发环境场景并运行
在左侧节点列表中，选择 系统节点>同步节点，将同步节点拖到画布上，输入节点名称为“从MaxCompute同步到RDS MySQL”。单击拖入 同步节点1，在右侧的 运行配置 中，配置节点输入和输出。节点 参数 配置信息 节点输入 云计算资源类型 ...
离线同步数据质量排查
环境信息排查 问题 解决方案 查询了错误或不完整的数据源、表、或者分区等。DataWorks标准项目分为开发数据源、生产数据源，在开发环境运行任务使用开发数据源，在生产环境运行任务使用生产数据源，再对数据数量和内容比对时，需要确认下...
概述
假设应用程序在 PolarDB 执行 UPDATE 的过程中，主节点出现故障。此时PolarProxy并不会立刻将底层的报错传给应用连接，而是将整个请求hold一段时间。热备切换选主之后，新的主节点通过Redo Log构建出所有的未提交事务，并异步等待未提交的...
一键MaxCompute任务出错恢复
查看实时任务日志，若报错信息为 InternalServerError、Exception when calling callable.Exception Msg:Read timed out 错误提示（例如图中报错），表示Tunnel服务端出现了问题，请联系MaxCompute值班同学排查，问题解决后，重启实时任务...
PolarDB PostgreSQL版一致性级别
会话一致性：为了解决最终一致性会出现的查询不一致，PolarDB利用自身物理复制速度快的优点，将查询发给已经更新了数据的只读节点，详细原理请参见 实现原理。PolarDB读写分离的会话一致性 PolarDB是读写分离的架构，传统的读写分离都只...
文档修订记录
任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，将 治理工作台>治理项问题 页面待解决的治理项问题以通知的形式，通过系统提示、邮件、钉钉群消息等...
节点异常问题排查
常见排查方法 节点故障诊断 当节点出现故障时，您可以使用容器服务ACK提供的故障诊断功能，一键诊断节点异常。登录 容器服务管理控制台。在控制台左侧导航栏，单击 集群。在 集群列表 页面，单击目标集群名称或者目标集群右侧 操作 列下的 ...
节点异常问题排查
常见排查方法 节点故障诊断 当节点出现故障时，您可以使用容器服务ACK提供的故障诊断功能，一键诊断节点异常。登录 容器服务管理控制台。在控制台左侧导航栏，单击 集群。在 集群列表 页面，单击目标集群名称或者目标集群右侧 操作 列下的 ...
依赖关系
避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数出现问题。DataWorks上如何设置调度依赖？在DataWorks上，上游节点的输出作为下游节点的输入，形成节点依赖关系。说明 SQL任务会以如下方式自动配置节点输入输出：select ...
- 产品推荐
- 这些文档可能帮助您