实时模式配置概述
对于流批一体任务的实时模式您需定义该任务实时相关的属性，包括任务资源、时间参数、Checkpoint 等。...依赖关系 配置实时任务的依赖关系，可帮助您排查调试时快速了解数据的上下游任务。配置说明，请参见 实时模式依赖关系配置。
提交节点时提示：输入输出和代码血缘分析不匹配
非周期性调度生产数据的表包括：从本地上传到DataWorks的表 维表 非DataWorks调度产出的表 手动任务产出的表 对于周期性生成数据的表，您需要仔细检查表数据的血缘关系与调度依赖关系是否一致。如果您不检查直接强制提交节点，可能会导致...
DROP PUBLICATION
DROP PUBLICATION 用于从数据库中删除一个现有的发布。注意事项 发布只能被它自己的所有者或超级用户删除。语法 DROP PUBLICATION[IF EXISTS]name[,.][CASCADE|RESTRICT]参数 IF EXISTS 如果发布不存在，不要抛出一个错误。在这种情况下...
实例生成方式：发布后即时生成实例
若您不确定依赖关系是否符合预期，建议先通过 必读：复杂依赖场景调度配置原则与示例，提前了解DataWorks对于上下游周期数不同场景的依赖挂载原则，实际配置时，通过 预览依赖 功能，预览依赖关系后再发布。若选择 T+1次日生成 方式时，需...
功能特性
支持多种数据库产品组合 支持多种数据库引擎（MySQL、Oracle、PostgreSQL、SQL Server等）和多种生态工具（数据传输服务DTS、数据库备份DBS等），可以轻松实现跨库、跨产品功能组合联动。支持多种消息通知机制（钉钉、短信、邮件等）。支持...
实时模式配置概述
对于实时任务的实时模式您需要定义该任务实时相关的属性，包括 时间参数、Checkpoint 等。本文为您介绍实时任务...依赖关系 配置实时任务的依赖关系，可帮助您排查调试时快速了解数据的上下游任务。配置说明，请参见 实时模式依赖关系配置。
关联限流
当两个资源之间具有资源争抢或者依赖关系的时候，这两个资源便具有了关联。例如对数据库同一个字段的读操作和写操作存在争抢，读的速度过高会影响写得速度，写的速度过高会影响读的速度。如果放任读写操作争抢资源，则争抢本身带来的开销会...
场景：节点成环
例如，当下游节点依赖某上游节点上一周期产出的表数据，并且将加工结果写回该表时，若下游节点依赖上游节点同周期而非上一周期时，将导致上下游节点依赖关系成环。请明确业务场景后，将下游节点从依赖上游同周期转变为依赖上一周期。场景...
关联限流
当两个资源之间具有资源争抢或者依赖关系的时候，这两个资源便具有了关联。例如对数据库同一个字段的读操作和写操作存在争抢，读的速度过高会影响写得速度，写的速度过高会影响读的速度。如果放任读写操作争抢资源，则争抢本身带来的开销会...
工作项关系自定义设置
依赖关系：请参见 依赖关系自动联动。关联关系：请参见 关联关系自动联动。关系的自定义设置 为了能够让用户基于场景更灵活的配置工作项之间的关系，云效 Projex 开放了关系自定义能力，企业管理者可根据企业的协作场景进行关系间的类型...
确认表血缘
未基于表血缘配置节点依赖的影响 存在血缘依赖关系但未设置节点依赖关系，导致下游取数出现问题。存在血缘依赖且设置了节点依赖但依赖的时间有误，导致下游取数出现问题。使用说明 DataWorks上，节点读取或产出的表分区均通过调度参数实现...
运行及排错
DataWorks为您提供测试运行、补数据和周期运行三种触发方式，帮助您确认实例运行的定时时间、相互依赖关系、数据结果产出是否符合预期。测试运行：手动触发方式。如果您仅需要确认单个节点的定时情况和运行，建议您使用测试运行。详情请...
Go-SQL-Driver/MySQL 连接 OceanBase 数据库示例程序
本文将介绍如何使用 Go-SQL-Driver/MySQL 驱动和 OceanBase 数据库构建一个应用程序，实现创建表、插入数据和查询数据等基本操作。点击下载 go-oceanbase 示例工程 前提条件 安装 OceanBase 数据库、Go 语言和相关驱动，并确保已经正确配置...
SpringJDBC 连接 OceanBase 数据库
本文将介绍如何使用 Spring JDBC 框架、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入和查询数据等。点击下载 spring-jdbc-mysql-client 示例工程 前提条件 您已安装 OceanBase 数据库...
查看血缘关系
优势 详情 提升数据确认效率 通过溯源数据，可以全面了解数据的各个方面，包括作业涉及的产品、数据库和表情况，表字段的属性和关联关系，数据的来源、经过的处理步骤、传输路径以及最终的消费者。这样可以帮助您更好地理解数据的流向和...
DataWorks任务
创建节点（不需配置依赖关系），请参见 创建节点并配置依赖关系。提交业务流程，请参见 提交业务流程。在SchedulerX控制台上执行如下操作：创建相应工作流并绑定DataWorks任务节点，请参见 创建工作流。任务添加完毕后，按住并拖动任务两侧...
DataWorks任务
创建节点（不需配置依赖关系），请参见 创建节点并配置依赖关系。提交业务流程，请参见 提交业务流程。在SchedulerX控制台上执行如下操作：创建相应工作流并绑定DataWorks任务节点，请参见 创建工作流。任务添加完毕后，按住并拖动任务两侧...
任务
执行计划由具有依赖关系的多个执行阶段（Stage）构成。目前，执行计划在逻辑上可以被看作一个有向图，图中的点是执行阶段，各个执行阶段之间的依赖关系是图的边。MaxCompute会依照图（执行计划）中的依赖关系执行各个阶段。在同一个执行...
DataWorks任务
创建节点（不需配置依赖关系），请参见 创建节点并配置依赖关系。提交业务流程，请参见 提交业务流程。在SchedulerX控制台上执行如下操作：创建相应工作流并绑定DataWorks任务节点，请参见 创建工作流。任务添加完毕后，按住并拖动任务两侧...
发布中心概述
同时，根据节点是否存在跨工作空间依赖，您可以基于业务需求配置发布环境的 依赖映射 参数，不同配置情况，节点发布后的上下游依赖及输入输出名称不同，详情请参见下文的 节点依赖关系及输入输出变更。发布MaxCompute引擎类任务，系统会...
离线模式配置概述
对于流批一体任务的离线模式您需定义该任务实时相关的属性，...依赖关系 流批一体任务 的离线模式通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。配置说明，请参见 离线模式依赖关系配置。
新建BLINK_SQL任务
依赖关系（必选）：配置依赖关系可帮助排查调试时快速了解数据的上下游任务。离线模式依赖关系配置。单击 确定。步骤四：调试BLINK_SQL任务代码（可选）Dataphin支持调试已开发的BLINK_SQL代码。单击页面右上方的 调试按钮，可以对代码任务...
新建BLINK_SQL任务
依赖关系（必选）：配置依赖关系可帮助排查调试时快速了解数据的上下游任务。离线模式依赖关系配置。单击 确定。步骤四：调试BLINK_SQL任务代码（可选）Dataphin支持调试已开发的BLINK_SQL代码。单击页面右上方的 调试按钮，可以对代码任务...
新建Flink_SQL任务
依赖关系（必选）：配置依赖关系可帮助排查调试时快速了解数据的上下游任务。配置说明，请参见 离线模式依赖关系配置。单击 确定。步骤四：调试 FLINK_SQL 任务代码 Dataphin支持调试已开发的Flink_SQL代码。单击页面右上方的 调试按钮，...
下线任务
查看节点的依赖关系，详情请参见 查看周期任务DAG图。通过生产环境运维中心的 周期任务 界面下线的任务，在开发环境将默认回到编辑状态，不会进入回收站，您可在数据开发（DataStudio）界面搜索节点名称查找该节点。任务下线流程 周期调度...
新建FLINK_SQL任务
依赖关系（必选）：配置依赖关系可帮助排查调试时快速了解数据的上下游任务。离线模式依赖关系配置。单击 确定。步骤四：调试 FLINK_SQL 任务代码 Dataphin支持调试已开发的Flink_SQL代码。单击页面右上方的 调试按钮，可以对代码任务采样...
新建FLINK_SQL任务
依赖关系（必选）：配置依赖关系可帮助排查调试时快速了解数据的上下游任务。离线模式依赖关系配置。单击 确定。步骤四：调试 FLINK_SQL 任务代码 Dataphin支持调试已开发的Flink_SQL代码。单击页面右上方的 调试按钮，可以对代码任务采样...
数仓规划概述
模块之间存在依赖关系，项目的计算存储资源配置基于 计算源，项目空间内所用到的数据基于 数据源，项目可以归属于数据板块。数仓规划入口 在Dataphin首页，单击顶部菜单栏的 规划。在数仓规划页面，左侧导航栏为您展示各功能模块的入口按钮...
约束完整性检查
该检查项主要检查迁移对象中，有外键依赖关系的父表和子表是否都被迁移，防止破坏外键约束完整性。如果检查失败，说明待迁移子表依赖的父表没有被选择为迁移对象。您可以根据业务需求选择下述的修复方法进行修复。修复方法一 在迁移对象中...
数仓规划概述
网络连通 为了实现数据源与Dataphin之间的网络互通，您需要将访问数据库的链接地址添加至Dataphin实例的沙箱白名单中。Dataphin的IP加入至RDS数据源的白名单中。详情请参见 通过客户端、命令行连接RDS MySQL实例。Dataphin不同区域的IP白...
数据开发常见问题
日调度任务依赖小时调度任务运行的不同场景，依赖关系如何配置？天任务依赖小时任务时，直接设置依赖关系，天任务几点会运行？天任务依赖小时任务时，如何实现天任务依赖小时任务当天具体某个实例，而非依赖所有的小时实例？天任务依赖小时...
新建过滤器
本文介绍数据过滤器的功能和如何新建一个过滤器。数据过滤器功能 在DataV中可以使用数据过滤器，可以通过...通过在组件内部数据配置时，新建的过滤器同样会排列显示在 数据过滤器 列表中，并且在列表中可以看到过滤器和组件之间的依赖关系。
新建FLINK_SQL任务
依赖关系（必选）：配置依赖关系可帮助排查调试时快速了解数据的上下游任务。配置说明，请参见 离线模式依赖关系配置。单击 确定。步骤四：调试 FLINK_SQL 任务代码 Dataphin支持调试已开发的Flink_SQL代码。单击页面右上方的 调试按钮，...
GORM 连接 OceanBase 数据库示例程序
本文将介绍如何使用 GORM 和 OceanBase 数据库构建一个应用程序，实现创建表、插入数据和查询数据等基本操作。点击下载 gorm-oceanbase 示例工程 前提条件 安装 OceanBase 数据库、Go 语言和相关驱动，并确保已经正确配置了环境变量。说明 ...
数据开发概述
在数据开发（DataStudio）中，业务流程下的所有任务会展示在同一个DAG中，方便您进行任务开发及依赖关系配置。任务 任务是DataWorks的基本执行单元。DataWorks根据任务间的依赖关系依次执行各个任务。节点 节点用于指代DAG中的一个任务。...
提交节点报错：当前节点依赖的父节点输出名不存在
不是DataWorks每天调度产出的表数据，是不需要设置节点依赖关系的，这类表依赖可以删除，删除后提交节点时，会出现血缘关系与调度依赖配置不一致的提示，您可确认一下，是否除了删除的非周期性生成数据表的依赖关系外，有没有其他血缘与...
DataWorks调度XIHE SQL
DataWorks是基于MaxCompute作为计算和存储引擎的用于工作流可视化开发和托管调度运维的海量数据离线加工分析平台，支持按照时间和依赖关系的任务全面托管调度。AnalyticDB MySQL 用户可以通过DataWorks强大的任务托管调度、任务依赖关系...
Dataphin天调度如何依赖小时调度
问题描述 用户在使用Dataphin过程中，需要使用到天调度任务依赖小时调度任务。例如上游任务A，配置小时调度，2点和14点运行，下游任务B，配置天调度，每天4点运行，...更多信息 Dataphin小时调度依赖关系及运行说明 适用于 Dataphin 调度配置
步骤三：配置节点运行配置
步骤三：如果业务有依赖关系时，设置依赖关系 如果业务有依赖关系时，需要设置依赖节点信息。可通过以下两种方式之一配置依赖信息。单击 解析依赖，当存在依赖节点时，系统会自动解析依赖节点信息并呈现在依赖节点区域。单击 添加依赖，...
步骤三：配置节点运行配置
步骤三：如果业务有依赖关系时，设置依赖关系 如果业务有依赖关系时，需要设置依赖节点信息。可通过以下两种方式之一配置依赖信息。单击 解析依赖，当存在依赖节点时，系统会自动解析依赖节点信息并呈现在依赖节点区域。单击 添加依赖，...
- 产品推荐
- 这些文档可能帮助您