关联限流
当两个资源之间具有资源争抢或者依赖关系的时候，这两个资源便具有了关联。例如对数据库同一个字段的读操作和写操作存在争抢，读的速度过高会影响写得速度，写的速度过高会影响读的速度。如果放任读写操作争抢资源，则争抢本身带来的开销会...
新建Flink_SQL任务
依赖关系（必选）：配置依赖关系可帮助排查调试时快速了解数据的上下游任务。配置说明，请参见 离线模式依赖关系配置。单击 确定。步骤四：调试 FLINK_SQL 任务代码 Dataphin支持调试已开发的Flink_SQL代码。单击页面右上方的 调试按钮，...
DROP PUBLICATION
DROP PUBLICATION 用于从数据库中删除一个现有的发布。注意事项 发布只能被它自己的所有者或超级用户删除。语法 DROP PUBLICATION[IF EXISTS]name[,.][CASCADE|RESTRICT]参数 IF EXISTS 如果发布不存在，不要抛出一个错误。在这种情况下...
数据开发常见问题
本文为您介绍数据开发相关的常见问题。任务开发常见问题 引擎基于DataWorks操作的常见问题 表相关 如何可视化新建表？为什么EMR通过DataWorks可视化建表失败报错：call emr exception？如何对生产表添加字段？如何将本地数据上传到...
新建FLINK_SQL任务
依赖关系（必选）：配置依赖关系可帮助排查调试时快速了解数据的上下游任务。离线模式依赖关系配置。单击 确定。步骤四：调试 FLINK_SQL 任务代码 Dataphin支持调试已开发的Flink_SQL代码。单击页面右上方的 调试按钮，可以对代码任务采样...
新建FLINK_SQL任务
依赖关系（必选）：配置依赖关系可帮助排查调试时快速了解数据的上下游任务。离线模式依赖关系配置。单击 确定。步骤四：调试 FLINK_SQL 任务代码 Dataphin支持调试已开发的Flink_SQL代码。单击页面右上方的 调试按钮，可以对代码任务采样...
锁分析
当面临RDS MySQL的死锁问题时，您可以使用锁分析功能，直观地查看和分析数据库最近一次发生的死锁，从而快速定位和解决死锁问题，确保数据库的稳定运行。前提条件 实例为如下版本：RDS MySQL 8.0 高可用系列或集群系列 RDS MySQL 5.7 高...
约束完整性检查
该检查项主要检查迁移对象中，有外键依赖关系的父表和子表是否都被迁移，防止破坏外键约束完整性。如果检查失败，说明待迁移子表依赖的父表没有被选择为迁移对象。您可以根据业务需求选择下述的修复方法进行修复。修复方法一 在迁移对象中...
GORM 连接 OceanBase 数据库示例程序
本文将介绍如何使用 GORM 和 OceanBase 数据库构建一个应用程序，实现创建表、插入数据和查询数据等基本操作。点击下载 gorm-oceanbase 示例工程 前提条件 安装 OceanBase 数据库、Go 语言和相关驱动，并确保已经正确配置了环境变量。说明 ...
代码解析结果对比
如何确认是否使用新的解析结果 节点提交时，若发现节点当前调度依赖解析结果与生产环境节点调度依赖关系的配置存在差异，请确认该节点当前的调度依赖是否符合业务需要，避免由于依赖关系变更导致产出数据出现问题。重要 若当前节点存在众多...
DataWorks任务
SchedulerX可支持定时调度DataWorks任务，并将DataWorks任务与其他任务在SchedulerX上进行混合依赖编排，完成相应的定期任务数据处理。前提条件 SchedulerX客户端升级至1.3.4及以上版本。接入客户端，将具备访问DataWorks（需开通企业版）...
场景：节点孤立
执行补数据时，如果调度依赖关系中的中间任务（即依赖于上游节点，且存在下游依赖）不在补数据的周期范围内，则可能导致依赖该中间任务的下游节点孤立。示例场景：A、C为小时调度任务，每小时调度一次；B为天调度任务，每天 02：00 调度...
数据开发概述
在数据开发（DataStudio）中，业务流程下的所有任务会展示在同一个DAG中，方便您进行任务开发及依赖关系配置。任务 任务是DataWorks的基本执行单元。DataWorks根据任务间的依赖关系依次执行各个任务。节点 节点用于指代DAG中的一个任务。...
DataWorks任务
SchedulerX可支持定时调度DataWorks任务，并将DataWorks任务与其他任务在SchedulerX上进行混合依赖编排，完成相应的定期任务数据处理。前提条件 SchedulerX客户端升级至1.3.4及以上版本。接入客户端，将具备访问DataWorks（需开通企业版）...
新建FLINK_SQL任务
依赖关系（必选）：配置依赖关系可帮助排查调试时快速了解数据的上下游任务。配置说明，请参见 离线模式依赖关系配置。单击 确定。步骤四：调试 FLINK_SQL 任务代码 Dataphin支持调试已开发的Flink_SQL代码。单击页面右上方的 调试按钮，...
提交节点报错：当前节点依赖的父节点输出名不存在
以上图为例，出现此类报错说明，系统无法通过本节点配置的这条 父节点输出名称 的依赖关系，找到产出表 xc_ods_user_info_d_133 的上游节点。说明 出现此报错，说明调度依赖配置里的 节点输出名不存在（即没有节点将这个节点输出名配置为本...
DataWorks任务
SchedulerX可支持定时调度DataWorks任务，并将DataWorks任务与其他任务在SchedulerX上进行混合依赖编排，完成相应的定期任务数据处理。前提条件 SchedulerX客户端升级至1.3.4及以上版本。接入客户端，将具备访问DataWorks（需开通企业版）...
DataWorks调度XIHE SQL
DataWorks是基于MaxCompute作为计算和存储引擎的用于工作流可视化开发和托管调度运维的海量数据离线加工分析平台，支持按照时间和依赖关系的任务全面托管调度。AnalyticDB MySQL 用户可以通过DataWorks强大的任务托管调度、任务依赖关系...
删除表
描述 DROP TABLE命令用于从数据库中删除表。只有表的所有者才能删除一张表。DROP TABLE命令同时删除表中的索引、规则、触发器和约束。说明 如果有任何对象依赖于表，那么可以使用关键字RESTRICT来指定服务器不删除这个表。这是缺省行为。有...
数据集成
同步任务调度配置 节点依赖关系 离线同步任务 离线同步任务的上游任务：由于同步任务可依赖平台侧血缘，因此，您可根据工作空间业务复杂性，选择挂载依赖至 工作空间根节点或 虚拟节点，即由工作空间根节点调度当前节点执行，还是由虚拟...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
依赖服务
client：通用客户端端请求类型 消息中间件请求类型：kafka_client：Kafka消息队列的生产方 producer：通用消息生产方类型 数据库请求类型：MySQL Oracle PostgreSQL PPAS SQLServer MariaDB DMDB Redis Memcached MongoDB DB 依赖服务详情 ...
数仓规划概述
模块之间存在依赖关系，项目的计算存储资源配置基于 计算源，项目空间内所用到的数据基于 数据源，项目可以归属于数据板块。数仓规划入口 在Dataphin首页，单击顶部菜单栏的 规划。在数仓规划页面，左侧导航栏为您展示各功能模块的入口按钮...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
导出开源引擎任务
使用导出工具，在内存中通过Airflow的Python库读取Dag Python文件的内部任务信息及其依赖关系，将生成的Dag信息写入JSON文件进行导出。您可进入DataWorks的 迁移助手>任务上云>调度引擎作业导出 页面，下载导出工具。进入 调度引擎作业导出...
依赖服务
client：通用客户端端请求类型 消息中间件请求类型：kafka_client：Kafka消息队列的生产方 producer：通用消息生产方类型 数据库请求类型：MySQL Oracle PostgreSQL PPAS SQLServer MariaDB DMDB Redis Memcached MongoDB DB 依赖服务详情 ...
数仓规划概述
网络连通 为了实现数据源与Dataphin之间的网络互通，您需要将访问数据库的链接地址添加至Dataphin实例的沙箱白名单中。Dataphin的IP加入至RDS数据源的白名单中。详情请参见 通过客户端、命令行连接RDS MySQL实例。Dataphin不同区域的IP白...
调整实例WRITESET相关参数
默认值：WRITESET 可选值及含义：COMMIT_ORDER：依赖主库组提交判断事务之间的依赖关系。如果两个事务在主库能够并行提交，表示这两个事务没有冲突，能够在备库并行回放。此模式容易受到主库并发度的影响。WRITESET：用行级别粒度判断事务...
删除或变更节点输出的影响
若下游节点依赖关系较深，将会产生严重影响。当存在下游依赖的上游节点输出被删除时，DataWorks界面会给出如下提示，请确认影响后再操作！下游任务仅依赖当前一个父节点时，下游任务将被孤立。孤立节点 无法被调度运行。下游任务依赖多个父...
配置任务调度
下游节点再对该表数据进行下一步操作，比如对上游产出的表数据进行进一步清洗，或者将上游清洗的结果表数据回流至其他数据库，但这些都需要等待上游节点执行成功（上游节点产出表数据）后才可以进行的操作，节点依赖关系的设置，保障的就是...
搜索功能介绍
通过搜索服务识别代码依赖关系是避免变更灾难的一种捷径，在变更数据库地址或函数变量参数时，试着先在企业内搜索一下，再结合人工评估，让每次变更更加有信心。对于安全管理员，可能还担心企业的隐私数据库密码或 Token 是否有明文编码的...
应用部署
经典应用服务提供应用的发布、回滚功能，您可以对需要发布的应用编辑依赖关系、调整服务器分组，并选择部署策略等。前提条件 应用和服务器绑定，且服务器经过初始化。应用存在发布包。灰度引流功能需要应用绑定 SLB 或添加至 SLB 下的虚拟...
高可用能力
全局一致性：该级别为最高级别，解决不同session间读写的依赖关系。连接池 PolarDB PostgreSQL版（兼容Oracle）智能代理提供两种连接池选项：session级连接池，提供对业务完全透明的连接池功能，用于减少短连接业务（比如PHP），频繁建立新...
任务运行成功没有数据
本文汇总介绍任务执行成功没有数据的相关问题。场景一：节点状态成功，有执行日志 场景二：节点状态成功，无执行日志...请重新设置节点依赖关系 查看上下游节点参数配置 场景二：节点状态成功，无执行日志 节点空跑，请检查属性界面节点状态。
新建过滤器
本文介绍数据过滤器的功能和如何新建一个过滤器。数据过滤器功能 在DataV中可以使用数据过滤器，可以通过...通过在组件内部数据配置时，新建的过滤器同样会排列显示在 数据过滤器 列表中，并且在列表中可以看到过滤器和组件之间的依赖关系。
Dataphin天调度如何依赖小时调度
问题描述 用户在使用Dataphin过程中，需要使用到天调度任务依赖小时调度任务。例如上游任务A，配置小时调度，2点和14点运行，下游任务B，配置天调度，每天4点运行，...更多信息 Dataphin小时调度依赖关系及运行说明 适用于 Dataphin 调度配置
任务调度属性配置概述
通过依赖关系有序调度运行上下游节点，即当上游节点运行成功后，下游节点才会启动运行，保障适时的产出有效业务数据。您可使用自动解析快速设置节点依赖，也可手动设置节点的依赖关系。当节点为业务流程根节点，或该节点无其他节点依赖时，...
C3P0 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 C3P0 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 c3p0-mysql-jdbc 示例工程 前提条件 您已安装 OceanBase 数据库...
运行并管理手动任务
说明 列表模式下会运行整个手动业务流程（存在依赖关系的会按照依赖关系从上到下运行，不存在依赖关系的节点将同时运行）。查看实例 单击操作栏中的 查看实例，即可跳转至 手动实例 页面，查看手动业务流程的运行结果。详情请参见：查看并...
拓扑图
节点指标配置 完成通用配置后，日志服务将生成拓扑图，但仅展示各个节点的依赖关系，无指标数据。此时您可以通过节点指标配置，在拓扑图中添加节点指标信息。指标数据样例如下图所示。其中，node 字段表示节点，对应拓扑数据中的 child、...
- 产品推荐
- 这些文档可能帮助您