DataWorks中我有个场景是上游不时会手动刷数据,但下游业务并不知道数据什么时候变更,有办法对?

问题1:DataWorks中我有个场景是上游不时会手动刷数据,但下游业务并不知道数据什么时候变更,有办法对这种上游变更做监控不? 问题2:对 因为对接的上游会经常手动调账,通过API呢?监控补数据实例的运行时间做钉钉消息推送行不行

dataworks数据集成在进行抽数之前,需要先检查上游数据是否到达,这个怎么解决呢?

dataworks数据集成在进行抽数之前,需要先检查上游数据是否到达,这个怎么解决呢?

一站式大数据开发治理平台DataWorks初级课程

11 课时 |
399 人已学 |
免费

DataWorks 使用教程

9 课时 |
1112 人已学 |
免费

DataWorks一站式大数据开发治理平台精品课程

35 课时 |
7394 人已学 |
免费
开发者课程背景图
DataWorks百问百答30:如何实现判断上游表有产出分区再同步数据?

DataWorks百问百答30:如何实现判断上游表有产出分区再同步数据?

场景: 上游表并非每天都有产出,不定期,希望有产出就同步一下,没有就不同步,不阻塞任务。如果直接配上下游的任务依赖,在没有产出分区的时候会报找不到分区的错。 实现: 赋值+分支节点实现,归并节点后可继续下游的其他任务。 ** 赋值节点: get_dt获取最新分区 SELECT distinct dt...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

DataWorks
DataWorks
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。
2700+人已加入
加入
相关电子书
更多
大模型驱动DataWorks数据开发治理平台智能化升级
重磅发布—DataWorks全链路数据治理系列新品
数加平台-DataWorks阿里下一代智能数据工场
立即下载 立即下载 立即下载
相关实验场景
更多

大数据开发治理平台 DataWorks数据相关内容

大数据开发治理平台 DataWorks更多数据相关