DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎,为客户提供专业高效、安全可靠的一站式大数据开发与治理平台,自带阿里巴巴数据中台与数据治理最佳实践,赋能各行业数字化转型。每天阿里巴巴集团内部有数万名数据/算法工程师正在使用DataWorks,承担集团99%数据业务构建。资源优化、移动版DataWorks、运行诊断、EMR开发治理、智能监控、数据血缘、多种控制节点、数据保护伞、实时流计算开发、SQL代码复用 丰富的功能工具加速数据中台搭建,提升数据运维体验!(原价5000元,首月特惠仅需199元!)。成千上万的数据开发任务,质量如何保障?企业数据上云,如何快速集成本地数据源?如何快速搭建企业自己的数据中台?DataWorks十大场景,满足您日常线上数据开发、运维需求为您的数据中台保驾护航。场景一:资源优化帮您节省计算、存储费用。“资源优化”从数据存储、计算、采集3个领域进行扫描,帮您扫描出可以优化的表和节点,从而合理、高效地运行DataWorks上的任务。场景二:移动版DataWorks-被窝里轻松搞定任务运维,非工作时间或者旅途中接到任务报警电话,需要立刻处理,但是电脑不在身边怎么办?使用移动版DataWorks,手机上快速处理报警,轻松搞定任务运维。场景三:运行诊断为您快速定位疑难问题,在任务运维的过程中,您是否遇到过这些问题:为什么任务到了定时时间还不运行?任务怎么一直在等待资源?DQC规则校验不通过?任务为什么运行失败?DataWorks运维中心为您提供运行诊断功能,帮助您掌握任务运行的全链路信息,以迅速定位问题。场景四:智能监控提高生产力,一种优雅的告警处理方式,任务工作流节点多,每个任务监控规则多,每个监控规则变化多,人肉维护就像网络工程师理网线,恨不得一刀剪干净。在DataWorks专业版里,您只需要找到“网线的两端”,系统将根据历史任务的运行情况,自动为您梳理中间的任务进程,智能决策是否报警、何时报警、如何报警以及给谁报警。场景五:字段级数据血缘,快速定位脏数据源头,数据时代,数据的联姻融合、转换变换、流转流通形成了数据的血缘关系,构成虚拟的数字实体,在如此复杂的关系中,通过DataWorks数据血缘功能,能够查看到表与表,字段与字段之间的血缘关系,帮助您快速找到“病灶”,解决“病根”,消除“病痛”。场景六:多种控制节点满足复杂业务场景逻辑,企业的数据开发流程不是一条直线,拥有许多树状分支,很多业务场景涉及到各类复杂的分支、归并、循环、遍历逻辑,例如每月最后一日需要产出月报数据,但是每月最后一日并不固定,需要进行逻辑判断再做传参。场景七:数据保护伞建立数据安全的上帝视角,DataWorks数据保护伞支持用户按照project名、表名、列名自定义配置敏感数据识别规则,并提供数据审计功能,管理者可以非常清楚地知道谁-在什么时候-以什么形式-访问什么数据,让所有数据行为无所遁形。场景八:实时流计算开发极大降低新技术使用门槛,目前Flink已经在阿里云上开放基于K8S的云原生版本,同时搭配DataWorks标准版中的StreamStudio功能,无需编写SQL,支持调度依赖配置与调参,极大提高实时计算开发效率。场景九:高效、稳定、安全的SQL代码复用,同一SQL代码块需要给他人重复利用,传统的手动复制粘贴效率太低且容易误操作,如何摆脱CV工程师的命运?使用标准版中SQL代码块功能,以模块化形式进行高效、稳定、安全的SQL代码复用!

成千上万的数据开发任务,质量如何保障?

企业数据上云,如何快速集成本地数据源?

如何快速搭建企业自己的
数据中台?

十大场景,满足您日常线上数据开发、运维需求
为您的数据中台保驾护航

场景一:资源优化帮您节省计算、存储费用

场景描述:

难以发现造成计算、存储资源浪费的行为,导致费用增加。

“资源优化”从数据存储、计算、采集3个领域进行扫描,帮您扫描出可以优化的表和节点,从而合理、高效地运行DataWorks上的任务。如:

数据倾斜SQL任务

SQL暴力扫描

近90天未访问的表

存储量为0的表

被多个任务同时写入的表(可能导致非合预期结果)

参考资料 >>

场景二:移动版DataWorks-被窝里轻松搞定任务运维

场景描述:

非工作时间或者旅途中接到任务报警电话,需要立刻处理

,但是电脑不在身边怎么办?

使用移动版DataWorks,手机上快速处理报警,轻松搞定任务运维:

支持阿里云App/ 钉钉/手机浏览器登录,DataWorks触手可及

产品版本信息一目了然,高效进行版本管理

报警短信直达DataWorks,被窝里轻松搞定任务运维

更清晰的甘特图,横屏竖屏切换自如

查看日志一键到底,再也不用做没有感情的翻页机器

参考资料 >>

场景三:运行诊断为您快速定位疑难问题

场景描述

在任务运维的过程中,您是否遇到过这些问题:为什么任务到了

定时时间还不运行?任务怎么一直在等待资源?

DQC规则校验不通过?任务为什么运行失败?......

DataWorks运维中心为您提供运行诊断功能,帮助您掌握任务运行的全链路信息,以迅速定位问题:

展示资源组使用情况,调整任务错峰运行

展示上游节点运行情况,迅速定位阻塞节点

通过日志聚类锁定错误原因,提供诊断建议

与引擎运维打通,一条龙追踪问题根因

展示历史实例运行情况,方便用户纵向对比

参考资料 >>

场景四:智能监控提高生产力,一种优雅的告警处理方式

场景描述:

任务工作流节点多,每个任务监控规则多,每个监控规则变化多,

人肉维护就像网络工程师理网线,恨不得一刀剪干净。

解决方案:

在DataWorks专业版里,您只需要找到“网线的两端”,系统将根据历史任务的运行情况,自动为您梳理中间的任务进程,智能决策是否报警、何时报警、如何报警以及给谁报警。

参考资料 >>

场景五:字段级数据血缘,快速定位脏数据源头

场景描述:

每日报表中,某交易数字字段产生异常值(过高/过低/空值/重复值),

需要寻找脏数据源头。

解决方案:

数据时代,数据的联姻融合、转换变换、流转流通形成了数据的血缘关系,构成虚拟的数字实体。

在如此复杂的关系中,通过DataWorks数据血缘功能,能够查看到表与表,字段与字段之间的血缘关系,帮助您快速找到“病灶”,解决“病根”,消除“病痛”。

参考资料 >>

场景六:多种控制节点满足复杂业务场景逻辑

场景描述:

企业的数据开发流程不是一条直线,拥有许多树状分支,很多业务场景涉及

到各类复杂的分支、归并、循环、遍历逻辑,例如每月最后一日需要产出

月报数据,但是每月最后一日并不固定,需要进行逻辑判断再做传参。

解决方案:

多种控制节点让您以拖拽的形式构建复杂业务的数据开发流程,任务流一目了然。

参考资料 >>

场景七:数据保护伞建立数据安全的上帝视角

场景描述:

除了基本的数据权限控制,拥有数据权限的员工也不能随意地使用企业的

数据,管理者需要以上帝的全知视角了解企业敏感数据的使用情况,

及时控制数据安全风险的发生。

解决方案:

DataWorks数据保护伞支持用户按照project名、表名、列名自定义配置敏感数据识别规则,并提供数据审计功能,管理者可以非常清楚地知道谁-在什么时候-以什么形式-访问什么数据,让所有数据行为无所遁形。

参考资料 >>

场景八:实时流计算开发极大降低新技术使用门槛

场景描述:

Apache Flink作为下一代开源大数据开发引擎,在阿里巴巴内部支撑2019年

双11世界级流量洪峰,峰值流量处理3.64TB/秒,用于实时数仓、实时报表

、实时推荐、实时风控等场景,新引擎也对企业的技术力提出了新的挑战。

解决方案:

目前Flink已经在阿里云上开放基于K8S的云原生版本,同时搭配DataWorks标准版中的StreamStudio功能,无需编写SQL,支持调度依赖配置与调参,极大提高实时计算开发效率。

参考资料 >>

场景九:高效、稳定、安全的SQL代码复用

场景描述:

同一SQL代码块需要给他人重复利用,传统的手动复制粘贴效率太低且容易

误操作,如何摆脱CV工程师的命运?

解决方案:

使用标准版中SQL代码块功能,以模块化形式进行高效、稳定、安全的SQL代码复用!

参考资料 >>

其他专业版增值功能

这些DataWorks专业版的增值功能,可以帮助您更好地开发、治理您的数据系统

增值功能:

您可以新增自定义资源组运行数据同步任务,解决DataWorks公共资源组与您的数据源不通的问题,实现更高速的传输。

电话告警-让报警极速触达。

过滤器函数-让您更加灵活地使用API功能。

自定义内容扫描(数据识别规则)、风险识别大盘(数据访问)、动态脱敏(数据脱敏管理)。

增值版本功能对比 >>