成千上万的数据开发任务,质量如何保障?
企业数据上云,如何快速集成本地数据源?
如何快速搭建企业自己的
数据中台?
十大场景,满足您日常线上数据开发、运维需求
为您的数据中台保驾护航
场景一:资源优化帮您节省计算、存储费用
场景描述:
难以发现造成计算、存储资源浪费的行为,导致费用增加。
“资源优化”从数据存储、计算、采集3个领域进行扫描,帮您扫描出可以优化的表和节点,从而合理、高效地运行DataWorks上的任务。如:
数据倾斜SQL任务
SQL暴力扫描
近90天未访问的表
存储量为0的表
被多个任务同时写入的表(可能导致非合预期结果)
场景二:移动版DataWorks-被窝里轻松搞定任务运维
场景描述:
非工作时间或者旅途中接到任务报警电话,需要立刻处理
,但是电脑不在身边怎么办?
使用移动版DataWorks,手机上快速处理报警,轻松搞定任务运维:
支持阿里云App/ 钉钉/手机浏览器登录,DataWorks触手可及
产品版本信息一目了然,高效进行版本管理
报警短信直达DataWorks,被窝里轻松搞定任务运维
更清晰的甘特图,横屏竖屏切换自如
查看日志一键到底,再也不用做没有感情的翻页机器
场景三:运行诊断为您快速定位疑难问题
场景描述
在任务运维的过程中,您是否遇到过这些问题:为什么任务到了
定时时间还不运行?任务怎么一直在等待资源?
DQC规则校验不通过?任务为什么运行失败?......
DataWorks运维中心为您提供运行诊断功能,帮助您掌握任务运行的全链路信息,以迅速定位问题:
展示资源组使用情况,调整任务错峰运行
展示上游节点运行情况,迅速定位阻塞节点
通过日志聚类锁定错误原因,提供诊断建议
与引擎运维打通,一条龙追踪问题根因
展示历史实例运行情况,方便用户纵向对比
场景四:智能监控提高生产力,一种优雅的告警处理方式
场景描述:
任务工作流节点多,每个任务监控规则多,每个监控规则变化多,
人肉维护就像网络工程师理网线,恨不得一刀剪干净。
场景五:字段级数据血缘,快速定位脏数据源头
场景描述:
每日报表中,某交易数字字段产生异常值(过高/过低/空值/重复值),
需要寻找脏数据源头。
解决方案:
数据时代,数据的联姻融合、转换变换、流转流通形成了数据的血缘关系,构成虚拟的数字实体。
在如此复杂的关系中,通过DataWorks数据血缘功能,能够查看到表与表,字段与字段之间的血缘关系,帮助您快速找到“病灶”,解决“病根”,消除“病痛”。
场景六:多种控制节点满足复杂业务场景逻辑
场景描述:
企业的数据开发流程不是一条直线,拥有许多树状分支,很多业务场景涉及
到各类复杂的分支、归并、循环、遍历逻辑,例如每月最后一日需要产出
月报数据,但是每月最后一日并不固定,需要进行逻辑判断再做传参。
场景七:数据保护伞建立数据安全的上帝视角
场景描述:
除了基本的数据权限控制,拥有数据权限的员工也不能随意地使用企业的
数据,管理者需要以上帝的全知视角了解企业敏感数据的使用情况,
及时控制数据安全风险的发生。
解决方案:
DataWorks数据保护伞支持用户按照project名、表名、列名自定义配置敏感数据识别规则,并提供数据审计功能,管理者可以非常清楚地知道谁-在什么时候-以什么形式-访问什么数据,让所有数据行为无所遁形。
场景八:实时流计算开发极大降低新技术使用门槛
场景描述:
Apache Flink作为下一代开源大数据开发引擎,在阿里巴巴内部支撑2019年
双11世界级流量洪峰,峰值流量处理3.64TB/秒,用于实时数仓、实时报表
、实时推荐、实时风控等场景,新引擎也对企业的技术力提出了新的挑战。
解决方案:
目前Flink已经在阿里云上开放基于K8S的云原生版本,同时搭配DataWorks标准版中的StreamStudio功能,无需编写SQL,支持调度依赖配置与调参,极大提高实时计算开发效率。
场景九:高效、稳定、安全的SQL代码复用
场景描述:
同一SQL代码块需要给他人重复利用,传统的手动复制粘贴效率太低且容易
误操作,如何摆脱CV工程师的命运?
其他专业版增值功能
这些DataWorks专业版的增值功能,可以帮助您更好地开发、治理您的数据系统
增值功能:
您可以新增自定义资源组运行数据同步任务,解决DataWorks公共资源组与您的数据源不通的问题,实现更高速的传输。
电话告警-让报警极速触达。
过滤器函数-让您更加灵活地使用API功能。
自定义内容扫描(数据识别规则)、风险识别大盘(数据访问)、动态脱敏(数据脱敏管理)。