如何将Apache Hudi应用于机器学习

如何将Apache Hudi应用于机器学习

1. 引入 如果要将AI嵌入到企业计算系统中,企业必须重新调整其机器学习(ML)开发流程以使得数据工程师、数据科学家和ML工程师可以在管道中自动化开发,集成,测试和部署。本博客介绍了与机器学习平台进行持续集成(CI),持续交付(CD)和持续培训(CT)的平台和方法,并详细介绍了如何通过特征存储(Fe...

Apache Hudi与机器学习特征存储

Apache Hudi与机器学习特征存储

1. 在线和离线特征 如果在训练和推理系统中特征工程代码不相同,则存在代码不一致的风险,因此,预测可能不可靠,因为特征可能不相同。一种解决方案是让特征工程作业将特征据写入在线和离线数据库。训练和推理应用程序在做出预测时都需要读取特征-在线应用可能需要低延迟(实时)访问该特征数据,另一种解决方案是使用...

Apache Hudi在Hopsworks机器学习的应用

Apache Hudi在Hopsworks机器学习的应用

Hopsworks特征存储库统一了在线和批处理应用程序的特征访问而屏蔽了双数据库系统的复杂性。我们构建了一个可靠且高性能的服务,以将特征物化到在线特征存储库,不仅仅保证低延迟访问,而且还保证在服务时间可以访问最新鲜的特征值。 ...

《Apache Flink 案例集(2022版)》——3.机器学习——Bilibili-Flink  在 B 站的多元化探索与实践(1)

《Apache Flink 案例集(2022版)》——3.机器学习——Bilibili-Flink 在 B 站的多元化探索与实践(1)

作者:张杨 用户背景 哔哩哔哩是中国年轻一代的标志性品牌及领先的视频社区。网站创立于2009年6月,并于2010年1月正式命名为“哔哩哔哩”,提供全方位的视频内容以满足用户多元化的兴趣喜好,并且围绕着有文化追求的用户、高质量的内容、有才华的内容创作者以及他们之间的强大情感纽带,构...

《Apache Flink 案例集(2022版)》——3.机器学习——Bilibili-Flink  在 B 站的多元化探索与实践(2)

《Apache Flink 案例集(2022版)》——3.机器学习——Bilibili-Flink 在 B 站的多元化探索与实践(2)

《Apache Flink 案例集(2022版)》——3.机器学习——Bilibili-Flink  在 B 站的多元化探索与实践(1) https://developer.aliyun.com/article/12282312.增量化B站的增量化方案由Flink+Hudi构成,架构如上图...

《Apache Flink 案例集(2022版)》——3.机器学习——Bilibili-Flink  在 B 站的多元化探索与实践(3)

《Apache Flink 案例集(2022版)》——3.机器学习——Bilibili-Flink 在 B 站的多元化探索与实践(3)

《Apache Flink 案例集(2022版)》——3.机器学习——Bilibili-Flink  在 B 站的多元化探索与实践(2) https://developer.aliyun.com/article/12282293. AI on Flink 传统的机器学习链路里数据...

《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink  在 众安保险金融业务的应用(1)

《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(1)

作者:郭育波 用户背景 众安在线财产保险股份有限公司(以下简称“众安”)是中国首家互联网保险公司,众安总部位于上海,不设任何分支机构,完全通过互联网展业。由“保险+科技”双引擎驱动,众安专注于应用新技术重塑保险价值链,围绕健康、数字生活、消费金融、汽车四大生态,以...

《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink  在 众安保险金融业务的应用(2)

《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(2)

《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink  在 众安保险金融业务的应用(1) https://developer.aliyun.com/article/1228201应用场景1. 智能营销 营销平台的最下层是数据源层,包括金融业务...

《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink  在 众安保险金融业务的应用(3)

《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(3)

《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink  在 众安保险金融业务的应用(2) https://developer.aliyun.com/article/12282002. 实时特征  特征工程主要服务于金融风控场景,比如决策引擎、...

《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink  在 众安保险金融业务的应用(4)

《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(4)

《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink  在 众安保险金融业务的应用(3) https://developer.aliyun.com/article/12281983. 反欺诈 上图是实时反欺诈特征应用的数据流图,它和金融实时特...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

相关电子书
更多
大规模机器学习在蚂蚁+阿里的应用
基于Spark的面向十亿级别特征的 大规模机器学习
基于Spark的大规模机器学习在微博的应用
立即下载 立即下载 立即下载