“通过Hologres+Flink构建百亿级广告实时数仓，满足高性能写入、极速复杂查询、高可用隔离等需求，在让用户行为分析实现秒级响应，快速响应业务需求。”
--小迈科技数仓工程师 李云
通过Hologres+Flink，小迈科技搭建高可用的实时数仓，实现业务增长赋能。
客户介绍
小迈科技成立于 2015 年 1 月，是一家致力以数字化领先为优势，实现业务高质量自增长的移动互联网科技公司。始终坚持以用户价值为中心，以数据为驱动，为用户开发丰富的工具应用 、休闲游戏 、益智 、运动等系列的移动应用 。以成为全球领先开发者增长服务平台为愿景及使命，小迈希望通过标准化的产品和服务赋能，为开发者提供全链路解决方案，以技术+服务全方位保驾护航，助燃产品持续增长，帮助工具和休闲游戏的开发者提升产品的成功率。 小迈科技累计开发 400 余款产品，累计用户下载安装量破七亿 ，日活500-1000w，数据量每天 100 亿+。围绕高质量APP、用户增长和商业化变现，公司通过大数据技术相继搭建了商业化变现、智能推广、财务管理等10+应用系统。
业务挑战
小迈科技用户量指数级增长，业务团队对数据实时化、精细化的要求提升，大数据系统开始备受挑战，如何更好的通过数仓建设为业务增长赋能成为重要突破点。
阿里云的解决方案
引入Hologres+Flink，实现流批一体实时数仓
小迈科技引入离线数仓后，基本满足了整个公司各个角色的分析决策，但是也会频繁发生数据产出变慢，经常卡死，严重影响业务决策，经常被业务部门投诉，影响极其不好。为了更好的解决业务诉求，小迈科技在原有离线数仓的基础上引入了阿里云的Hologres和Flink，并由Hologres替换某DB，搭建了流批一体的实时数仓。主要数据链路如下：1. 日志数据和业务数据Kafka通过DataWorks实时同步写入MaxCompute，实时落地ODS层；对于数据时效性要求较要的业务，直接写入Flink，Flink里面进行实时ETL处理，然后写入Hologres。2. 三方数据则是通过DataWorks离线同步至MaxCompute，在MaxCompute中进行数仓分层（ODS、DWD、DWS、ADS）建设，并将处理好的数据直接写入Hologres。3. 由Hologres存储实时和离线数据，并直接对接上层应用，承载业务系统的多种查询要求，实现流批一体的实时数仓。
业务价值
通过Hologres+Flink+MaxCompute搭建的流批一体实时数仓平台，支撑了小迈多个应用场场景，包括监控大盘，DMP人群等智能投放，财务分析等。显著的业务收益有： 1. 上层服务共享数据 数据共享之后就由平台统一对外输出服务，各个业务线无需自行重复开发，就能快速得到平台提供的数据支撑，减少了数据孤岛。 2. 亿级复杂查询秒级响应 通过Hologres自身的优秀查询性能，再配合建表和SQL的优化手段，大大提高了报表的响应速度，即使是用户画像、行为分析等亿级大表复杂关联查询也能很快出结果，得到了业务的认可。 3. 系统读写分离稳定性强 通过Hologres共享存储实例部署的方式，让业务实现了读写分离，同时也只用了一份存储，既保证了系统的稳定性，同时也不会带来额外的成本压力。