查询时间降低60%!Apache Hudi数据布局黑科技了解下

查询时间降低60%!Apache Hudi数据布局黑科技了解下

1. 背景 Apache Hudi将流处理带到大数据,相比传统批处理效率高一个数量级,提供了更新鲜的数据。在数据湖/仓库中,需要在摄取速度和查询性能之间进行权衡,数据摄取通常更喜欢小文件以改善并行性并使数据尽快可用于查询,但很多小文件会导致查询性能下降。在摄取过程中通常会根据时间在同一位置放置数据,...

带你读《Apache Doris 案例集》——07查询平均提速700% ,奇安信基于 Apache   Doris 升级日志安全分析系统(1)

带你读《Apache Doris 案例集》——07查询平均提速700% ,奇安信基于 Apache Doris 升级日志安全分析系统(1)

作者:奇安信服务端技术专家,舒鹏  导读: 数智时代的到来使网络安全成为了不可忽视的重要领域。奇安信作为一家领先的网络安全解决方案领军者,致力于为企业提供先进全面的网络安全保护,其日志分析系统在网络安全中发挥着关键作用,通过对运行日志数据的深入分析,能够对漏洞和异常行为生成关键 ...

Apache RocketMQ:如何从互联网时代演进到云

1 课时 |
154 人已学 |
免费

Apache Flink 入门到实战 - Flink开源社区出品

16 课时 |
1392 人已学 |
免费

Apache Flink 入门

9 课时 |
4826 人已学 |
免费
开发者课程背景图
带你读《Apache Doris 案例集》——07查询平均提速700% ,奇安信基于 Apache   Doris 升级日志安全分析系统(2)

带你读《Apache Doris 案例集》——07查询平均提速700% ,奇安信基于 Apache Doris 升级日志安全分析系统(2)

更多精彩内容,欢迎观看:带你读《Apache Doris 案例集》——07查询平均提速700% ,奇安信基于 Apache   Doris 升级日志安全分析系统(1):https://developer.aliyun.com/article/1405710存储成本降低近40% 在...

带你读《Apache Doris 案例集》——08秒级数据写入,毫秒查询响应,天眼查基于 Apache   Doris 构建统一实时数仓(1)

带你读《Apache Doris 案例集》——08秒级数据写入,毫秒查询响应,天眼查基于 Apache Doris 构建统一实时数仓(1)

作者:天眼查实时计算负责人,王涛 导读: 随着天眼查近年来对产品的持续深耕和迭代,用户数量也在不断攀升,业务的突破更加依赖于数据赋能,精细化的用户/客户运营也成为提升体验、促进消费的重要动力。在这样的背景下正式引入Apache Doris对数仓架构进行升级改造,实现了数据门户的统一,大大缩...

带你读《Apache Doris 案例集》——08秒级数据写入,毫秒查询响应,天眼查基于 Apache   Doris 构建统一实时数仓(2)

带你读《Apache Doris 案例集》——08秒级数据写入,毫秒查询响应,天眼查基于 Apache Doris 构建统一实时数仓(2)

更多精彩内容,欢迎观看:带你读《Apache Doris 案例集》——08秒级数据写入,毫秒查询响应  天眼查基于 Apache   Doris 构建统一实时数仓(1):https://developer.aliyun.com/article/1405690新数仓架构 ...

某工商信息商业查询平台基于阿里云数据库 SelectDB 版内核 Apache Doris 的湖仓一体建设实践

某工商信息商业查询平台基于阿里云数据库 SelectDB 版内核 Apache Doris 的湖仓一体建设实践

2023 年 3 月,在阿里云瑶池数据库峰会上,阿里云与飞轮科技正式达成战略合作协议,双方旨在共同研发名为“阿里云数据库 SelectDB 版”的新一代实时数据仓库,为用户提供在阿里云上的全托管服务。 SelectDB 是飞轮科技基于 Apache Doris 内核打造的聚焦于企业大数据实时分析需求...

查询平均提速 700%,奇安信基于 Apache Doris 升级日志安全分析系统

查询平均提速 700%,奇安信基于 Apache Doris 升级日志安全分析系统

本文导读: 数智时代的到来使网络安全成为了不可忽视的重要领域。奇安信作为一家领先的网络安全解决方案领军者,致力于为企业提供先进全面的网络安全保护,其日志分析系统在网络安全中发挥着关键作用,通过对运行日志数据的深入分析,能够对漏洞和异常行为生成关键见解,帮助企业建立有效的防御策略。本文将深入探讨奇安信...

查询性能提升3倍!Apache Hudi 查询优化了解下?

查询性能提升3倍!Apache Hudi 查询优化了解下?

1. 背景Amazon EMR 团队最近发表了一篇很不错的文章展示了对数据进行聚簇是如何提高查询性能的,为了更好地了解发生了什么以及它与空间填充曲线的关系,让我们仔细研究该文章的设置。文章中比较了 2 个 Apache Hudi 表(均来自 Amazon Reviews 数据集):未聚簇的 amaz...

官宣!AWS Athena正式可查询Apache Hudi数据集

1. 引入Apache Hudi是一个开源的增量数据处理框架,提供了行级insert、update、upsert、delete的细粒度处理能力(Upsert表示如果数据集中存在记录就更新;否则插入)。Hudi处理数据插入和更新,不会创建太多的小文件(小文件会导致查询端性能降低),Apache Hud...

PHP MySQL查询中的MySQL / Apache错误

我收到以下错误: 用户'apache'@'localhost'的访问被拒绝(使用密码:否) 使用以下代码时: Delete Story"; if (mysql_num_rows($result) > 0) { while($row = mysql_fetch_row($result)){ ec...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

Apache Spark 中国技术社区
Apache Spark 中国技术社区
阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!
4459+人已加入
加入
相关电子书
更多
Apache Doris 精选用户案例集
Apache RocketMQ 云原生统一消息引擎
Apache Tomcat 的云原生演进
立即下载 立即下载 立即下载
相关镜像