Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理（一篇即可学会在日常工作中使用Sqoop）
1.环境说明 # 不必要信息不再贴出 # JDK [root@tcloud ~]# java -version java version "1.8.0_251" # MySQL [root@tcloud ~]# mysql -V mysql Ver 14.14 Distrib 5.7.28 # Ha...
Presto【实践 01】Presto查询性能优化（数据存储+SQL优化+无缝替换Hive表+注意事项）及9个实践问题分享
1.优化1.1 数据存储合理设置分区：与Hive类似，Presto 会根据元信息读取分区数据，合理的分区能减少 Presto 数据读取量，提升查询性能。使用列式存储：Presto 对 ORC 文件读取做了特定优化，因此在 Hive 中创建 Presto 使用的表时，建议采用 ORC 格式存储。相对于...
架构设计100-实践03-用Docker搭建Hive
架构设计系列文章，请参见连接。背景因为现在很多云都使用PAAS的方式提供大数据存储与计算的功能。作者就在思考他们是怎样实现的，并且提供出动态部署能力的大数据存储与计算过程的。所以，使用Docker进行Hadoop环境的搭建。并且为之后的K8s环境搭建提供一种思路。在环境构建与使用的过程可以分为几个阶...
Atlas 2.1.0 实践（3）—— Atlas集成HIve
Atlas集成Hive在安装好Atlas以后，如果想要使用起来，还要让Atlas与其他组件建立联系。其中最常用的就是Hive。通过Atlas的架构，只要配置好Hive Hook ，那么每次Hive做任何操作就会写入Kafka从而被atlas接收。并在Atlas中已图的形式展示出来。Hive Mode...
【大数据基础实践】(六)数据仓库Hive的基本操作
目录1. 数据仓库概念2. Hive简介2.1 简介2.2 特性2.3 生态系统3. Hive系统架构4. HQL转成MapReduce作业的原理4.1 join的实现原理4.2 group by的实现原理5. 实验练习5.1 环境配置5.1.1 HIVE5.1.2 MYSQL5.1.3 配置MyS...
OSS数据湖实践——EMR + Hive + OSS案例
Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析和管理；本文通过一个简单的示例来展现如何结合OSS+EMR+Hive来分析OSS上的数据。 前提条件 • 已注册阿里云账号，详情请参见注册云账号。• 已开通E-MapReduce服务和OSS服务。• 已完成云...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
