Zeppelin 使用Spark sql 执行show databases 只显示default 数据库, 查询不到hive数据库
版本HDP3.0 Spark2.0 ,感觉Spark 数据存储和Hive数据存储不是同一个地方, 也尝试过讲hive/conf/hive-site.xml复制到spark2/conf/ 以及 zeepelin/conf/ 并重启服务,还是查询不到hive下面的数据库
如何为Spark SQL设置元数据数据库？
Hive可以拥有其元数据并在那里存储表，列，分区信息。如果我不想使用hive.Can我们创建一个与hive相同的spark元数据。我想查询spark SQL（不使用数据帧），如Hive（select，from和where）我们可以这样做吗？如果是，我们可以将哪个关系数据库用于元数据存储？
如何在spark-jdbc应用程序中提供表名来读取RDBMS数据库中的数据？
我正在尝试使用spark读取greenplum数据库中的表格，如下所示： val execQuery = s"select ${allColumns}, 0 as ${flagCol} from schema.table where period_year=2017 and period_num=1...
使用Apache Spark时如何处理数据库的背压？
我们使用Apache Spark每2个小时执行一次ETL。有时，Spark在执行读/写操作时会对数据库施加很大压力。对于Spark Streaming，我可以backpressure在kafka上看到配置。有没有办法在批处理中处理这个问题？
【Spark Summit East 2017】使用Spark横向扩展关系型数据库
更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自Cody Koeninger在Spark ...
【Spark Summit EU 2016】Spark与Couchbase——使用Spark扩展数据库操作
更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自Michael Nitschinger在S...
Spark jdbc postgresql数据库连接和写入操作源码解读
概述：Spark postgresql jdbc 数据库连接和写入操作源码解读，详细记录了SparkSQL对数据库的操作，通过java程序，在本地开发和运行。整体为，Spark建立数据库连接，读取数据，将DataFrame数据写入另一个数据库表中。附带完整项目源码(完整项目源码github)。 1....
利用Spark解析Tomcat日志，并将统计结果存入Mysql数据库
本文试图实现的需求场景为：以学习Spark知识点为目的，编写Scala利用Spark解析800M的tomcat日志文件，打印一段时间内ERROR级别记录的前10行，统计每分钟的日志记录数，并将统计结果存入mysql数据库中。之前曾用JAVA写过一次同样的处理逻辑，但在学习了Scala之后，真的感觉在...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
最佳实践
