共计 1373 个字符,预计需要花费 4 分钟才能阅读完成。
本篇内容主要讲解“spark sql 和 hbase 怎么结合”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让丸趣 TV 小编来带大家学习“spark sql 和 hbase 怎么结合”吧!
Q1:spark 怎样支持即席,应该不是 spark sql 吧,是 hive on spark 么?
Spark1.0 以前支持即席查询的技术是 Shark;
Spark 1.0 和 Spark 1.0.1 支持的即席查询技术是 Spark SQL;
尚未发布的 Spark 1.1 开始 Spark SQL 是即席查询的核心,我们期待 Hive on Spark 也能够支持即席查询;
Q2: 现在 spark 1.0.0 版本是支持 hive on spark 么,它支持 cli 交互式访问么?
Spark1.0.0 不支持 hive on spark;
hive on spark 这个项目正在开发中,预计在 Spark 1.1 版本的时候发布;
Spark 1.0.0 现在还不直接支持 cli 访问;
Q3:spark sql 和 hbase 怎么结合呢?
Spark sql 和 hbase 即可要借助于 Spark core 的 RDD 功能;
使用 hbase 的时候需要导入 hbase 在 Spark 上的包
Spark 1.0.0 现在还不直接支持 cli 访问;
Q4:sparkSql 支持 sql 全吗?老师 可以把现在的 PLSQL 直接转换为 SPARKSQL 么?
Spark sql 现在支持 SQL-92 的基本功能,后续版本不会不断增强;
PLSQL 现在还不能够直接转为 Spark SQL;
想要更强的 SQL 支持,在 Spark1.0.0 和 Spark1.0.1 版本可以考虑 Hive in Spark SQL 的功能;
Q5: 如果支持 hive on spark, 那么什么时候用 spark sql,什么时候用 hive on spark?
Hive on spark 预计在 Spark 1.1 这个版本发布,核心功能是要在 Spark 上使用已有的 Hive 的一切数据和功能;
和 hive 不相关都可以使用 Spark SQL;
从理论上讲随着 Spark SQL 在未来版本的不断增强,可以做 hive 的一切事情;
Q6:Spark SQL 可以使用 group by 吗?
Spark SQL 可以使用 group by 的功能;
在 SchemaRDD 中有 group by 的支持;
groupBy(groupingExprs: Expression*)(aggregateExprs: Expression*): SchemaRDD
Performs a grouping followed by an aggregation.
Q7:spark sql 现在支持 sql 的那些操作 一直在官网上没能找到相应的 document?
Spark SQL API 的官方 Document 网址
http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.SchemaRDD;
Spark SQL 使用的官方网址
http://spark.apache.org/docs/latest/sql-programming-guide.html
到此,相信大家对“spark sql 和 hbase 怎么结合”有了更深的了解,不妨来实际操作一番吧!这里是丸趣 TV 网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!