spark sql和hbase怎么结合

68次阅读
没有评论

共计 1373 个字符,预计需要花费 4 分钟才能阅读完成。

本篇内容主要讲解“spark sql 和 hbase 怎么结合”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让丸趣 TV 小编来带大家学习“spark sql 和 hbase 怎么结合”吧!

Q1:spark 怎样支持即席,应该不是 spark sql 吧,是 hive on spark 么?

Spark1.0 以前支持即席查询的技术是 Shark;

Spark 1.0 和 Spark 1.0.1 支持的即席查询技术是 Spark SQL;

尚未发布的 Spark 1.1 开始 Spark SQL 是即席查询的核心,我们期待 Hive on Spark 也能够支持即席查询;

Q2: 现在 spark 1.0.0 版本是支持 hive on spark 么,它支持 cli 交互式访问么?

Spark1.0.0 不支持 hive on spark;

hive on spark 这个项目正在开发中,预计在 Spark 1.1 版本的时候发布;

Spark 1.0.0 现在还不直接支持 cli 访问;

Q3:spark sql 和 hbase 怎么结合呢?

Spark sql 和 hbase 即可要借助于 Spark core 的 RDD 功能;

使用 hbase 的时候需要导入 hbase 在 Spark 上的包

Spark 1.0.0 现在还不直接支持 cli 访问;

Q4:sparkSql 支持 sql 全吗?老师   可以把现在的 PLSQL  直接转换为  SPARKSQL 么? 

Spark sql 现在支持 SQL-92 的基本功能,后续版本不会不断增强;

PLSQL  现在还不能够直接转为 Spark SQL;

想要更强的 SQL 支持,在 Spark1.0.0 和 Spark1.0.1 版本可以考虑 Hive in Spark SQL 的功能;

Q5: 如果支持 hive on spark, 那么什么时候用 spark sql,什么时候用 hive on spark?

Hive on spark 预计在 Spark 1.1 这个版本发布,核心功能是要在 Spark 上使用已有的 Hive 的一切数据和功能;

和 hive 不相关都可以使用 Spark SQL;

从理论上讲随着 Spark SQL 在未来版本的不断增强,可以做 hive 的一切事情;

Q6:Spark SQL 可以使用 group by  吗?

Spark SQL 可以使用 group by 的功能;

在 SchemaRDD 中有 group by 的支持;

groupBy(groupingExprs: Expression*)(aggregateExprs: Expression*): SchemaRDD

Performs a grouping followed by an aggregation.

Q7:spark sql  现在支持 sql 的那些操作   一直在官网上没能找到相应的 document?

Spark SQL API 的官方 Document 网址

http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.SchemaRDD;

Spark SQL 使用的官方网址

http://spark.apache.org/docs/latest/sql-programming-guide.html

到此,相信大家对“spark sql 和 hbase 怎么结合”有了更深的了解,不妨来实际操作一番吧!这里是丸趣 TV 网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-16发表,共计1373字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)