如何进行spark SQL编程动手实战

69次阅读
没有评论

共计 425 个字符,预计需要花费 2 分钟才能阅读完成。

如何进行 spark SQL 编程动手实战,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。

首先创建 SparkContext 上下文:

接着引入隐身转换,用于把 RDD 转成 SchemaRDD:

接下来要加载数据,这里的测试数据是 user.txt 文件:

我们创建好 use.txt 增加内容并上传到 hdfs 中:

hdfs 命令查询:

验证数据是否加载成功:

此刻 user 还是一个 MappedRDD:

此刻的 teenagers 已经隐身转换成 SchemaRDD

结果:

同样使用 user.txt 的数据:

我们这次直接使用 SQL 查询操作:

可以发现使用 DSL 的使用 teenagers 在内部已经被隐身转换了 SchemaRDD 的实例

可以发现与前面那张注册 Table 方式的结果是一样的

看完上述内容,你们掌握如何进行 spark SQL 编程动手实战的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注丸趣 TV 行业资讯频道,感谢各位的阅读!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-16发表,共计425字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)