共计 1875 个字符，预计需要花费 5 分钟才能阅读完成。
这篇文章主要为大家展示了“windows 下 spark 如何搭建”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让丸趣 TV 小编带领大家一起研究并学习一下“windows 下 spark 如何搭建”这篇文章吧。
系统：windows x64
内存：4G
spark 版本：spark-1.6.0-bin-hadoop2.6
JDK 版本：jdk1.7.0_031
spark 安装步骤：
1.spark 安装包，下载地址 https://spark.apache.org/downloads.html
2. 解压下载好的安装包，似乎路径最好不要含空格（没有试过含空格会怎么样）
3. 环境变量中配置 SPARK_HOME，path 中指定到 SPARK_HOME 下的 bin 目录。
4. 现在运行的是本地模式，可以不用安装 hadoop，但是 windows 下需要配置 HADOOP_HOME，并在 HADOOP_HOME/bin 下放一个 winutils.exe 的文件，具体见 https://github.com/spring-projects/spring-hadoop/wiki/Using-a-Windows-client-together-with-a-Linux-cluster
5. 打开 CMD，试试 spark-shell 命令能否运行成功。
可能遇到问题 1：关于 xerces.jar 包的问题，可能是 jar 包冲突导致，最直接解决办法：重新下载一个 jdk
可能遇到问题 2：spark-shell throws java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. 这个错误，似乎是 hive 的一个 BUG，具体可以见 https://issues.apache.org/jira/browse/SPARK-10528
配置 Eclipse 的 java 开发环境：
java 开发 spark 程序是依赖一个 jar，位于 SPARK_HOME/lib/spark-assembly-1.6.0-hadoop2.6.0.jar, 直接导入 eclipse 即可，spark 运行只支持 1.6 以上 java 环
最后附上一个 WordCount 程序，是通过 hdfs 读取和输出的文件
SparkConf conf = new SparkConf().setAppName( WordCount).setMaster( local
JavaSparkContext context = new JavaSparkContext(conf);
JavaRDD String textFile = context.textFile( hdfs://192.168.1.201:8020/data/test/sequence/sequence_in/file1.txt
JavaRDD String words = textFile.flatMap(new FlatMapFunction String, String () { public Iterable String call(String s) {return Arrays.asList(s.split( ));}
JavaPairRDD String, Integer pairs = words.mapToPair(new PairFunction String, String, Integer () { public Tuple2 String, Integer call(String s) { return new Tuple2 String, Integer (s, 1); }
JavaPairRDD String, Integer counts = pairs.reduceByKey(new Function2 Integer, Integer, Integer () { public Integer call(Integer a, Integer b) { return a + b; }
counts.saveAsTextFile(hdfs://192.168.1.201:8020/data/test/sequence/sequence_out/以上是“windows 下 spark 如何搭建”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注丸趣 TV 行业资讯频道！
