共计 2103 个字符,预计需要花费 6 分钟才能阅读完成。
这篇文章主要介绍“如何在 YARN 上运行 ElasticSearch”,在日常操作中,相信很多人在如何在 YARN 上运行 ElasticSearch 问题上存在疑惑,丸趣 TV 小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”如何在 YARN 上运行 ElasticSearch”的疑惑有所帮助!接下来,请跟着丸趣 TV 小编一起来学习吧!
这么做的目的,主要是为了统一资源管理 (cpu 和内存)。一体化平台,spark,es ,mr 等都在一起跑的时候,做好资源的调度。
在故事开始之前,先去把插件下载了。
插件地址
安装主要参考了官方文档
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar
No command specified
Usage:
-download-es : Downloads Elasticsearch.zip
-install : Installs/Provisions Elasticsearch-YARN into HDFS
-install-es : Installs/Provisions Elasticsearch into HDFS
-start : Starts provisioned Elasticsearch in YARN
-status : Reports status of Elasticsearch in YARN
-stop : Stops Elasticsearch in YARN
-help : Prints this help
Configuration options can be specified _after_ each command; see the documentation for more information.
[root@master nq]#
安装过程比较简单,根据文档顺序来遍就好了,可能会出现的情况就是,HDFS 权限问题。
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -download-es
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -install-es
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -install
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -start containers=2 # 我启动了 2 个,为了副本能分配
完成后,能在HDFS下面看到2个文件
YARN 这边也能看到日志和应用了
ES这边访问OK
[root@master nq]# curl localhost:9200
status : 200,
name : Shadowmage ,
cluster_name : elasticsearch ,
version : {
number : 1.4.0 ,
build_hash : bc94bd81298f81c656893ab1ddddd30a99356066 ,
build_timestamp : 2014-11-05T14:26:12Z ,
build_snapshot : false,
lucene_version : 4.10.2
},
tagline : You Know, for Search
[root@master nq]#
好了,大功告成。刚要开心的大笑,就发现了 2 个严重的问题,然后笑容凝固。
怎么安装插件?
数据存哪儿去了?local or hdfs
看着 HDFS 上的 zip 包,我茫然了,首先确定的是插件,肯定是没提供相应的接口了,从图 1 也能看出来。经过一顿纠结后,想到了 2 个办法。
把插件打包进 zip 包里面。
安装过程的,第一步,(-download-es)会把 es 下载到当前 dowanloads 目录下面,
去 dowanloads 里面把 elasticsearch-1.4.0.zip 解压,再把 head 等插件弄进去,压缩
替换 HDFS 上的 zip 包,
stop start
使用 plugin 命令安装。
jps -v|grep elastic
./bin/plugin -install mobz/elasticsearch-head
jps 找到 ES 的运行目录 (-Des.path.home),然后就没有然后了。熟悉的 head。到这里,其实索引文件是不是存在 HDFS 里面也清楚了。
到此,关于“如何在 YARN 上运行 ElasticSearch”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注丸趣 TV 网站,丸趣 TV 小编会继续努力为大家带来更多实用的文章!