如何在YARN上运行ElasticSearch

共计 2103 个字符，预计需要花费 6 分钟才能阅读完成。

这篇文章主要介绍“如何在 YARN 上运行 ElasticSearch”，在日常操作中，相信很多人在如何在 YARN 上运行 ElasticSearch 问题上存在疑惑，丸趣 TV 小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”如何在 YARN 上运行 ElasticSearch”的疑惑有所帮助！接下来，请跟着丸趣 TV 小编一起来学习吧！

  这么做的目的，主要是为了统一资源管理 (cpu 和内存)。一体化平台，spark，es ,mr 等都在一起跑的时候，做好资源的调度。

在故事开始之前，先去把插件下载了。

插件地址

安装主要参考了官方文档

[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar 
No command specified
Usage:
 -download-es : Downloads Elasticsearch.zip
 -install : Installs/Provisions Elasticsearch-YARN into HDFS
 -install-es : Installs/Provisions Elasticsearch into HDFS
 -start : Starts provisioned Elasticsearch in YARN
 -status : Reports status of Elasticsearch in YARN
 -stop : Stops Elasticsearch in YARN
 -help : Prints this help
Configuration options can be specified _after_ each command; see the documentation for more information.
[root@master nq]#

安装过程比较简单，根据文档顺序来遍就好了，可能会出现的情况就是，HDFS 权限问题。

[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -download-es
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -install-es
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -install
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -start containers=2 # 我启动了 2 个，为了副本能分配 

完成后，能在HDFS下面看到2个文件

YARN 这边也能看到日志和应用了

ES这边访问OK

[root@master nq]# curl localhost:9200
  status  : 200,
  name  :  Shadowmage ,
  cluster_name  :  elasticsearch ,
  version  : {
  number  :  1.4.0 ,
  build_hash  :  bc94bd81298f81c656893ab1ddddd30a99356066 ,
  build_timestamp  :  2014-11-05T14:26:12Z ,
  build_snapshot  : false,
  lucene_version  :  4.10.2 
 },
  tagline  :  You Know, for Search 
[root@master nq]#

好了，大功告成。刚要开心的大笑，就发现了 2 个严重的问题，然后笑容凝固。

怎么安装插件？

数据存哪儿去了？local or hdfs 

看着 HDFS 上的 zip 包，我茫然了，首先确定的是插件，肯定是没提供相应的接口了，从图 1 也能看出来。经过一顿纠结后，想到了 2 个办法。

把插件打包进 zip 包里面。

安装过程的，第一步，（-download-es）会把 es 下载到当前 dowanloads 目录下面，

去 dowanloads 里面把 elasticsearch-1.4.0.zip 解压，再把 head 等插件弄进去，压缩

替换 HDFS 上的 zip 包，

stop start

使用 plugin 命令安装。

jps -v|grep elastic
./bin/plugin -install mobz/elasticsearch-head

jps 找到 ES 的运行目录 (-Des.path.home)，然后就没有然后了。熟悉的 head。到这里，其实索引文件是不是存在 HDFS 里面也清楚了。

到此，关于“如何在 YARN 上运行 ElasticSearch”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注丸趣 TV 网站，丸趣 TV 小编会继续努力为大家带来更多实用的文章！