基于Docker容器如何部署ELK日志分析系统

62次阅读
没有评论

共计 2440 个字符,预计需要花费 7 分钟才能阅读完成。

这篇文章将为大家详细讲解有关基于 Docker 容器如何部署 ELK 日志分析系统,丸趣 TV 小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

部署 ELK 日志分析系统,比较消耗计算机硬件,如果使用虚拟机进行测试部署,建议分配较多的硬件资源,否则,当 elk 容器运行后,会使其无法正常运行。我这里将分配给 docker 主机 5G 内存,四个 CPU。

一、环境准备

我这里使用一台 docker 主机(如需要部署 docker 服务,可以参考博文:Docker 的安装详细配置),其 IP 地址为 192.168.20.6,在其之上运行 elk 容器。

二、配置 docker 主机运行 elk 容器

[root@docker01 ~]# echo  vm.max_map_count = 655360    /etc/sysctl.conf 
#更改其虚拟内存
[root@docker01 ~]# sysctl -p # 刷新内核参数
vm.max_map_count = 655360 # 若容器不能正常运行,可适当调大此参数值
[root@docker01 ~]# docker pull sebp/elk #elk 镜像大小在 2G 以上,所以建议先下载到本地,再运行容器
[root@docker01 ~]# docker run -itd -p 5601:5601 -p 9200:9200 -p 5044:5044 -e ES_HEAP_SIZE= 3g  -e LS_HEAP_SIZE= 1g  --name elk sebp/elk
#基于 sebp/elk 运行 elk 容器
# “-e ES_HEAP_SIZE= 3g  ”:是限制 elasticsearch 所使用的内存大小
# -e LS_HEAP_SIZE= 1g  :限制 logstash 使用的内存大小 

至此,即可通过浏览器访问 docker 主机的 5601 端口访问到以下界面了(以下进行的所有操作,看图进行即可,都已标记在图上了):

当看到以下页面后(注意选择 RPM 选项卡),根据下面的提示命令在我们的 docker 主机上执行即可。

执行以上页面的提示命令操作,如下:

[root@docker01 ~]# curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.4.0-x86_64.rpm
#下载 rpm 包
[root@docker01 ~]# rpm -ivh filebeat-7.4.0-x86_64.rpm # 安装下载的 rpm 包
[root@docker01 ~]# vim /etc/filebeat/filebeat.yml
======== Filebeat inputs ==========
filebeat.inputs: # 修改 filebeat.inputs 下面的内容
 enabled: true # 改为 true,以便启用 filebeat
 paths: # 修改 path 段落,添加要收集的日志路径
 - /var/log/messages # 指定一下系统日志的文件路径
 - /var/lib/docker/containers/*/*.log # 这个路径是所有容器存放的日志路径
========== Kibana =============
host:  192.168.20.6:5601  # 去掉此行注释符号,并填写 kibana 的监听端口及地址
------------ Elasticsearch output ------------ 
 hosts: [192.168.20.6:9200] # 修改为 Elasticsearc 的监听地址及端口
#修改完上述配置后,保存退出即可
[root@docker01 ~]# filebeat modules enable elasticsearch # 启用 elasticsearch 模块
[root@docker01 ~]# filebeat setup # 初始化 filebeat,等待时间稍长
Index setup finished.
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards
Loaded machine learning job configurations
Loaded Ingest pipelines
#出现上述信息,才是初始化成功
[root@docker01 ~]# service filebeat start # 启动 filebeat

当执行完上述操作后,即可点击下面的“Dicover”,进行查看日志的操作了,如下:

若最近十五分钟内有新的日志,并且 docker 主机的时间也处于同步状态,那么可以考虑执行下面的命令,以便重启 elk 这个容器再进行查看。

[root@docker01 ~]# systemctl daemon-reload # 重新加载配置文件
[root@docker01 ~]# docker restart elk # 重启 elk 容器 

当可以正常访问到上面的页面时,这时我们运行一个容器,让其每隔十秒钟输出一段字符,然后查看 kibana 是否可以采集到该容器相关的日志信息,如下:

[root@docker01 ~]# docker run busybox sh -c  while true;do echo  this is a log message from container busybox! sleep 10;done 
#运行这个容器,每隔十秒输出一段字符 

然后看下图,依次操作,如下:

如果能够看到相应的日志信息,则说明 elk 这个容器运行正常。

关于“基于 Docker 容器如何部署 ELK 日志分析系统”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-17发表,共计2440字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)