如何进行ELK的原理及工作是怎么样的

55次阅读
没有评论

共计 1119 个字符,预计需要花费 3 分钟才能阅读完成。

本篇文章为大家展示了如何进行 ELK 的原理及工作是怎么样的,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。

EKL

核心组成

1.Elastic Search 开源分布式搜索引擎,他的特点是分布式、零配置、自动发现、索引自动分片,索引副本机制,restful 接口,多数据源,自动搜索负载。

安装 Elastic Search  高可用,易扩展,支持集群 (cluster), 分片和复制 (sharding 和 replicas)

验证启动:curl -X GET http://localhost:9200

2.Logstash 完全开源的工具,可以用来对日志进行收集,分析,并将期存储供以后使用。

安装 Logstash  实时渠道能力的数据收集引擎。由三部分组成

1.shipper- 发送日志数据

2.broker- 收集数据,缺省内置 redis

3.indexer- 数据写入

启动验证:./logstash -e input{stdin{}}output{stdout{codec= rubydebug}}

3.Kibala 可以为 ES 和 Logstash 提供的日志分析友好的界面,汇总,分析和搜索重要的日志。可以在 Elasticsearch 的索引中查找,交互数据,并生成各种维度的表图

vi kibana.yml  添加下面配置

elasticsearch_url:  http://192.168.1.104:9200

浏览器访问 kinaba  http://39.106.48.25:5601/

在 kibana 中查找执行超过 400ms 的记录

READ_COMMITTED   AND  message:/[4-9]{1}[0-9][0-9]ms/

四大组件

1.Logstatsh: logstash server 端用来收集日志。

2.Elastic Search: 存储各类日志。

3.Kibala: web 化查询和可视化接口.

4.Logstash forwarder: logstash client 端用来通过 lumberjack 网络协议发送日志到 logstash server.

ELK 工作流程

  在需要收集日志的服务器上部署 logstash, 作为 logstash agent(shipper) 用于监控并过滤收集日志,将过滤后的内容发送到 Broker(缺省 Redis),然后 logstash indexer 将日志收集到一起交给全文搜索引擎 Elastic Search, 可以用 Elastic Search 进行自定义搜索通过 Kibana 来结合自定义搜索进行页面展示。

上述内容就是如何进行 ELK 的原理及工作是怎么样的,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注丸趣 TV 行业资讯频道。

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-16发表,共计1119字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)