共计 2912 个字符，预计需要花费 8 分钟才能阅读完成。
本篇内容主要讲解“如何使用开源工具 fluentd-pilot 收集容器日志”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让丸趣 TV 小编来带大家学习“如何使用开源工具 fluentd-pilot 收集容器日志”吧!
fluentd-pilot 简介
fluentd-pilot 是阿里开源的 docker 日志收集工具，Github 项目地址。你可以在每台机器上部署一个 fluentd-pilot 实例，就可以收集机器上所有 Docker 应用日志。
fluentd-pilot 具有如下特性：
一个单独的 fluentd 进程收集机器上所有容器的日志。不需要为每个容器启动一个 fluentd 进程。
支持文件日志和 stdout。docker log dirver 亦或 logspout 只能处理 stdout，fluentd-pilot 不仅支持收集 stdout 日志，还可以收集文件日志。
声明式配置。当您的容器有日志要收集，只要通过 label 声明要收集的日志文件的路径，无需改动其他任何配置，fluentd-pilot 就会自动收集新容器的日志。
支持多种日志存储方式。无论是强大的阿里云日志服务，还是比较流行的 elasticsearch 组合，甚至是 graylog，fluentd-pilot 都能把日志投递到正确的地点。
rancher 使用 fluentd-pilot 收集日志
我们既然要用 fluentd-pilot，就得先把它启动起来。还要有一个日志系统，日志要集中收集，必然要有一个中间服务去收集和存储，所以要先把这种东西准备好。Rancher 中我们要如何做？如图，首先我们选择 Rancher 的应用商店中的 Elasticsearch 和 Kibana。版本没有要求，下面使用 Elasticsearch3.X 和 Kibana4。
其次在 RancherAgent 主机上面部署一个 fluentd-pilot 容器，然后在容器里面启动的时候，我们要声明容器的日志信息，fluentd-pilot 会自动感知所有容器的配置。每次启动容器或者删除容器的时候，它能够看得到，当看到容器有新容器产生之后，它就会自动给新容器按照你的配置生成对应的配置文件，然后去采集，最后采集回来的日志同样也会根据配置发送到后端存储里面去，这里面后端主要指的 elasticsearch 或者是 SLS 这样的系统，接下来你可以在这个系统上面用一些工具来查询等等。
可根据实际情况，在每台 Agent 定义主机标签, 通过主机标签在每台 RancherAgent 主机上跑一个 pilot 容器。用这个命令来部署，其实现在它是一个标准的 Docker 镜像，内部支持一些后端存储，可以通过环境变量来指定日志放到哪儿去，这样的配置方式会把所有的收集到的日志全部都发送到 elasticsearch 里面去，当然两个挂载是需要的，因为它连接 Docker，要感知到 Docker 里面所有容器的变化，它要通过这种方式来访问宿主机的一些信息。在 Rancher 环境下使用以下 docker-compose.yml 应用 —- 添加应用，在可选 docker-compose.yml 中添加一下内容。
version: 2
services:
pilot:
image: registry.cn-hangzhou.aliyuncs.com/acs-sample/fluentd-pilot:0.1
environment:
ELASTICSEARCH_HOST: elasticsearch
ELASTICSEARCH_PORT: 9200
FLUENTD_OUTPUT: elasticsearch
external_links:
- es-cluster/es-master:elasticsearch
volumes:
- /var/run/docker.sock:/var/run/docker.sock
- /:/host
labels:
aliyun.global: true配置好之后启动自己的应用（例子:tomcat），我们看应用上面要收集的日志，我该在上面做什么样的声明？关键的配置有两个，一是 label catalina，声明的是要收集容器的日志为什么格式（标准格式等，也可以是文件。），所有的名字都可以；二是声明 access，这也是个名字，都可以用你喜欢的名字。这样一个路径的地址，当你通过这样的配置来去启动 fluentd-pilot 容器之后，它就能够感觉到这样一个容器的启动事件，它会去看容器的配置是什么，要收集这个目录下面的文件日志，然后告诉 fluentd-pilot 去中心配置并且去采集，这里还需要一个卷，实际上跟 Logs 目录是一致的，在容器外面实际上没有一种通用的方式能够获取到容器里面的文件，所有我们主动把目录从宿主机上挂载进来，这样就可以在宿主机上看到目录下面所有的东西。
当你通过部署之后，他会自己在 elasticsearch 创建索引，就可以在 elasticsearch 的 kopf 上面看到会生成两个东西，都是自动创建好的，不用管一些配置，你唯一要做的事是什么呢？就可以在 kibana 上创建日志 index pattern 了。然后到日志搜索界面，可以看到从哪过来的，这条日志的内容是什么，这些信息都已经很快的出现了。
Lable 说明
启动 tomcat 的时候，我们声明了这样下面两个，告诉 fluentd-pilot 这个容器的日志位置。
aliyun.logs.tomcat1-access /opt/apache-tomcat-8.0.14/logs/localhost_access_log.*.txt
aliyun.logs.catalina stdout你还可以在应用容器上添加更多的标签
aliyun.logs.$name = $path
变量 name 是日志名称，具体指随便是什么，你高兴就好。只能包含 0 -9a-zA-Z_和 -
变量 path 是要收集的日志路径，必须具体到文件，不能只写目录。文件名部分可以使用通配符。/var/log/he.log 和 /var/log/*.log 都是正确的值，但 /var/log 不行，不能只写到目录。stdout 是一个特殊值，表示标准输出
aliyun.logs.$name.format，日志格式，目前支持
none 无格式纯文本
json: json 格式，每行一个完整的 json 字符串
csv: csv 格式
aliyun.logs.$name.tags: 上报日志的时候，额外增加的字段，格式为 k1=v1,k2=v2，每个 key-value 之间使用逗号分隔，例如
aliyun.logs.access.tags= name=hello,stage=test，上报到存储的日志里就会出现 name 字段和 stage 字段
如果使用 elasticsearch 作为日志存储，target 这个 tag 具有特殊含义，表示 elasticsearch 里对应的 index
到此，相信大家对“如何使用开源工具 fluentd-pilot 收集容器日志”有了更深的了解，不妨来实际操作一番吧！这里是丸趣 TV 网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！
