fluent最新版 fluent下载教程( 三 )

应用程序日志存储在记录中的“日志”字段中 。在发送到目的地之前 , 您可以使用fluent-plugin-concat插件连接过滤器连接这些日志 。
@type concat key log stream_identity_key container_id multiline_start_regexp /^-e:2:in `\/\'/ multiline_end_regexp /^-e:4:in/原始活动:
2016-04-13 14:45:55 +0900 docker.28cf38e21204: {"container_id":"28cf38e212042225f5f80a56fac08f34c8f0b235e738900c4e0abcf39253a702","container_name":"/romantic_dubinsky","source":"stdout","log":"-e:2:in `/\'"}2016-04-13 14:45:55 +0900 docker.28cf38e21204: {"source":"stdout","log":"-e:2:in `do_division_by_zero\'","container_id":"28cf38e212042225f5f80a56fac08f34c8f0b235e738900c4e0abcf39253a702","container_name":"/romantic_dubinsky"}2016-04-13 14:45:55 +0900 docker.28cf38e21204: {"source":"stdout","log":"-e:4:in `

\'","container_id":"28cf38e212042225f5f80a56fac08f34c8f0b235e738900c4e0abcf39253a702","container_name":"/romantic_dubinsky"}过滤事件:
2016-04-13 14:45:55 +0900 docker.28cf38e21204: {"container_id":"28cf38e212042225f5f80a56fac08f34c8f0b235e738900c4e0abcf39253a702","container_name":"/romantic_dubinsky","source":"stdout","log":"-e:2:in `/\'\n-e:2:in `do_division_by_zero\'\n-e:4:in `
\'"}Fluentd日志驱动程序通过-log-opt Docker命令行参数支持更多选项:
  • fluentd-address
  • tag
fluentd-address
tag
fluentd-address

为Fluentd指定可选地址 , 它允许设置主机和TCP端口 , 例如:
$ docker run --log-driver=fluentd --log-opt fluentd-address=192.168.2.4:24225 ubuntu echo "..."tag

tag签是Fluentd的主要要求 , 它们允许识别传入的数据并进行路由决策 。默认情况下 , Fluentd日志记录驱动程序使用container_id作为标签(64个字符ID) , 您可以使用tag选项更改其值 , 如下所示:
$ docker run --log-driver=fluentd --log-opt tag=docker.my_new_tag ubuntu echo "..."此外 , 此选项允许指定一些内部变量:{{.ID}} , {{.FullID}}或{{.Name}} 。例如:
$ docker run --log-driver=fluentd --log-opt tag=docker.{{.ID}} ubuntu echo "..."在一个更真实的用例中,您想要使用其他比Fluentd标准输出存储集装箱码头工人的信息,如Elasticsearch,MongoDB,HDFS,S3,谷歌云存储等等 。
本文档介绍了如何使用Docker Compose通过EFK(Elasticsearch , Fluentd , Kibana)设置多容器日志记录环境 。
Docker Logging via EFK (Elasticsearch + Fluentd + Kibana) Stack with Docker Compose
【fluent最新版 fluent下载教程】在生产环境中 , 您必须使用其中一个容器编排工具 。目前 , Kubernetes更好地与Fluentd集成 , 我们正在努力与其他工具进行更好的集成 。

Kubernetes’s Logging Overview
本文介绍如何将Docker日志收集到EFK(Elasticsearch + Fluentd + Kibana)堆栈 。该示例使用Docker Compose设置多个容器 。
Elasticsearch是一款以易于使用而闻名的开源搜索引擎 。Kibana是一个开源的Web UI , 使得Elasticsearch用户对营销人员 , 工程师和数据科学家都很友好 。
通过结合这三个工具EFK(Elasticsearch + Fluentd + Kibana) , 我们可以获得可扩展 , 灵活 , 易于使用的日志收集和分析流程 。在本文中 , 我们将设置4个容器 , 每个容器包括:
fluent最新版 fluent下载教程

文章插图
  • Apache HTTP Server
  • Fluentd
  • Elasticsearch
  • Kibana

    所有httpd的日志将通过Fluentd进入Elasticsearch + Kibana 。
Apache HTTP Server
Fluentd
Elasticsearch


特别声明:本站内容均来自网友提供或互联网,仅供参考,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。