服务器Filebeat教程，filebeat运维工具——

本文目录一览：

• 1、filebeat采集日志到kafka配置及使用
• 2、使用ELK收集网络设备日志的案例
• 3、使用Filebeat采集日志结合logstash过滤出你想要的日志

filebeat采集日志到kafka配置及使用

Filebeat是elastic公司beats系列工具中服务器Filebeat教程的一个服务器Filebeat教程，主要用于收集本地日志。在服务器上安装后服务器Filebeat教程，filebeat会监控日志目录或者指定的日志文件服务器Filebeat教程，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到配置文件中指定的输出端（例如：elasticsearch，logstarsh或kafka）。

其中topic：%{[type]} ，topic值为input中配置的document_type。kafka中收集到日志如下格式：只有message中才为写入到，其余字段为filebeat携带的元数据。服务器Filebeat教程我们在处理filebeat消息时，往往只关注message信息，为了让信息更加简洁化，我们可以在filebeat中进行设置processors。

Filebeat发送到Kafka的日志信息通常是json格式。Logstash在消费时，可以使用filter流程中的json插件来解析这些数据。如何区分不同的数据来源？在Logstash的input配置块中，可以通过设置type字段来标明不同的数据来源。如何标记不同的业务日志？可以使用Shipper（如Filebeat）的name或tag字段来标记不同的业务日志。

使用ELK收集网络设备日志的案例

winlogbeat。CentOS 6系统日志收集 在CentOS上安装Filebeat，通过命令行安装并配置输出到Elasticsearch和Kibana。 启用system模块，然后启动Filebeat。这个指南旨在帮助初次接触ELK堆栈的用户将不同操作系统日志接入，无需Logstash。注意，这仅作为学习示例，不适用于生产环境，务必在测试环境尝试。

ELK分别表示：Elasticsearch ， Logstash， Kibana 。他们组成了一套完整的日志系统的解决方案，方便我们使用。在使用Logstash进行收集的时候，仅仅需要简单的一个配置文件就可以启动一个logstash-agent来进行日志收集。上述示例简单的从某个文件目录下收集日志打印到控制台。

ELK部署与日志整合详解 在实施ELK（Elasticsearch、Logstash、Kibana）系统时，部署地址为19160.231/workspace/elk7，Kibana可通过此IP：5061访问，使用用户名：elastic，密码：***。系统服务自启动脚本位于/usr/lib/systemd/system/elk.service与/workspace/elk7/start-elk.sh。

值得注意的是，Logstash 占用内存较大，因此本文推荐使用 Go 语言编写的轻量级日志收集工具 FileBeat。为确保线上环境的吞吐量和可靠性，可以引入 Kafka 进行解耦，具体操作本文未详述。实战步骤包括搭建日志收集与搜索系统。首先下载并解压 ELK 的最新稳定版本，本文推荐使用 12 版本。

使用Filebeat采集日志结合logstash过滤出你想要的日志

说明：logstash接收到filebeat传来的数据，默认日志信息放在message字段中。 通过grok过滤器去掉json字符串以外的信息，过滤完成后信息放到了temMsg中，内容如下： 通过json过滤器将temMsg中的json字符串解析为json对象，并将解析得到的字段放到顶级字段中。

我们这里用到的是 filebeat+elk（elasticsearch+logstash+kibana） 来进行系统日志的收集。filebeat安装在各个服务器中，Logstash+ElasticSearch+Kibana安装在一台专门用于基础服务的服务器上。

启动Winlogbeat，执行winlogbeat.exe setup和Start-Service winlogbeat。CentOS 6系统日志收集 在CentOS上安装Filebeat，通过命令行安装并配置输出到Elasticsearch和Kibana。 启用system模块，然后启动Filebeat。这个指南旨在帮助初次接触ELK堆栈的用户将不同操作系统日志接入，无需Logstash。