Filebeat日志采集配置，日志采集工具——

本文目录一览：

• 1、filebeat+elasticsearch+logstash+kibana收集系统日志(docker)
• 2、Filebeat:使用Filebeat收集日志
• 3、记Filebeat的prospectors部分配置说明
• 4、filebeat采集日志到kafka配置及使用
• 5、filebeat采集多个目录日志

filebeat+elasticsearch+logstash+kibana收集系统日志(docker)

启动Winlogbeat，执行winlogbeat.exe setup和Start-Service winlogbeat。CentOS 6系统日志收集 在CentOS上安装Filebeat，通过命令行安装并配置输出到Elasticsearch和Kibana。 启用system模块，然后启动Filebeat。这个指南旨在帮助初次接触ELK堆栈的用户将不同操作系统日志接入，无需Logstash。

ELK是由Elasticsearch、Logstash、Kibana三者组成的日志收集技术栈。

ELK Stack（Elasticsearch、Logstash、Kibana）是常见的日志收集架构，以下是对其工作原理及常见问题的详细解日志收集流程 Shippers（如Filebeat）：部署在日志源机器上，负责收集日志并发送到后续处理组件。Logstash：接收Shippers发送的日志，进行过滤、解析等处理，然后将处理后的日志发送到Elasticsearch。

通过Kibana界面：打开Kibana的Web界面，验证所有组件是否成功集成并显示数据。你可以创建索引模式、搜索和分析日志数据。注意事项：资源限制：根据你的硬件资源，合理设置容器的内存和CPU限制。持久化存储：对于Elasticsearch和Logstash，建议使用持久化存储来保存数据和配置文件。

Filebeat:使用Filebeat收集日志

Filebeat模块很好的入门Filebeat日志采集配置，它是轻量级单用途的日志收集工具Filebeat日志采集配置，用于在没有安装java的服务器上专门收集日志，可以将日志转发到logstash、elasticsearch或redis等场景中进行下一步处理。

要使用 Filebeat OSS 2 将日志收集到 Easysearch，需注意版本兼容性并正确配置。

winlogbeat。CentOS 6系统日志收集 在CentOS上安装Filebeat，通过命令行安装并配置输出到Elasticsearch和Kibana。 启用system模块，然后启动Filebeat。这个指南旨在帮助初次接触ELK堆栈的用户将不同操作系统日志接入，无需Logstash。注意，这仅作为学习示例，不适用于生产环境，务必在测试环境尝试。

syslog 作为一种通用的日志收集协议，有广泛的应用。强大的 fluentd 可以用来进行日志收集，就是需要安装一个又一个的 ruby 插件，不便于部署。发现 filebeat 越来越成熟，支持的 input 协议和 output 协议很多，也不需要安装额外的插件。

记Filebeat的prospectors部分配置说明

1、Filebeat是Elastic提供的轻量级日志收集工具，通过配置监控文件，记录并保持每个监控文件的状态，收集文件变化，并将数据发送到Elasticsearch或logstash索引。

2、说明： 在logback中没有这样的配置，但是可以自己写RollingPolicy去实现 分析：在filebeat中减行会导致文件从头读取，下面是抓取filebeat日志的一个信息 结论： 根据上面的分析，我们知当文件被全部清空的时候会从头读取。

filebeat采集日志到kafka配置及使用

由于我的预期目标是将filebeat收集的日志发送到kafka，所以配置output就选择了kafka。读者可根据自己的使用场景，配置output。例子中的配置将对/var/log目录下所有以.log结尾的文件进行采集。启动 本文中只是为满足需求对filebeat进行了最基本的配置。

kafka中收集到日志如下格式：只有message中才为写入到，其余字段为filebeat携带的元数据。我们在处理filebeat消息时，往往只关注message信息，为了让信息更加简洁化，我们可以在filebeat中进行设置processors。

Filebeat发送到Kafka的日志信息通常是json格式。Logstash在消费时，可以使用filter流程中的json插件来解析这些数据。如何区分不同的数据来源？在Logstash的input配置块中，可以通过设置type字段来标明不同的数据来源。如何标记不同的业务日志？可以使用Shipper（如Filebeat）的name或tag字段来标记不同的业务日志。

该方案适用于希望复用原先的agent（包括复用原先agent中的各种处理逻辑、采集配置等）的场景，也适合新部署的场景或确定从原ES直接使用SLS方案。迁移方案：直接使用原先的agent（如filebeat）通过Kafka协议上传日志到SLS。SLS提供了Kafka兼容接口，可以接收来自各种开源agent的日志数据。

不过，Filebeat的功能正在不断扩展，现在可以将日志发送给Kafka和Redis，并具备过滤能力。

filebeat采集多个目录日志

我们这里用到的是 filebeat+elk（elasticsearch+logstash+kibana） 来进行系统日志的收集。filebeat安装在各个服务器中，Logstash+ElasticSearch+Kibana安装在一台专门用于基础服务的服务器上。

在Docker项目中，当使用同一个镜像部署多个服务或容器实例时，为了区分它们的日志，可以采取使用动态卷、设置环境变量、使用外部日志管理工具以及配置Filebeat收集日志等方法。 使用动态卷 为每个容器创建一个独立的卷，这样日志会写入不同的文件或目录中。

Filebeat保持文件处理程序打开，直到文件到达文件末尾，以便它可以近乎实时地读取新的日志行。 如果Filebeat正在收集大量文件，则打开文件的数量可能会成为问题。 在大多数环境中，正在更新的文件数量很少。close_inactive配置选项应相应地设置为关闭不再处于活动状态的文件。

Filebeat使用go语言开发，使用时没有其他依赖，比logstash-forworder轻量，不会占用部署服务器太多的资源。