Elastic Stack第二十七重

Filebeat

本篇介绍filebeat是什麽以及如何安装及建置
下一篇浏览此篇建置完成的kibana dashboard

Overview

Filebeat是个轻量化的shipper(托运人)，用来forward(转发)和集中log data，
在servers上安装他，以agent(代理商)的角色监控指定的log files，
收集log events，然後forward(转发)至es或Logstash来建立索引

Filebeat是Elastic Beat的其中一种，是奠基於 libbeat framework的

How Filebeat works

说明搭配下图(取自官网)可更好理解
Filebeat可以包含一个或多个input，而每一个input可以指定多个log data locations，
filebeat针对每一个log都会有一个 harvester， harvester会读取log的每一行，
如有新的内容，则会传送至libbeat，libbeat会聚合data，然後再送至设定的output，
output可以是es或Logstash

Filebeat installation and configuration

如下是以我在自己的电脑的安装步骤 (OS为 Windows 10)

前置作业
需要完成Elastic Cloud的部署，如未完成请先至 Elastic Stack第三重 完成部署

Step 1: Install Filebeat (安装Filebeat)

1. 至 downloads page 下载

我下载的版本是 7.9.2 WINDOWS ZIP 64-BIT

2. 解压缩至欲存放的目录，然後把解压缩的资料夹(filebeat-<version>-windows)改名为 Filebeat

3. 以系统管理员身分执行 Windows PowerShell

4. 至 Filebeat 目录底下，然後执行指令 PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-filebeat.ps1 ，会跳出安全性警告，选择 [R] 执行一次(R) ，执行成功会出现以下图示
   

也可以打开 服务 查看 (开始->搜寻"服务")

Step 2: Connect to the Elastic Stack (连线至Elastic Stack)
打开 Filebeat 目录下的 filebeat.yml
有一区是 Elastic Cloud，
填入 cloud.id 和 cloud.auth 值，并把注解拿掉，
cloud.id 可至 Deloyments在点进详目页即可看到 Cloud ID字样
cloud.auth 填入帐密，输入值的格式为 <user>:<pass> ，此处的帐密为当初建立部署时弹跳视窗的帐密(详见Elastic Stack第三重)

设定完成後，即可至 服务 启动他

Step 3: Enable and configure data collection modules
Filebeat提供了很多模组可供用来收集和解析log data，有这些模组就不用自己再制造了，

1. 找出欲使用的modules，可使用指令

.\filebeat.exe modules list

即会列出有哪些modules是enabled和disabled的

2. enable欲使用的module
   以我为例，我想收集和解析的log data是apache的

.\filebeat modules enable apache

3. 在 Filebeat\modules.d 目录下调整设定档
   因为我enable的是apache module，所以我打开目录下的 apache.yml 来修改
   官方会列出modules的设定档有哪些参数可设定以及如何设定，
   以Apache为例，可参考 Apache module

apache.yml 修改前

apache.yml 修改後

[Note]
记得此处路径的字串是用 ' (单引号) 包起来，使用 " (双引号)的话会有错误

Step 4: Set up assets
Filebeat有自己欲先定义的assets，可用来解析、建立索引和视觉化data，
要载入他使用指令

.\filebeat.exe setup -e

这步骤会载入建议的 index template 为了写入至es，
以及在kibana部署样本dashboard来视觉化这些data

小小新手，如有理解错误或写错再请不吝提醒或纠正

Reference

Filebeat
filebeat installation and configuration