前几篇讲这麽多, 来介绍一个服务Fleunt Bit

Fleunt Bit

它是一个开源的数据收集器、数据处理器、数据转发器. 同类型的服务还有Logstash、Beat、Fluentd.
且它支持多平台(Linux,Windows都能)
它允许从不同的来源收集数据, 并且处理过後,发送到多个目的地. 也完全兼容K8S和Docker的环境.

Fluent Bit基本是基於Fluentd的架构与通用设计取其精华,
用C开发出来的, 比较一下两者

先看主要Fluentd的优势, 就是超级丰富的Plugin.
Fluent bit虽然plugin数量不多, 但都是非常实用的, 且也有提供SDK能自己开发.
Fluent-bit-go

最重要的是FluentBit吃的资源非常的低, 低到它能在Embedded环境内执行, 也不太影响应用程序.
加上没有执行环境的依赖, 使得它非常好到处执行.
相当牛B

他有几个特点

• Event drivent: Async I/O, 用这特性来收集与发送
• Route: 资料通过每个阶段的plugin时, 会被打上tag, 由这tag最後能决定要输出到哪些地方去
• 传输安全: 支持TLS/SSL传输
• 内建四种格式的Parser : JSON, Regex, Logfmt and LTSV;
  • logfmt, 就是上篇讲的kvp(key=value格式)
• Stream processing: 可以使用简单的SQL做查询, 并且转换格式後, 做输出; 也能做些Aggregate操作

它的资料处理Pipeline很好理解, 大部分跟Logstash名称功能都一样

• Input : 收集资料
• Parser : 剖析其格式变成Structured Log
• Filter : 不只是过滤, 也能修改资料, 或是帮忙添加资料
• Buffer ： 文件处理时的缓冲区, 因为等等是输出, 通常是打到外部网路的服务上去, 还没处理的数据资料都会在这
• Router : 路由规则, 透过Tag与Matcher来决定这资料要往哪个地方输出, 或是往多个地方输出
• Output : 就输出到目的地, 可以是DB, 网路服务, 云上的存储

接着几天就慢慢安装设定来玩看看