乔叔带你上手 Elastic Stack - 探索与实践 Observability 系列 - 文章总览与心得

以下针对这次的 乔叔带你上手 Elastic Stack - 探索与实践 Observability 系列 进行总览介绍，方便读者们掌握系列文章的架构与脉络。

前言

首先针对 Observability 的定义，以及 Elastic 对於 Observability 的观点及所提出的解决方案进行介绍，并且在这边带出了 Elastic Observability 解进方案中的四大主轴 Uptime、Metrics、Logs、Traces。

• 01 - 前言 & 浅谈 Observability
• 02 - Elastic 的 Observability 解决方案

Uptime - 掌握系统的生命徵象 系列文章

针对 Elastic Observability 中的 Uptime 进行介绍 ，如何掌握系统的生命徵象，甚至如何从使用者体验的角度来验证服务的运作状态。

• (1/4) - 我们要观测的生命徵象是什麽？
• (2/4) - 使用 Heartbeat 收集系统生命徵象数据
• (3/4) - 透过 Kibana 观看心电图及设定警报
• (4/4) - 使用合成监控 (Synthetics Monitor) 从使用者情境验证服务的运作状态

Metrics - 观察系统的健康指标 系列文章

Metrics 是系统 Monitoring 的基础，在这里将介绍 Elastic Observability 中的 Metrics 提供了什麽样的能力，如何实作在自己安装的机器上、Docker、K8S、甚至是 AWS 的云端环境，以及如何使用 Metricbeat 来掌握 Elastic Stack 的健康状态。

• (1/6) - Metrics 与 Metricbeat 的基本介绍
• (2/6) - 使用 Metricbeat 掌握 Elastic Stack 的健康状态
• (3/6) - 使用 Metricbeat 掌握 Infrastructure 的健康状态 Host 篇
• (4/6) - 使用 Metricbeat 掌握 Infrastructure 的健康状态 Docker 篇
• (5/6) - 使用 Metricbeat 掌握 Infrastructure 的健康状态 Kubernetes 篇
• (6/6) - 使用 Metricbeat 掌握 Infrastructure 的健康状态 AWS 篇

Logs - 挖掘系统内部发生的状况 系列文章

Logs 是系统运作细节的记录，也是我们用来挖掘系统内部运作时发生什麽状况的重要参考资讯，Elastic Observability 的解决方案之中，使用了 Filebeat 来负责收集散落在四处的 Logs，并且如何将收集到的 Logs 使用 Elastic Observability 来进行查阅。

• (1/4) - Logs 与 Filebeat 的基本介绍
• (2/4) - 使用 Filebeat 应该要了解的设计细节与原理
• (3/4) - 透过 Filebeat 收集 Elastic Stack 中各种服务的细节资讯
• (4/4) - 透过 Filebeat 收集 Infrastructure 中各种服务的细节资讯

Traces - 观察应用程序的效能瓶颈 系列文章

Observability 的一个核心精神，是让我们有能力观察系统运作的状况，Elastic Observability 当中的 APM (Application Performance Monitoring) 就是实现 Observability 这部份精神的其中一个重要的工具，帮助我们能轻松的掌握系统运作的效能分析、发生异常时环节、或是在复杂的多层次架构或是微服务架构之下，服务元件之间的相依性及影响的关连，这样的工具要如何来使用及应用，将会是这个章节的主轴。

• (1/6) - Elastic APM 基本介绍
• (2/6) - 使用 APM-Integratoin-Testing 建立 APM 的模拟环境
• (3/6) - 如何在 Kibana 使用 APM UI
• (4/6) - 使用 APM Server 来收集 APM 数据
• (5/6) - 透过 APM Agents 收集并传送後端服务运作的记录
• (6/6) - 透过真实使用者监控 (RUM, Real User Monitoring) 来改善使用者体验

建立结构化的 Log 系列文章

许多实务上的痛点，常常是收集一堆的 Logs，却不容易使用，结构化的 Logs 会是 Logs 治理的重要关键之一，这个章节介绍了 Elastic Common Schema 的设计规范及准则，可以当作我们自行管理 Logs 的很好的参考，同时也介绍当我们要将 Logs 结构化时，如何使用 Elasticsearch 内建的 Ingest Pipeline。

• (1/4) - Elastic Common Schema 结构化 Log 的规范
• (2/4) - Elasticsearch Ingest Pipeline 资料 Index 前的转换好帮手 - 基本介绍
• (3/4) - Elasticsearch Ingest Pipeline 资料 Index 前的转换好帮手 - 各种常用的 Processor
• (4/4) - Elasticsearch Ingest Pipeline 资料 Index 前的转换好帮手 - Enrich 资料与例外处理

有效的使用 Observability 的资料 系列文章

针对前面章节所收集的各种 Observability 资料，说明如何使用进阶的 Machine Learning 进行更有效的运用，并且在异常时主动通知的设定方式，以及 Observability 的资料管理，最後将分享实际参加 ElasticOn Observability Workshop 的竞赛经历，以及使用 Elastic Observability 的心得。

• (1/4) - 透过 Machine Learning 发现异常的问题
• (2/4) - 使用 Kibana Alerts 主动通知异常状况
• (3/4) - 资料的生命周期管理
• (4/4) - 使用 Elastic Observability 追纵及观察问题的心得

完赛心得

这次是乔叔第二次参加 iT邦帮忙铁人赛，不过没有学会上次的教训，并且比上次还更超过，开赛当天才开始动笔，完全没先准备，(上次参加有提早三天先写)，收到 17 封催稿信件，多次 23:59 分才赶完 PO 文的，痛苦指数比去年还高非常多，可能有一部份是去年还可以想说写不好就算了，今年多了一点去年得奖後的自己给自己的压力吧！这次写完还是觉得有许多地方不是那麽的完善、还有改进的空间，不过就继续抱持着敏捷的精神、小步快跑、持续练习、坚持产出、持续回顾与改进，希望这次的文章能帮助到对於 Observability 有兴趣，同时有在使用或是打算要使用 Elastic Stack 的中文资讯领域的读者们。

(如果有踩线奖的话，我应该要有潜力获奖…)

(不知道怎麽查每天 PO 文的时间，只好土炮从网页爬…)

想知道我这次如何订主题的章节吗？其实第一、二天在写的时候，还在思考系列文章的架构，最後想说，既然我要写的是 Elastic Observability，我就以 Elastic Certified Observability Engineer 当作挑战吧，所以就参考了认证考试的 Topics：

• Uptime
• Metrics
• Logging
• APM
• Structuring and Processing Data
• Working with Observability Data

完赛前的最後几天也直接把认证考试放进购物车完成下订，不过这阵子行程太满，接下来会找一天把考试完成，之後有机会再来分享考试的心得与结果吧！

10/27 更新
已顺利取得 Elastic Certified Observability Engineer 认证! 不枉这 30 天的铁人赛文章!

查看最新 Elasticsearch 或是 Elastic Stack 教育训练资讯: https://training.onedoggo.com
欢迎追踪我的 FB 粉丝页: 乔叔 - Elastic Stack 技术交流
不论是技术分享的文章、公开线上分享、或是实体课程资讯，都会在粉丝页通知大家哦！