day6 : metric应用

昨天透过rancher帮助下完成了metric的必要工具，基於管理考量kubernetes内的grafana不会expose出来，真正让SRE进行服务观察的会由外部的grafana管理，内部的则是提供给istio使用。

先来一张图介绍什麽是prometheus、grafana、alert manager、prometheus-operator

透过prometheus-operator是透过crd的方式自动的监看pod的变化并通知prometheus server资源要搜集的target list，这一部分实际的作业会透过更新rule file的方式让prometheus能够自动的发现新的resources，并由grafana将prometheus data的资讯用图表的方式表现出来

在kubernetes内其实并没有内建把服务expose出来，所以要从外部使用这些介面需要一些手段，今天先介绍最基本的port-foward的暂时性作法，之後会介绍如何透过ingress的方式让外部能够使用

kubectl --namespace cattle-monitoring-system port-forward service/rancher-monitoring-prometheus --address 0.0.0.0 9090

kubectl --namespace cattle-monitoring-system port-forward service/rancher-monitoring-grafana --address 0.0.0.0 80

kubectl --namespace cattle-monitoring-system port-forward service/rancher-monitoring-alertmanager --address 0.0.0.0 9093

上面三个指令分别可以让人存取到prometheus(IP:9090/targets)、grafana(IP:80 预设帐号密码admin / prom-operator)、alertmanager(IP:9093)。

有了expose的网址後，要在外部的grafana将prometheus做为来源资料库搜集cluster的资讯

1. 首先来安装grafana，可以在https://grafana.com/grafana/download 的页面下载离线安装的rpm，然後在主机上yum install grafana-8.0.6-1.x86_64.rpm，启动grafana-server.service，预设的登入帐号密码是admin/admin。
2. 设定datasource，选择prometheus为来源，并将刚刚的prometheus资讯写入grafana ip的栏位。
   

之後就可以透过这一台grafana做为多套的k8s cluster的统一监控平台罗。