day10 : 追踪服务

昨天完成了log集中收拢的机，今天就来完成Observability的最後一块拼图tracing，tracing其实同样是分为一个发送tracing资料的来源跟接收的server端，来源的做法有很多种，因为day 5的时候透过rancher的介面安装好了istio+jaeger，今天就来配置管理这些tracing讯息的server。

管理工具有好几种可以选择像是opentelemetry、tempo等等...，因为grafana特别推出这个关於tracing的管理，所以我采用这个架构，以下就是来自官网上的架构图

应该不难发现，这个架构跟loki非常的相似，所以可以透过几乎同样的配置方式做出来tempo的架构唷，那就先来一个小demo尝试看看tempo吧，首先利用前几天的介绍，创造一个新的cluster出来，并运行下面的指令。
https://github.com/grafana/tempo/tree/main/example/helm

helm repo add grafana https://grafana.github.io/helm-charts
helm repo update
helm upgrade --set traces.jaeger.thriftHttp=true --install tempo grafana/tempo-distributed
helm upgrade -f microservices-grafana-values.yaml --install grafana grafana/grafana
kubectl create -f microservices-extras.yaml

有没有发现元件昨天的loki很相似，并且可以在comfigmap的设定中发现jaeger和storage的配置方法。

接着为了将使用rancher安装的jaeger all-in-one连接到tempo，来简单解释一下jaeger的tracing机制，jaeger all-in-one的设计上会提供16686/TCP这个port做为观看介面，收拢了tracing的资讯

但是这个不是给tempo使用的，在这边如果不使用tempo的话可以直接在grafana加入来源jaeger:16868的datasource来看资讯，但是因为缺少资料储存设计，所以并没有那麽优秀。

要改为给tempo使用的话，要些微的挑整一下deployment设定和tempo的service，要将deployment.apps/rancher-istio-tracing中加入env JAEGER_AGENT_HOST 调整为tempo的distributor元件，另外将service/tempo-tempo-distributed-distributor加入jaeger agent的default port 6381，这样调整的概念会像是下面这样，将原本丢到jaeger agent的线调整到tempo distributor。

接着调整storage的设定储存到minio上(如下)

        backend: s3
        s3:
            bucket: tempo
            endppoint:minio_ip:port
            access_key: minioadmin
            secret_key: minioadmin

最後就是将tempo的tempo-tempo-distributed-query-frontend对外暴露出来，让外部的grafana能够设定为datasource，这样在grafana上就可以将pod的metric、log、tracing都查询的到罗。