返璞归真--从零开始建设k8s监控之thanos-sidecar（七）
前言本文详细讨论一下thanos-sidecar
环境准备
组件版本操作系统Ubuntu 22.04.4 LTSdocker24.0.7thanos0.36.1thanos概述
thanos主要有4个组件
[*]receive：独立部署，提供了数据写入的api，prometheus通过这个api把数据推送到receive的对象存储
[*]sidecar：与prometheus部署在一起，成为prometheus的sidecar，负责把prometheus本地的数据上传至对象存储当中
[*]query：独立部署，是一个兼容了prometheus的查询组件，汇总了来自不同来源的查询结果，并且可以从Sidecar和Store中读取数据
[*]store：独立部署，提供了对象数据存储功能，并且提供相关的api，query通过该api查询历史数据
sidecar模式
Sidecar 与prometheus绑定在一起，负责处理与其绑定的prometheus各种监控数据的处理
1. k8s安装sidecar
1.1 改造prometheus configmap
加入重要的external label
apiVersion: v1
kind: ConfigMap
metadata:
name: prometheus-cm
labels:
name: prometheus-cm
namespace: prometheus
data:
prometheus.yml: |-
global:
scrape_interval: 5s
evaluation_interval: 5s
# 新增外部标签
external_labels:
cluster: "prometheus-k8s"
# 新增结束
scrape_configs:
- job_name: 'prometheus'
static_configs:
- targets: ['localhost:9090']
- job_name: "prometheus-kube-state-metrics"
static_configs:
- targets: ["kube-state-metrics.kube-system:8080"]1.2 改造prometheus deployment
加入thanos sidecar
apiVersion: apps/v1
kind: Deployment
metadata:
name: prometheus-deploy
namespace: prometheus
labels:
app: prometheus
spec:
replicas: 1
selector:
matchLabels:
app: prometheus
template:
metadata:
labels:
app: prometheus
spec:
containers:
- name: prometheus
image: registry.cn-beijing.aliyuncs.com/wilsonchai/prometheus:v2.54.1
args:
- "--storage.tsdb.retention.time=12h"
- "--config.file=/etc/prometheus/prometheus.yml"
- "--storage.tsdb.path=/prometheus/"
- "--storage.tsdb.min-block-duration=30m"
- "--storage.tsdb.max-block-duration=30m"
- --web.enable-lifecycle
ports:
- containerPort: 9090
resources:
requests:
cpu: 500m
memory: 500M
limits:
cpu: 1
memory: 1Gi
volumeMounts:
- name: prometheus-config
mountPath: /etc/prometheus/
- name: prometheus-data
mountPath: /prometheus
# 新增thanos-sidecar
- name: thanos
image: registry.cn-beijing.aliyuncs.com/wilsonchai/thanos:0.36.1
args:
- "sidecar"
- "--prometheus.url=http://localhost:9090"
- "--tsdb.path=/prometheus"
volumeMounts:
- name: prometheus-data
mountPath: /prometheus
# 新增结束
volumes:
- name: prometheus-config
configMap:
defaultMode: 420
name: prometheus-cm
- emptyDir: {}
name: prometheus-data1.3 新增thanos的service
apiVersion: v1
kind: Service
metadata:
name: thanos-sidecar-service
namespace: prometheus
spec:
ports:
- name: thanos-sidecar-port
port: 10901
protocol: TCP
targetPort: 10901
selector:
app: prometheus
type: NodePort照葫芦画瓢，改造另一个prometheus，专门采集node监控数据的
2. 部署thanos-query
docker run -d --net=host \
--name thanos-query \
registry.cn-beijing.aliyuncs.com/wilsonchai/thanos:0.36.1 \
query \
--http-address "0.0.0.0:39090" \
--grpc-address "0.0.0.0:39091" \
--store "192.168.49.2:30139" \
--store "192.168.49.2:31165"需要注意一下192.168.49.2:30139与192.168.49.2:31165，这里ip是thanos-sidecar所在pod的node ip，端口则是映射出来的nodeport
打开thanos-query页面检查
3. 部署对象存储minio
3.1 部署方式同receive
3.2 新增sidecar configmap
首先准备bucket.yml，由于thanos-sidecar在k8s里面，所以做成configmap
apiVersion: v1
kind: ConfigMap
metadata:
name: bucket-cm
labels:
name: bucket-cm
namespace: prometheus
data:
bucket.yml: |-
type: S3
config:
bucket: "wilson-test"
endpoint: "10.22.11.156:9090"
access_key: "zzUrkBzyqcCDXySsMLlS"
secret_key: "nWCcztESnxnUZIKSKsELGEFdg6l6fjzhtqkARJB8"
insecure: true3.3 改造thanos-sidecar
apiVersion: apps/v1
kind: Deployment
metadata:
name: prometheus-deploy
namespace: prometheus
labels:
app: prometheus
spec:
replicas: 1
selector:
matchLabels:
app: prometheus
template:
metadata:
labels:
app: prometheus
spec:
containers:
- name: prometheus
image: registry.cn-beijing.aliyuncs.com/wilsonchai/prometheus:v2.54.1
args:
- "--storage.tsdb.retention.time=12h"
- "--config.file=/etc/prometheus/prometheus.yml"
- "--storage.tsdb.path=/prometheus/"
- "--storage.tsdb.min-block-duration=30m"
- "--storage.tsdb.max-block-duration=30m"
- --web.enable-lifecycle
ports:
- containerPort: 9090
resources:
requests:
cpu: 500m
memory: 500M
limits:
cpu: 1
memory: 1Gi
volumeMounts:
- name: prometheus-config
mountPath: /etc/prometheus/
- name: prometheus-data
mountPath: /prometheus
- name: thanos
image: registry.cn-beijing.aliyuncs.com/wilsonchai/thanos:0.36.1
args:
- "sidecar"
- "--prometheus.url=http://localhost:9090"
- "--tsdb.path=/prometheus"
- "--objstore.config-file=/etc/thanos/bucket.yml"
volumeMounts:
- name: prometheus-data
mountPath: /prometheus
- name: bucket-config
mountPath: /etc/thanos/
volumes:
- name: prometheus-config
configMap:
defaultMode: 420
name: prometheus-cm
- name: bucket-config
configMap:
defaultMode: 420
name: bucket-cm
- emptyDir: {}
name: prometheus-data由于上传对象存储的时间是30m，所以我们先继续下面的步骤，一会回头过来再回来检查minio中是否有文件上传
4. 部署thanos-store
部署方式同receive
调整thanos-query的配置，新增thanos-store的地址
docker run -d --net=host \
--name thanos-query \
registry.cn-beijing.aliyuncs.com/wilsonchai/thanos:0.36.1 \
query \
--http-address "0.0.0.0:39090" \
--grpc-address "0.0.0.0:39091" \
--store "192.168.49.2:30139" \
--store "192.168.49.2:31165" \ --store "10.22.11.156:10901"添加完毕后，检查thanos-query的web页面
5. pod权限调整
万事俱备，回头去看看minio是否有文件上传，打开之后空空如也，怎么回事，去看一下thanos-sidecar的日志
▶ kubectl -n prometheus logs prometheus-deploy-6f8c5549b9-rqqk6 -c thanos
...
ts=2024-10-30T06:03:23.704299583Z caller=sidecar.go:410 level=warn err="upload 01JBDQNT0RZH4GFCFC564RWZT7: hard link block: hard link file chunks/000001: link /prometheus/01JBDQNT0RZH4GFCFC564RWZT7/chunks/000001 /prometheus/thanos/upload/01JBDQNT0RZH4GFCFC564RWZT7/chunks/000001: operation not permitted" uploaded=0怎么回事？没有权限，冷静分析一下thanos-sidecar的上传逻辑
[*]首先数据文件是由prometheus产生的，thanos-sidecar上传文件应该直接使用prometheus产生的数据文件，这样是最简便的策略，不需要把文件复制到自己的目录，带来额外的磁盘消耗，
[*]由于1个pod当中有2个container，带来的问题就是启动进程的用户与组是不一样的，再加上prometheus与thanos-sidecar使用同一个目录/prometheus，2个pod分别在该目录下创建的子目录或文件权限不一致，到此初步判断是 因为2个pod不同的启动用户导致权限有问题
[*]登录到prometheus的pod之后进入/prometheus证实
/prometheus $ ls -lrt
total 44
-rw-r--r-- 1 nobody nobody 20001 Oct 30 02:46 queries.active
-rw-r--r-- 1 nobody nobody 0 Oct 30 02:46 lock
-rw-r--r-- 1 1001 root 37 Oct 30 03:31 thanos.shipper.json
drwxr-xr-x 3 nobody nobody 4096 Oct 30 03:31 01JBDQNT0RZH4GFCFC564RWZT7
[*]再加上日志，源文件是在/prometheus下，而thanos-sidecar会在/prometheus/thanos/下对源文件创建硬链接，先检查一下源文件
/prometheus/01JBDQNT0RZH4GFCFC564RWZT7/chunks $ ls -lrt
total 96
-rw-r--r-- 1 nobody nobody 88911 Oct 30 03:31 000001
[*]源文件没有组的写权限，垂死病中惊坐起！创建硬链接是需要写权限的，快速验证一下
▶ id
uid=1000(wilson) gid=1000(wilson) groups=1000(wilson)
▶ touch /tmp/test
▶ sudo chown root.root /tmp/test
▶ sudo chmod 644 /tmp/test
▶ ln /tmp/test /tmp/ttttt
ln: failed to create hard link '/tmp/ttttt' => '/tmp/test': Operation not permitted到此为止，问题已经比较明朗了，1个pod的2个container，使用了不同的启动用户，创建出来的文件是不同用户的权限，同时他们共享了同一个目录，而prometheus创建的数据文件是644的权限，没有三方写权限。而thanos-sidecar需要把prometheus创建的数据文件创建硬链接到自己的目录，由于没有写权限，创建硬链接失败
解决方案有很多种，这里给出最简单的一种，因为是部署在k8s中的1个pod，只需要指定同一个启动用户去启动不同container即可
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app: prometheus
name: prometheus-deploy
namespace: prometheus
spec:
...
template:
...
spec:
securityContext:
runAsUser: 555
containers:
...加入securityContext，并且随便指定一个用户id，这里我随便指定了一个555，重启之后再登录prometheus查看
问题解决
联系我
[*]联系我，做深入的交流
至此，本文结束
在下才疏学浅，有撒汤漏水的，请各位不吝赐教...
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
页:
[1]