【Kubernetes】集成ELK收集日志

Kubernetes集成ELK日志

由于我们使用Helm部署ELK，这里将分别部署Elasticsearch、Kibana和Logstash。同时，我们还需要部署Filebeat作为日志收集器
步骤：

• 添加Elastic Helm仓库
  
• 部署Elasticsearch
  
• 部署Kibana
  
• 部署Logstash（可选，因为Filebeat也可以直接发送到Elasticsearch，但通常用于更复杂的处理）
  
• 部署Filebeat
  

各组件说明
Elasticsearch: 一个分布式、RESTful 风格的搜索和分析引擎。它是整个架构的核心，负责存储、搜索和分析从各种来源收集来的海量数据
Kibana: 一个为 Elasticsearch 设计的开源数据可视化和管理工具。用户可以通过 Kibana 在网页上直接与 Elasticsearch 中的数据交互
Logstash: 一个服务器端的数据处理管道，可以同时从多个来源接收数据，对数据进行转换和丰富，然后将其发送到像 Elasticsearch 这样的“存储库”中
Filebeat: 一个轻量级的、用于转发和集中日志数据的工具。Filebeat 被安装在需要收集日志的服务器上，监视指定的日志文件或位置，并将日志事件转发到 Logstash 或 Elasticsearch 进行索引
一个最常见的数据流是这样的：
应用日志 --> Filebeat --> Logstash --> Elasticsearch --> Kibana
前置条件

• 一个正在运行的 Kubernetes 集群。
  

参考: k8s入门

• 已安装 kubectl 并配置好对集群的访问
  

参考: macOS上优雅运行Docker容器

• 已安装 Helm。
  

参考: k8s使用helm简化安装

部署ELK Stack到Kubernetes

1. 添加Elastic Helm仓库

1. # 添加Elastic官方仓库
2. helm repo add elastic https://helm.elastic.co
3. helm repo update elastic

复制代码

2. 创建命名空间

1. kubectl create namespace logging

复制代码

3. 部署Elasticsearch

3.1 创建自定义values文件

elasticsearch-values.yaml

1. # elasticsearch-values.yaml
2. clusterName: "elasticsearch"
3. nodeGroup: "master"
5. replicas: 2
7. # 资源配置
8. resources:
9.   requests:
10.     cpu: "1000m"
11.     memory: "2Gi"
12.   limits:
13.     cpu: "2000m"
14.     memory: "4Gi"
16. # 持久化配置
17. volumeClaimTemplate:
18.   accessModes: [ "ReadWriteOnce" ]
19.   storageClassName: "local-path"  # 根据你的存储类修改
20.   resources:
21.     requests:
22.       storage: 50Gi
24. # 配置参数
25. esConfig:
26.   elasticsearch.yml: |
27.     xpack.security.enabled: true
28.     xpack.monitoring.collection.enabled: true
30. # 环境变量
31. extraEnvs:
32.   - name: "ES_JAVA_OPTS"
33.     value: "-Xms2g -Xmx2g"
35. # 启用服务
36. service:
37.   type: ClusterIP
38.   loadBalancerIP: ""
40. # 安全配置
41. secret:
42.   enabled: true
43.   passwords:
44.     elastic: "admin123!"  # 修改为强密码
46. # 探针配置
47. readinessProbe:
48.   failureThreshold: 3
49.   initialDelaySeconds: 10
50.   periodSeconds: 10
51.   successThreshold: 3
52.   timeoutSeconds: 5
54. livenessProbe:
55.   failureThreshold: 3
56.   initialDelaySeconds: 10
57.   periodSeconds: 10
58.   successThreshold: 3
59.   timeoutSeconds: 5

复制代码

3.2 部署Elasticsearch

1. helm install elasticsearch elastic/elasticsearch \
2.   --namespace logging \
3.   --values elasticsearch-values.yaml \
4.   --version 8.5.1

复制代码

3.3 验证Elasticsearch部署

1. # 检查Pod状态
2. kubectl get pods -n logging -l app=elasticsearch-master
4. # 检查服务
5. kubectl get svc -n logging
7. # 端口转发
8. kubectl port-forward svc/elasticsearch-master -n logging 9200:9200
10. # curl
11. curl -u elastic:elastic123! http://localhost:9200

复制代码

正常应该有下面这样输出

1. {
2.   "name" : "elasticsearch-master-0",
3.   "cluster_name" : "elasticsearch",
4.   "cluster_uuid" : "iZdUU_7eSDGOtwcg6KqRaQ",
5.   "version" : {
6.     "number" : "7.17.3",
7.     "build_flavor" : "default",
8.     "build_type" : "docker",
9.     "build_hash" : "5ad023604c8d7416c9eb6c0eadb62b14e766caff",
10.     "build_date" : "2022-04-19T08:11:19.070913226Z",
11.     "build_snapshot" : false,
12.     "lucene_version" : "8.11.1",
13.     "minimum_wire_compatibility_version" : "6.8.0",
14.     "minimum_index_compatibility_version" : "6.0.0-beta1"
15.   },
16.   "tagline" : "You Know, for Search"
17. }

复制代码

4. 部署Kibana

4.1 创建Kibana values文件

kibana-values.yaml

1. # kibana-values.yaml
2. elasticsearchHosts: "http://elasticsearch-master.logging.svc.cluster.local:9200"
4. # 服务配置
5. service:
6.   type: LoadBalancer  # 或者使用NodePort/ClusterIP + Ingress
7.   loadBalancerIP: ""
8.   port: 5601
10. # Elasticsearch连接配置
11. elasticsearch:
12.   username: "elastic"
13.   password: "YourElasticPassword123"  # 与Elasticsearch相同的密码
15. # 配置参数
16. kibanaConfig:
17.   kibana.yml: |
18.     server:
19.       name: kibana
20.       host: "0.0.0.0"
21.     monitoring:
22.       ui:
23.         enabled: true
24.     xpack:
25.       security:
26.         enabled: true
28. # 探针配置
29. readinessProbe:
30.   httpGet:
31.     path: /api/status
32.     port: 5601
33.   initialDelaySeconds: 10
34.   timeoutSeconds: 5
35.   periodSeconds: 10
37. livenessProbe:
38.   httpGet:
39.     path: /api/status
40.     port: 5601
41.   initialDelaySeconds: 10
42.   timeoutSeconds: 5
43.   periodSeconds: 30

复制代码

4.2 部署Kibana

1. helm install kibana elastic/kibana \
2.   --namespace logging \
3.   --values kibana-values.yaml \
4.   --version 7.17.3

复制代码

4.3 访问Kibana

1. kubectl get svc -n logging kibana-kibana
3. kubectl port-forward -n logging svc/kibana-kibana 5601:5601

复制代码

访问 http://localhost:5601，用户名：elastic，密码：elastic123!
4.4 使用Ingress暴露Kibana

kibana-ingress.yaml

1. apiVersion: networking.k8s.io/v1
2. kind: Ingress
3. metadata:
4.   name: kibana-ingress
5.   namespace: logging
6.   annotations:
7.     nginx.ingress.kubernetes.io/rewrite-target: /
8.     nginx.ingress.kubernetes.io/ssl-redirect: "false"
9.     nginx.ingress.kubernetes.io/force-ssl-redirect: "false"
10. spec:
11.   ingressClassName: nginx
12.   rules:
13.   - host: kibana.wilson.local
14.     http:
15.       paths:
16.       - path: /
17.         pathType: Prefix
18.         backend:
19.           service:
20.             name: kibana-kibana
21.             port:
22.               number: 5601

复制代码

部署Kibana Ingress

1. kubectl apply -f kibana-ingress.yaml

复制代码

5. 部署Filebeat

5.1 创建Filebeat values文件

创建 filebeat-values.yaml

1. # filebeat-values-clean.yaml
2. clusterRoleRules:
3.   - apiGroups: [coordination.k8s.io]
4.     resources: [leases]
5.     verbs: ['get', 'create', 'update']
6.   - apiGroups: [""]
7.     resources: ["nodes", "nodes/stats", "events", "endpoints", "pods", "services"]
8.     verbs: ["get", "list", "watch"]
10. # 如果不需要采集容器日志，可以注释掉以下部分
11. daemonset:
12.   enabled: true
13.   # 确保卷定义不重复
14.   volumes:
15.     - name: varlog
16.       hostPath:
17.         path: /var/log
18.     - name: varlibdockercontainers
19.       hostPath:
20.         path: /var/lib/docker/containers
21.     - name: varlogpods
22.       hostPath:
23.         path: /var/log/pods
24.     - name: varlibcontainers
25.       hostPath:
26.         path: /var/lib/containers
28.   volumeMounts:
29.     - name: varlog
30.       mountPath: /var/log
31.       readOnly: true
32.     - name: varlibdockercontainers
33.       mountPath: /var/lib/docker/containers
34.       readOnly: true
35.     - name: varlogpods
36.       mountPath: /var/log/pods
37.       readOnly: true
38.     - name: varlibcontainers
39.       mountPath: /var/lib/containers
40.       readOnly: true
42.   # 环境变量配置 - 确保不重复
43.   env:
44.     - name: NODE_NAME
45.       valueFrom:
46.         fieldRef:
47.           fieldPath: spec.nodeName
49. filebeatConfig:
50.   filebeat.yml: |
51.     filebeat.inputs:
52.     - type: container
53.       paths:
54.         - /var/log/containers/*.log
55.       processors:
56.         - add_kubernetes_metadata:
57.             host: ${NODE_NAME}
58.             matchers:
59.             - logs_path:
60.                 logs_path: "/var/log/containers/"
62.     output.elasticsearch:
63.       hosts: ['elasticsearch-master:9200']
64.       username: "elastic"
65.       password: "elastic123!"

复制代码

5.2 部署Filebeat

1. helm install filebeat elastic/filebeat \
2.   --namespace logging \
3.   --values filebeat-values.yaml \
4.   --version 7.17.3

复制代码

5.3  验证Filebeat部署

1. kubectl get pods --namespace=logging -l app=filebeat-filebeat -w
3. kubectl get svc -n logging

复制代码

6. 部署Logstash

6.1 创建Logstash values文件

创建 logstash-values.yaml
6.2 部署Logstash

1. helm install logstash elastic/logstash \
2.   --namespace logging \
3.   --values logstash-values.yaml \
4.   --version 7.17.3

复制代码

6.3 验证Logstash部署

1. kubectl get pods --namespace=logging -l app=logstash-logstash -w

复制代码

测试日志收集

1. kubectl run test-logger --image=busybox --restart=Never -- /bin/sh -c 'i=0; while true; do echo "$(date) - Test log message $i"; i=$((i+1)); sleep 5; done'

复制代码

在Kibana中创建索引模式并查看日志

Java应用日志写入ELK

1. Java应用 → 日志文件 → Filebeat → Logstash → Elasticsearch → Kibana

复制代码

添加依赖

1. <dependency>
2.     <groupId>net.logstash.logback</groupId>
3.     logstash-logback-encoder</artifactId>
4.     <version>7.4</version>
5. </dependency>

复制代码

Logback 配置

1. <?xml version="1.0" encoding="UTF-8"?>
2. <configuration>
3.    
4.    
5.         <encoder>
6.             <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
7.         </encoder>
8.     </appender>
10.    
11.    
12.         <file>logs/app.log</file>
13.         <rollingPolicy >
14.             <fileNamePattern>logs/app.%d{yyyy-MM-dd}.%i.log</fileNamePattern>
15.             <maxHistory>30</maxHistory>
16.             <timeBasedFileNamingAndTriggeringPolicy >
17.                 <maxFileSize>100MB</maxFileSize>
18.             </timeBasedFileNamingAndTriggeringPolicy>
19.         </rollingPolicy>
20.         <encoder>
21.             <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
22.         </encoder>
23.     </appender>
25.    
26.    
27.         <file>logs/logstash.json</file>
28.         <rollingPolicy >
29.             <fileNamePattern>logs/logstash.%d{yyyy-MM-dd}.%i.json</fileNamePattern>
30.             <maxHistory>7</maxHistory>
31.             <timeBasedFileNamingAndTriggeringPolicy >
32.                 <maxFileSize>100MB</maxFileSize>
33.             </timeBasedFileNamingAndTriggeringPolicy>
34.         </rollingPolicy>
35.         <encoder >
36.             <providers>
37.                 <timestamp/>
38.                 <version/>
39.                 <logLevel/>
40.                 <loggerName/>
41.                 <message/>
42.                 <mdc/>
43.                 <stackTrace/>
44.                 <threadName/>
45.                 <pattern>
46.                     <pattern>
47.                         {
48.                             "app": "spring-k8s-demo",
49.                             "env": "${ENV:-dev}"
50.                         }
51.                     </pattern>
52.                 </pattern>
53.             </providers>
54.         </encoder>
55.     </appender>
57.     <root level="INFO">
58.         
59.         
60.         
61.     </root>
62. </configuration>

复制代码

应用写入日志

1. @GetMapping("/")
2. public String hello() {
3.   if (firstTime == null) {
4.     firstTime = new Date();
5.   }
6.   // 测试日志
7.   logger.info("request in " + formatter.format(new Date()));
8.   return "Hello from Spring Boot on Kubernetes! first time: " + formatter.format(firstTime);
9. }

复制代码

Kibana 搜索日志

清理资源

1. # 删除所有ELK组件
2. helm uninstall filebeat -n logging
3. helm uninstall logstash -n logging
4. helm uninstall kibana -n logging
5. helm uninstall elasticsearch -n logging
7. # 删除命名空间
8. kubectl delete namespace logging
10. # 清理持久卷（如果不再需要）
11. kubectl delete pvc -n logging --all

复制代码

引用

https://github.com/WilsonPan/java-developer
例子： https://github.com/WilsonPan/java-developer/k8s/logging

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！