Kind 环境下 Flannel IPsec 模式跨节点通信故障排查流程
环境信息部署方式Docker + KindK8s 版本v1.27.3CNIFlannel IPsec 模式节点网络172.18.0.0/16（Docker bridge）问题现象
同节点 Pod 通信正常，跨节点 Pod 通信卡住超时：
# 同节点访问正常docker exec flannel-ipsec-control-plane curl -s 10.244.0.4PodName: Pod-1 | PodIP: eth0 10.244.0.4/24# 跨节点访问卡住docker exec flannel-ipsec-control-plane curl -s 10.244.1.7# 无响应...检查 IPsec 状态，SA 未建立：
docker exec flannel-ipsec-control-plane ip xfrm state# 空排查过程
查看 Flannel 日志
control-plane 节点：
kubectl logs -n kube-system kube-flannel-ds-cd8rf06 loaded IKE shared key for: '172.18.0.3'13 loaded IKE shared key for: '172.18.0.2'07 received packet: from 172.18.0.1 to 172.18.0.3 (720 bytes)07 no IKE config found for 172.18.0.3...172.18.0.1, sending NO_PROPOSAL_CHOSENworker 节点：
kubectl logs -n kube-system kube-flannel-ds-gk7pl11 sending packet: from 172.18.0.2 to 172.18.0.3 (720 bytes)04 received packet: from 172.18.0.1 to 172.18.0.2 (720 bytes)04 no IKE config found for 172.18.0.2...172.18.0.1, sending NO_PROPOSAL_CHOSEN发现问题：
IKE 包经过 Docker bridge 时，源 IP 被 SNAT 成了网关地址。
预期源 IP实际源 IP172.18.0.2 (worker)172.18.0.1 (网关)172.18.0.3 (control-plane)172.18.0.1 (网关)检查 iptables NAT 规则
iptables -t nat -L POSTROUTING -n -vChain POSTROUTING (policy ACCEPT 0 packets, 0 bytes) pkts bytes target prot opt inout source destination706 42360 MASQUERADE 0 --* !br-822761cba2a3172.18.0.0/16 0.0.0.0/0269 19012 MASQUERADE 0 --* !br-64b0f4dac739172.18.0.0/16 0.0.0.0/0按规则字面意思，出口不是网桥 !br-xxx 才触发 MASQUERADE，同网桥转发不应该 NAT。
但问题是：K8s 部署时需要开启 bridge-nf-call-iptables = 1，导致网桥转发流量也会经过 iptables，触发了 MASQUERADE。
cat /proc/sys/net/bridge/bridge-nf-call-iptables# 1流量示意：
flowchart TB subgraph s1 ["bridge-nf-call-iptables=0"] direction LR A1[容器A] --> B1[网桥] B1 --> C1[容器B] style B1 fill:#90EE90 end subgraph s2 ["bridge-nf-call-iptables=1"] direction LR A2[容器A] --> B2[网桥] B2 --> C2 C2 -->|MASQUERADE| D2[容器B] style C2 fill:#FFB6C1 end问题原因
Kind 环境下，K8s 节点本身是 Docker 容器，通过网桥互联。bridge-nf-call-iptables = 1 导致同网桥转发的流量也经过 iptables，触发 Docker 的 MASQUERADE 规则，源 IP 被改成网关 IP（172.18.0.1），Flannel IPsec 的 IKE 协商因此失败。
注：这是 Kind 环境特有的问题，kubeadm 部署的物理机/VM 环境不经过 Docker 网桥，不会遇到类似问题。
解决方案
在宿主机添加 iptables 规则，让同网段流量跳过 MASQUERADE：
iptables -t nat -I POSTROUTING -s 172.18.0.0/16 -d 172.18.0.0/16 -j ACCEPT规则说明：
参数含义-t nat操作 NAT 表-I POSTROUTING插入到 POSTROUTING 链最前面（优先级最高）-s 172.18.0.0/16匹配源 IP-d 172.18.0.0/16匹配目的 IP-j ACCEPT直接接受，跳过后续规则添加后验证：
iptables -t nat -L POSTROUTING -n -vChain POSTROUTING (policy ACCEPT 0 packets, 0 bytes) pkts bytes target prot opt inout source destination 192648 ACCEPT 0 --* * 172.18.0.0/16 172.18.0.0/16706 42360 MASQUERADE 0 --* !br-822761cba2a3172.18.0.0/16 0.0.0.0/0269 19012 MASQUERADE 0 --* !br-64b0f4dac739172.18.0.0/16 0.0.0.0/0重启 Flannel 触发重新协商：
kubectl rollout restart daemonset -n kube-system kube-flannel-ds验证 SA 已建立：
# docker exec flannel-ipsec-control-plane ip xfrm statesrc 172.18.0.3 dst 172.18.0.2 proto esp spi 0xc1115682 reqid 11 mode tunnel replay-window 0 flag af-unspec aead rfc4106(gcm(aes)) 0x217a8659909ac029fb600b7cab791ee5b31d3563 128 anti-replay context: seq 0x0, oseq 0x0, bitmap 0x00000000src 172.18.0.2 dst 172.18.0.3 proto esp spi 0xc3b69836 reqid 11 mode tunnel replay-window 32 flag af-unspec aead rfc4106(gcm(aes)) 0xfaa2ea9f4bfb893623ce9fc5aac9ae6646913ee7 128 anti-replay context: seq 0x0, oseq 0x0, bitmap 0x00000000src 172.18.0.3 dst 172.18.0.2 proto esp spi 0xc9b2e230 reqid 11 mode tunnel replay-window 0 flag af-unspec aead rfc4106(gcm(aes)) 0x93c09105fd818db55e1b2d730fd31ff989fd33c2 128 anti-replay context: seq 0x0, oseq 0x0, bitmap 0x00000000src 172.18.0.2 dst 172.18.0.3 proto esp spi 0xc709b48b reqid 11 mode tunnel replay-window 32 flag af-unspec aead rfc4106(gcm(aes)) 0x60697edd7c58b57220c15d3b9d41851a206d4e4e 128 anti-replay context: seq 0x0, oseq 0x0, bitmap 0x00000000跨节点 Pod 通信测试：
docker exec flannel-ipsec-control-plane curl -s 10.244.1.7# PodName: Pod-0 | PodIP: eth0 10.244.1.7/24问题总结
[*]NO_PROPOSAL_CHOSEN 不一定是算法协商问题，也可能是 IP 不匹配
[*]排查 IPsec 问题时，关注 日志中的实际源/目的 IP
[*]Kind 环境的网络行为与物理机不同，遇到问题时优先考虑 Docker 网桥的影响
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！ 感谢分享，下载保存了，貌似很强大
页:
[1]