Nginx反向代理Kafka集群

前言

kafka集群的网络没法被客户端直接访问，中间需要有个代理。正常网络情况下，kafka会给客户端返回所有的broker地址，如果客户端无法访问到broker就会报错，所以kafka给客户端返回的地址需要是客户端能访问的代理服务器地址。
本文的测试环境中，使用nginx来反向代理kafka集群。nginx和kafka部署在同一台机器上，使用firewalld确保只开放8000端口，拒绝机器外访问kafka的端口。

• nginx版本：1.28，IP：192.168.0.41,使用8000端口代理kafka集群
  
• kafka版本：2.13-3.9.1，使用kraft组单点集群， IP：192.168.0.41。搭建过程见我的另一篇博客 使用KRaft部署单点kafka集群。
  
• 客户端IP：192.168.0.108
  

kafka配置

因为使用的是kraft，所以修改 config/kraft/server.properties配置文件，只需要修改advertised.listeners的配置。如下，PLAINTEXT指的是客户端访问地址，CONTROLLER因为是kafka内部集群通信才用到，所以只需要修改PLAINTEXT为nginx代理地址即可。PLAINTEXT试了需要写成hostname，而不能是ip地址，否则客户端还是会报错。

1. # 旧配置，PLAINTEXT为Kakfa broker的监听地址
2. # advertised.listeners=PLAINTEXT://192.168.0.41:9092,CONTROLLER://192.168.0.41:19092
4. # 新配置，PLAINTEXT为Nginx代理服务器的地址
5. advertised.listeners=PLAINTEXT://kafka-cluster:8000,CONTROLLER://192.168.0.41:19092

复制代码

kafka 机器的/etc/hosts添加配置192.168.0.41    kafka-cluster（不确定到底要不要配置，懒得再测了，感兴趣的可以自行尝试）
配置修改完成后，重启kafka所有节点。
nginx配置

nginx需要有编译参数--with-stream才能支持TCP/UDP的反向代理，如何编译可自行搜索相关文档。

• 修改nginx/conf/nginx.conf的配置，导入conf.d目录下所有*-stream.conf的配置文件。如果配置很少，也可以直接写在nginx.conf文件里面。
  

1. stream {
2.     include conf.d/*-stream.conf;
3. }

复制代码

• 编辑nginx/conf/conf.d/kafka-stream.conf
  

1. upstream kafka-endpoints {
2.     server 192.168.0.41:9092;
3.     server 192.168.0.41:9093;
4.     server 192.168.0.41:9094;
5. }
7. server {
8.     listen 8000;
9.     proxy_pass kafka-endpoints;
10. }

复制代码

• 测试并重加载nginx配置
  

1. nginx -t
2. nginx -s reload

复制代码

firewalld配置

• 安装firewalld
  

1. sudo apt install -y firewalld

复制代码

• 设置默认zone为drop，即拒绝所有入站流量
  

1. sudo firewall-cmd --set-default-zone=drop

复制代码

• 添加放行入站端口
  

1. sudo firewall-cmd --add-port=22/tcp --add-port=80/tcp --add-port=443/tcp --add-port=8000/tcp --permanent --zone=drop

复制代码

• 重加载
  

1. sudo firewall-cmd --reload

复制代码

• 在客户端测试能否访问其它端口。结果不为0即访问失败。
  

1. timeout 1 bash -c "cat < /dev/null > /dev/tcp/192.168.0.41/9092" > /dev/null 2>&1;echo $?

复制代码

客户端配置

• 修改/etc/hosts，添加配置
  

1. 192.168.0.41    kafka-cluster

复制代码

• 使用kafka自带工具启动生产者
  

1. ./bin/kafka-console-producer.sh --broker-list kafka-cluster:8000 --topic testtopic

复制代码

• 在另一个终端启动消费者
  

1. ./bin/kafka-console-consumer.sh --bootstrap-server kafka-cluster:8000 --topic testtopic --from-beginning

复制代码

• 在生产者终端随便输入点字符，如果消费者终端也能看到，说明nginx代理成功。
  

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！