撸一个功能强大的基于语义的图像检索系统

​
视频演示：

撸一个功能强大的基于语义的图像检索系统

---

 
大家好，这里是Coding茶水间。
在上一期视频中，我们介绍了Ultralytics框架下最新更新的语义检索功能，只需本地3行代码，就能构建一个基于文本语义的图像检索网站。
然而，框架自带的界面较为固定，如果需要自定义界面，还需额外开发；
此外，对中文支持不佳，使用中文检索时结果往往偏差；
还有小伙伴提出，能否实现以图搜图功能？
本期视频针对这些问题进行完善，如果你还没看过上一期，建议先回顾一下。
自定义界面的搭建

Ultralytics框架的VisualAISearch功能强大，但存在以下局限：

• 界面固定：框架提供的界面无法满足个性化需求，需要自行编写GUI。
  
• 中文支持差：直接用中文查询，语义理解不准，导致检索结果不理想。
  
• 缺少以图搜图：原生仅支持文本检索，无法直接用图像查询相似图像。
  

本期我们构建了一个自定义界面，支持文本检索（兼容中文）和图像检索，全基于语义理解。

基于Kimi的中文转英文

我们使用PyQt5构建图形界面，集成Ultralytics的搜索功能，并借助Kimi AI处理中文翻译。
1. 中文测试

界面支持：

• 文本检索：输入中文描述，如“一只欢乐的奔跑的狗”，系统后台自动翻译成英文后检索。
  
• 图像检索：上传图像，系统基于语义相似度返回相似度最高的8个图像。
  
• 显示相似度，并在网格中展示结果图像。
  

检索速度快，文本检索的主要耗时在翻译网络请求上，实际搜索实时完成。
2. 集成Kimi AI

上文中我们搜索的时候，直接输入的是中文。
但是原模型对中文支持比较差，我们用Kimi AI翻译输入为英文。新用户注册Kimi获15元额度，足够多次翻译。注册后创建API Key，填入代码即可。

翻译类（KimiTranslator.py）：
python

1. import requests
3. class KimiTranslator:
4.     def __init__(self, api_key):
5.         self.api_key = api_key
7.     def translate(self, text):
8.         if not self.api_key:
9.             raise ValueError("API key is empty")
10.         
11.         url = "https://api.moonshot.ai/v1/chat/completions"
12.         headers = {
13.             "Authorization": f"Bearer {self.api_key}",
14.             "Content-Type": "application/json"
15.         }
16.         data = {
17.             "model": "moonshot-v1-8k",
18.             "messages": [
19.                 {"role": "system", "content": "You are a helpful and precise assistant for translating Chinese to English."},
20.                 {"role": "user", "content": f"Translate the following Chinese text to English: {text}"}
21.             ],
22.             "temperature": 0.3
23.         }
24.         
25.         response = requests.post(url, headers=headers, json=data)
26.         if response.status_code == 200:
27.             return response.json()["choices"][0]["message"]["content"]
28.         else:
29.             raise Exception(f"Error: {response.status_code} - {response.text}")

复制代码

核心代码实现

主窗口类（MainWindow）继承PyQt5，初始化搜索器并连接按钮信号。
完整代码：
python

1. import sys
2. from PyQt5 import QtWidgets
3. import cv2
4. from PyQt5.QtGui import *
5. from PyQt5.QtCore import *
6. import numpy as np
7. from PyQt5.QtWidgets import *
8. from ultralytics import solutions
9. import os
10. from main_window import Ui_MainWindow
11. from KimiTranslator import KimiTranslator
13. class MainWindow(QMainWindow, Ui_MainWindow):
14.     def __init__(self):
15.         super().__init__()
16.         self.setupUi(self)
17.         self.dir = "JPEGImages"
18.         self.searcher = solutions.VisualAISearch(
19.             data=self.dir
20.         )
21.         # 填写 Kimi 的 API Key
22.         API_KEY = ""  # 在这里替换为你的 API Key
23.         
24.         # 创建翻译器实例
25.         self.translator = KimiTranslator(API_KEY)
26.         
27.         # 初始化文件路径
28.         self.file_path = None
29.         
30.         # 连接按钮信号（假设 UI 中的对象名；如果不同，请调整）
31.         self.btnSelectImage.clicked.connect(self.selectImage)  # 选择图像按钮
32.         self.btnTextSearch.clicked.connect(self.searchText2Pic)  # 以文搜图按钮
33.         self.btnImageSearch.clicked.connect(self.searchPic2Pic)  # 以图搜图按钮
35.     def updateImage(self, path, qlabel):
36.         image = self.cv_imread(path)
37.         if image is not None:
38.             rgb_image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
39.             rows, cols, channels = rgb_image.shape
40.             bytesPerLine = channels * cols
41.             QImg = QImage(rgb_image.data, cols, rows, bytesPerLine, QImage.Format_RGB888)
42.             qlabel.setPixmap(QPixmap.fromImage(QImg).scaled(qlabel.size(), Qt.KeepAspectRatio, Qt.SmoothTransformation))
44.     def selectImage(self):
45.         file_path, _ = QtWidgets.QFileDialog.getOpenFileName(self, "Select an Image", "", "Image Files (*.jpg *.jpeg *.png)")
46.         if file_path:
47.             self.file_path = file_path
48.             self.updateImage(self.file_path, self.queryImagePreview)
50.     def cv_imread(self, path):
51.         cv_img = cv2.imdecode(np.fromfile(path, dtype=np.uint8), -1)
52.         return cv_img
54.     def searchText2Pic(self):
55.         query_text = self.textQueryEdit.toPlainText().strip()
56.         if not query_text:
57.             QtWidgets.QMessageBox.warning(self, "提示", "输入文本不能为空")
58.             return
59.         translated = self.translator.translate(query_text)
60.         results = self.searcher.search_text(translated)
61.         self.updateResults(results)
63.     def searchPic2Pic(self):
64.         if not self.file_path:
65.             QtWidgets.QMessageBox.warning(self, "提示", "请选择图像")
66.             return
67.         results = self.searcher.search_image(self.file_path)
68.         self.updateResults(results)
70.     def updateResults(self, results):
71.         image_paths = []
72.         similarities = []
73.         for image_path, similarity in results[:8]:
74.             if hasattr(image_path, '__str__'):
75.                 image_path = str(image_path)
76.             # 拼接完整路径
77.             full_path = os.path.join(self.dir, image_path)
78.             image_paths.append(full_path)
79.             similarities.append(round(similarity, 4))
80.         
81.         # 更新图像和相似度，处理少于8个结果的情况
82.         for i in range(8):
83.             label = getattr(self, f'image_{i+1}')
84.             sim_label = getattr(self, f'similarity_{i+1}')
85.             if i < len(image_paths):
86.                 self.updateImage(image_paths[i], label)
87.                 sim_label.setText("相似度：" + str(similarities[i]))
88.             else:
89.                 label.clear()
90.                 sim_label.setText("")
92. if __name__ == "__main__":
93.     app = QApplication(sys.argv)
94.     window = MainWindow()
95.     window.show()
96.     sys.exit(app.exec_())

复制代码

依赖：PyQt5、opencv-python、ultralytics、requests。图像目录“JPEGImages”需预置图像。
使用效果演示

文本检索示例

“一个人抱着一只狗”——包含人与狗的语义图像。

图像检索示例

上传一张实例图像，点击“以图搜图”，原图相似度1.0，其后是相似语义图像，如下图所示。

结语

这个系统完善了Ultralytics的语义检索，支持自定义界面和中文。
欢迎三连加关注，留言邮箱，我发源码给大家！如果有问题，评论区讨论。
​

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！