【CRAIC】工业缺陷检测实训平台 模型训练指导手册 V1.4

• 产品版本：创新版
  
• 文档版本：01
  

• 网址：https://www.awcloud.com
  
• 邮箱：fpga-china@awcloud.com
  

• 模型训练流程说明
  
  
  
  • 1.1 基于铝片缺陷的模型训练流程
    
  • 1.2 系统检测流程
    
  
  
• 开发环境需求
  
• 图像采集
  
  
  
  • 3.1 方法一:通过工业缺陷检测实训平台终端采集图像。
    
  • 3.2 方法二:通过个人电脑采集图像
    
  
  
• 数据集准备
  
  
  
  • 4.1 安装并运行标注软件
    
  • 4.2 进行图片标注软件
    
  • 4.3 数据集整理
    
  • 4.4 数据集打包
    
  
  
• 模型训练
  
  
  
  • 5.1 环境准备
    
  • 5.2 训练流程
    
  
  
• 模型评估
  
  
  
  • 6.1 模型精度评估(可跳过)
    
  • 6.2 模型预测(可跳过)
    
  • 6.3 模型导出
    
  
  
• 模型转换
  
• 模型部署
  
  
  
  • 8.1 上传模型文件SSD_MOBILENET_V1_OPT.NB 到控制终端(树莓派)
    
  • 8.2 拷贝模型文件到FPGA 开发板
    
  • 8.3 进入FPGA 开发板部署模型文件
    
  
  
• 运行与测试
  

• 图像采集
  
  
  
  • 使用高分辨率的工业相机或摄像机捕获铝材表面的图像。
    
  • 确保在稳定的光照条件下进行图像采集，调试相机聚焦、光圈，以获得高质量的图像数据。
    
  
  
• 数据标注
  
  
  
  • 使用labelImg 工具对采集到的图像进行标注。
    
  • 标注内容包括铝材表面的各类缺陷，如脏污、褶皱、划伤等。
    
  • 标注过程中，为每个缺陷区域创建边界框，并为其分配相应的类别标签。
    
  • 标注完成后，将标注信息保存为VOC 格式(XML 文件)。
    
  
  
• 数据集制作
  将标注好的图像和对应的标注文件组织成数据集，数据集应包含训练集、验证集和测试集。
  

• 环境准备
  安装PaddlePaddle 框架和PaddleDetection 库，配置好训练所需的环境和依赖项。
  
• 模型参数配置
  在PaddleDetection 的配置文件中，设置模型的类型、训练参数、数据路径等。
  
• 模型训练
  运行PaddleDetection 的训练脚本，开始训练模型。训练过程中，可以实时监控模型的训练效果，如损失函数的变化、准确率等。
  
• 模型验证
  使用训练好的模型进行推理验证，根据评估结果，调整模型的参数或结构，以优化模型的性能。
  

• 模型转换
  使用所提供的opt 工具将PaddleDetection 训练得到的模型转换为FPGA 开发板可支持的格式(*.nb)，转换过程中，可能需要对模型进行优化，以减小模型的大小、提高模型的运行速度等。
  
• FPGA 开发板部署
  将转换后的模型部署到FPGA 开发板上。配置FPGA 开发板的环境和参数，确保模型能够正常运行。
  
• 运行与测试
  将检测铝片放在工业缺陷检测实训平台设备上，对部署在FPGA 开发板上的模型进行验证和测试。通过实际运行和对比结果，评估模型在FPGA 开发板上的性能和表现。
  

• 检测是否存在对应的sqlite 数据库，不存在则创建，并创建defect_list 表，用于保存检测铝片信息，包括铝片uuid，铝片保存路径，铝片缺陷名字，铝片推理时间，铝片识别准确率以及数据插入时间
  
• 初始化相机，获取相机信息。
  
• 通过计算黑白图片中黑白像素所占比例来判断铝片进入摄像头视野情况，进入视野里铝片面积越大，则白色像素所占比例越大，反之越小。
  
• 设置一个固定的白色像素占比值来判断铝片是否大部分面积暴露在摄像头视野下，大于该固定值才进行模型推理。
  
• 针对运动中的铝片，设置一个lv 参数来判断摄像头拍摄到的铝片是否是同一个铝片，初始值为0，lv由0–>1 表示视野由小变大，如果不是同一铝片则在defect_list 表插入一条数据，用于统计所有检测铝片个数。
  
• 调用推理接口，用于推理当前视野下铝片是否存在缺陷。如果存在缺陷，设置一个lx 参数用来表示是否是同一个缺陷铝片，方法和lv 使用一致，然后调用机械臂自动抓取铝片接口，用于将识别到的缺陷铝片抓取出来。
  
• 针对检测到的缺陷铝片进行画框，添加文字，并根据检测信息，在defect_list 表中插入数据，并将检测结果保存在检测结果目录以及历史检测目录下；如果是正常铝片，则在defect_list 表里插入正常图片信息，并将图片保存在历史检测目录下。
  
• 设置一个固定的白色像素占比值来判断是否铝片很少部分或者不存在铝片暴露在摄像头视野下，小于该固定值就不再进行推理，将lv 和lx 都置为0，表示视野由大变小。
  
• 前端页面显示视频流信息。
  

• 个人电脑端需安装Python 环境，建议安装3.7、3.8 版本；–用于数据标注的labelimg 软件运行、数据集制作等。
  
• 电脑安装MobaXterm(建议)、XShell、XFTP 等相关软件(或者其它类似工具)；–主要用于Windows 平台上与远程服务器进行交互(该软件操作方法请通过网络自学，不提供额外支持)。
  

需要首先保证电脑和工业缺陷实训平台在同一局域网络，并且可以成功登录进入工业缺陷检测实训平台

• 双击打开相机
  
• 点击开始采集图标，显示相机实时拍摄到的画面
  
  
  
  

• 主机(H) 172.16.68.111
  
• 协议® SFTP，端口号(O) 22
  
• 用户名(U): root，密码(P: 为空)
  
  
  
  

• 左侧为个人电脑保存采集到的缺陷铝片的实际路径
  
• 右侧为树莓派中通过MVS客户端采集图片时设置的图片保存路径，如果没有进行设置就是默认路径
  
• 选中需要下载的文件，点击右键，再选择传输
  

• Open Dir：选择图像采集后保存到本地的文件夹，images 文件夹。
  
• Change Save Dir：选择标注信息存放的文件夹，annotations 文件夹(不存在则创建)。
  
• 在view 菜单栏中打开auto save mode 格式，这个可以帮助我们自动地保存标记好的图片。
  
• 点击creat RectBox 开始标记，在labelImg 中输入标签，如果感觉这个比较难检测，可以点击右上角的difficult
  
  
  
  快捷键：W(创建方框)，A(上一张)，D(下一张)。
  标注完成后会得到一些标签
  
  
  
  xml 文件里面包含已标注图片的部分信息解释如下：
  
• folder：图片所在目录
  
• filename：图片名称
  
• path：图片所在路径
  
• size：图片大小
  
• object：标注信息
  
  
  
  • name：标注类别
    
  • bndbox：标注框坐标
    
    
    
    
  
  

• 登录https://aistackdc.com/home，进入AIStackDC 官网，进入控制台(注册过程略)。
  
  
  
• 选择“容器实例”，新建实例。
  
  
  
• 根据个人需求选择显卡配置和计费规则，并点击镜像选择框，选择PaddlePaddle 2.1.2 框架相关的镜像
  
  
  
• 选择SSH 密钥对：选择实例需要使用的密钥对用于远程链接，如果没有，点击“创建SSH 密钥对”根据提示进行创建，创建完成后密钥对会自动下载到本地以供后续使用
  
  
  
• 完成实例创建后，页面跳转至下图页面所示，实例会进入“创建中”的状态，等待示例状态更新为“运行中”，表示实例成功创建
  
  
  
  

• 在终端中输入以下命令，进行源码下载，下载成功后如下图所示。
  

• 跳转进入目录并分别完成以下依赖安装。依次执行以下命令。