代码收藏家 一文小入门pyQt5 —— 从零到一完成一个Excel文件处理程序
一文小入门pyQt5 —— 从零到一完成一个Excel文件处理程序
一、概述
前人踩坑，后人少踩！
心疼我可爱的舍友为了这个课设搭环境花了一百多块钱，还只是环境。这个项目是我的一个课设，课设要求做出一款能实现Excel增删改查及对应图像增删改查功能的软件，最后要求打包成exe，因为数据保密的原因，代码里的相关图片及表格都被我删掉了，都是假数据，只留了两张测试图片。 正所谓，做都做了，不能白做。之前从未正经接触过QtDesigner和python，对于python的认知也只是停留在函数，所以在程序的设计模式上有很多不足，包括个人认为整个项目会有点乱，详细都写在README.md里了，有很多人进不去GitHub，因此代码放在了码云上。发现网上没有一篇比较统一的入门贴，这次踩了不少坑，写得辛苦，感觉还是蛮有借鉴意义的，包括分页、加强鲁棒性等等，会以功能点的实现为线写出来给各位入个门。一文可能讲不完，所有开源给大家，具体功能实现去看代码更清晰。若有任何关于优化或错误的建议，请联系我！
二、项目说明（也可以直接看README.md文件）
2.1 项目结构
|-data 数据
|-dist Excel文件输出位置
|-new.xls 用户操作后的新Excel文件
|-dist_images 存放原始数据图像，用户操作影像读取及输出位置
|-M0 正常样本图像
|-M1 异常样本图像
|-new 新增未分类图像
|-info.xlsx 示例Excel文件
|-detect 神经网络（*可替换，不可更改，替换时也应更改detail.py文件中的接口）
|-logs
|-best.pth 网络权重
|-model_data
|-cls_classes.txt 类别
|-nets 网络主体
|-utils 工具函数文件夹
|-classification.py 分类网络类
|-icon 图标文件夹
|-cat.ico 程序icon图标
|-img 示例图像
|-Clinical_information 临床信息界面文件
|-detail 影像图片文件
|-Image_information Excel 表格影像信息文件
|-information 主界面布局文件
|-new_info 新增患者信息文件
|-main.py 程序入口文件
|-main.spec 打包的中间文件
|-requirements.txt 库版本要求
|-README.md 项目说明
|-.gitignore git忽略的文件
|-eval_top5.py 画auc曲线，在本项目运行不了，需下载下面博主的代码
|-split_data.py 根据Excel文件里的诊断结果将测试集图片归类为两个文件夹
|-intense_data.py 数据增强扩充数据集
# 训练网络是resnet50
# 参考博主：https://blog.csdn.net/weixin_44791964/article/details/109160814
2.2 使用
安装好合适的环境后，点击运行 main.py 即可。
2.3 功能介绍
-
在使用所有功能前，需先通过“Open Excel”打开Excel文件作为表格数据库，否则会有提示。
-
视图渲染：当用户选择完Excel文件时，表格视图会自动渲染，并自动计算当前页和总页数，下方状态栏会显示当前用户操作。
-
当关闭主界面窗口时，其他界面也会跟着关闭。
-
搜索患者：当用户输入ID号的前几位并点击“搜索”按钮时，会自动查找到第一个匹配的患者信息，并自动跳转定位到当前页和当前行。
-
页面切换功能：点击“上一页”跳转至上一页，点击“下一页”跳转至下一页，当在第一页和最后一页分别点击“上一页”和“下一页”的按钮时，会弹出提示框。
-
点击“查看”按钮，查看当前行患者的临床信息和影像信息。
-
修改功能：双击单元格，修改内容之后，按Enter键，修改的数据会重新写到dist文件夹下的new.xls文件中，这样不会污染原始数据。对于临床信息和影像信息，在修改完之后点击“确认修改”按钮。
-
删除功能：点击“删除”按钮，修改的数据会重新写到dist文件夹下的new.xls文件中，这样不会污染原始数据。
-
新增患者信息：点击“新增患者信息”按钮，填写完信息后，点击“提交”按钮，同样，添加的信息会写入到new.xls文件中，新增的影像图片会放在images/new文件夹下。当点击“+添加影像”选择完图片后，“影像信息”前的“”会消失。填写信息需要注意格式，比如日期格式为“YYYY-MM-DD”，ID号不可以超过九位。
-
查看患者对应的影像信息：点击“影像信息”列下的“查看”按钮，在弹出的界面中点击“查看影像”按钮。
-
点击7中界面的“添加”、“修改”、“删除”、“AI检测”按钮，实现对图片的增删改及人工智能诊断，诊断结果将显示在下方的输出栏，并将文件夹放在images对应的M0和M1文件夹下。
2.4 注意点
- 任何路径里不要包含中文！ID号只能是数字！
- py文件与ui文件并不完全相同，ui文件只是拿来布局，有些微调部分直接用代码在py文件里修改了，ui并不完全同步。
- 整个应用程序都是基于info.xlsx的数据格式去设计的，并没有很强的裂变能力，如果不是严格按照info.xlsx的行列进行排版的，极大概率运行不出来。
- 影像图片的命名严格按照”ID号-rk“的格式，且ID号不超过九位。
2.5 打包成exe程序
-
安装virtualenv后，在cmd中用命令virtualenv env_name 创建出一个虚拟环境，和anaconda的环境做隔离，减小包的体积。
该项目打包之后有2GB多是因为torch这个包就占了2GB。 -
pycharm打开Terminal，切换到env_name/Scripts路径下，输入activate.bat激活环境。
-
查看requirements.txt，利用pip install安装完所有的包，直至不再报No module的错误。
-
在激活环境下运行下方命令：
pyinstaller main.spec -
在生成的dist文件夹中新建以下文件夹：
|-data 数据 |-dist |-dist_images |-M0 以类别名命名的文件夹 |-M1 以类别名命名的文件夹 |-new 新增未分类图像（不可随意更改，若更改则需同步更改代码）
2.6 不足
- 在不同的电脑，界面显示会不一样，没有做自适应。
- 表头不应该写死，最好还是写成跟着数据渲染。
- 鲁棒性不太强，比如如果表格里有格式不正确应该给予拦截和提示，不应该无故终止。
- 最好是可以让用户选择数据打开和存储的文件夹，用户体验更好，当初设计模式有问题。
- 修改功能有待优化。
三、QtDesigner入门（正式开始！）
3.1 开始
我跳过了环境安装，请配好了QtDesigner和.ui转.py的工具之后再来(不是。
版本： pycharm 2017.3
- 点击Tool -> Externals Tools -> QtDesigner运行
- 弹出的窗口中可以打开已有.ui文件，也可以新建.ui文件，这里我们选择MainWindow，然后点击创建。（MainWindow和Widget的区别是，MainWindow有菜单栏和下方的状态栏，不需要的可以选Widget就好。）
- 添加控件
将左侧栏中的控件拖到画布中松开即可添加，注意修改右上角“对象查看器”中的对象名，更有辨识度，不可重名。
鼠标左键点击选择控件时，右侧“属性编辑器”会显示当前选择控件的属性，罗列了该类及该类的所有父类属性值，我们可以通过属性编辑器进行修改。比如QTableWIDget有rowCount和columnCount的属性可以修改表格的行数和列数。
- 修改主程序窗口的名字
在右侧的属性编辑器中搜索“title”，修改windowTitle的值。
- 信号接槽
a. 点击QtDesigner菜单栏中的“编辑信号/槽”；
b. 鼠标左键点击控件拉出一条地线，接地则只触发当前控件的信号，与其他控件相连则同时触发多个信号；
c. 在弹出的窗口中，左侧为该控件能触发的信号，右侧为接此信号的槽函数，比如按钮的clicked信号接searchInfo这个槽函数。点击选择完左侧的信号，再点击右侧的槽函数，点击OK即可关联。
若想新建槽函数，点击“编辑”。
再点击“+”，输入槽函数名即可。
注意： 这里与控件关联的槽函数必须在生成的.py文件中有定义，否则运行时会报错。 - 菜单栏信号接槽
新建菜单：双击“在这里输入”进入编辑模式，输入菜单栏选项卡名后按Enter键则新建完成。
同理，双击选项卡里的“在这里输入”，按Enter键同样可以新建子选项卡。
在右下方的“动作编辑器”栏目中选择“动作编辑器”选项卡。
鼠标右键选择“新建”。
在弹出的窗口中填写选项卡的名称，shortcut的快捷键，点击“OK”。
切换到信号/槽编辑器，点击左上角绿色的“+”，新建。
依次选择发送者为刚刚新建的动作、信号、接收者、槽如下：
槽函数为自定义，不知道怎么新建槽函数的各位回到5.进行查看。 - 将.ui文件转为同名的.py文件，注意：每次重新生成.py文件都会覆盖原来文件的内容，也就是说，如果你写了新的代码在里面时要特别小心。 此时还不能运行，我们新开一个main.py文件，将下列代码copy进去即可运行。
import sys
from information import Ui_MainWindow # 由information.ui转来的information.py文件，Ui_MainWindow是information.py里面的类名，这一步根据自己的类名去写。
class MyMainForm(QMainWindow, Ui_MainWindow):
def __init__(self, parent=None):
super(MyMainForm, self).__init__(parent)
self.setupUi(self)
# 槽函数
def MethodName(self):
print("test")
if __name__ == "__main__":
#固定的，PyQt5程序都需要QApplication对象。sys.argv是命令行参数列表，确保程序可以双击运行
app = QApplication(sys.argv)
#初始化
myWin = MyMainForm()
#将窗口控件显示在屏幕上
myWin.show()
#程序运行，sys.exit方法确保程序完整退出。
sys.exit(app.exec())
### 如果这一步运行不出来，请检查一下main.py文件里有没有刚刚定义的与控件相关联的槽函数。
小结
到这一步，基本流程已经打通了，可以开始自己的页面布局啦！
3.2开始介绍特殊功能点，比较这是处理Excel文件的程序
3.2 表格数据渲染及单元格里插入按钮控件
当用户打开Excel文件时，将Excel文件里的信息渲染到QTableWidget上。分为三步：用xlrd库去读Excel文件，拿到每一行的信息，按行渲染到QTableWidget上。具体看main.py文件里的readExcel和getOnePage、information.py文件里的generateRow这三个方法。（注意导入相应的包哦！）
# 读Excel文件
def readExcel(self, fileName):
workbook = xlrd.open_workbook(fileName)
# 获得sheet_name
self.sheet_name = workbook.sheet_names()[0]
# 根据sheet索引或者名称获取sheet内容
self.sheet = workbook.sheet_by_index(0) # 从索引0开始
# 获得总行数
self.nrows = self.sheet.nrows
# 获取总页数
self.pageCount = math.ceil((self.nrows - 2) / self.pageSize)
self.setTotalPage(self.pageCount)
# 获取最后一页的行数
self.lastPageCount = self.nrows - 2 - self.pageSize * (self.pageCount - 1)
# 获取第一列的内容
self.ids = self.sheet.col_values(0)
for i, v in enumerate(self.ids):
# 跳过头两个item
if i > 1:
self.ids[i] = str(int(v))
# 逐行生成一页
def getOnePage(self):
self.isEidt = False # isEdit是用来作阀的，因为接上了QTableWidget的cellChanged信号，前期我并不想触发，想等用户自己修改时再触发
self.changePageStatus(self.currentPage + 1)
for i in range(self.pageSize):
for j in range(self.infoCols):
if self.lastPageFlag and i >= self.lastPageCount:
val = ''
else:
index = self.currentPage * self.pageSize + i + 2
# 拿到value
val = self.sheet.cell_value(index, j)
if isinstance(val, float):
if j == 0:
# 去除小数点后面的数字
val = int(val)
# TableWidget需要字符串格式才能正常显示
val = str(val)
elif j == 1:
# 做日期格式的转换，显示正确的日期格式
data_time = datetime(*xldate_as_tuple(val, 0))
val = data_time.strftime('%Y-%m-%d')
else:
val = str(val)
# 除去表头
self.generateRow(i + 1, j, val, self.lastPageCount, self.lastPageFlag, index)
self.isEidt = True
# 生成表格的一行
def generateRow(self, row, col, val, lastPageNum, lastPageFlag, trueRow):
# print('p', row, col, val)
item = QtWidgets.QTableWidgetItem(val)
self.tableWidget.setItem(row, col, item)
if row <= lastPageNum or lastPageFlag == False:
# 插入查看临床信息按钮
self.bedButton = QtWidgets.QPushButton('查看')
self.bedButton.setStyleSheet('QPushButton{margin:3px};')
self.bedButton.setObjectName("bedButton" + str(trueRow))
self.tableWidget.setCellWidget(row, 6, self.bedButton)
# 插入查看影像信息按钮
self.imageButton = QtWidgets.QPushButton('查看')
self.imageButton.setStyleSheet('QPushButton{margin:3px};')
self.imageButton.setObjectName("imageButton" + str(trueRow))
self.tableWidget.setCellWidget(row, 7, self.imageButton)
# 插入删除信息按钮
self.deleteButton = QtWidgets.QPushButton('删除')
self.deleteButton.setStyleSheet('QPushButton{margin:3px};')
self.deleteButton.setObjectName("deleteButton" + str(trueRow))
self.tableWidget.setCellWidget(row, 8, self.deleteButton)
# lambda匿名函数用于传参
self.bedButton.clicked.connect(lambda: self.MainWindow.getBedInfo(trueRow))
self.imageButton.clicked.connect(lambda: self.MainWindow.getImageInfo(trueRow))
self.deleteButton.clicked.connect(lambda: self.MainWindow.deleInfo(trueRow))
else:
self.tableWidget.removeCellWidget(row, 6)
self.tableWidget.removeCellWidget(row, 7)
self.tableWidget.removeCellWidget(row, 8)
3.3 如何给槽函数传参？
传参：利用匿名函数lambda，场景为：当我点击按钮时，打开另一个Widget，此时我需要传入ID号。
# lambda匿名函数用于传参
self.bedButton.clicked.connect(lambda: self.goToNewWidget(user_id))
def goToNewWidget(self, user_id):
print(user_id)
3.4 如何实现点击按钮打开一个新窗口？
- 安装之前的教程生成一个新窗口的.py文件，如new.py。
- from new import Ui_new导入新的py文件，给相应的按钮接上槽。
- 在槽函数里实现打开功能。
self.bedButton.clicked.connect（self.goToNewWidget())
def goToNewWidget(self):
self.new_widget = QWidget()
self.new_ui = Ui_New_Info()
self.new_ui.setupUi(self.new_widget, self)
self.new_widget.setWindowTitle('New Information')
self.new_widget.show()
3.5 状态栏显示文本信息
self.statusbar.showMessage(message)
3.6 关闭主界面时关闭其他所有窗口
重写closeEvent方法，具体看information.py文件里的closeEvent方法。
# --------------information.py------------------
# 重写关闭方法
def closeEvent(self, event):
if self.MainWindow.clinical_widget:
# print('close')
self.MainWindow.clinical_widget.close()
if self.MainWindow.image_widget:
# print('close')
self.MainWindow.image_widget.close()
if self.MainWindow.new_widget:
# print('close')
self.MainWindow.new_widget.close()
if self.MainWindow.detail_widget:
# print('close')
self.MainWindow.detail_widget.close()
event.accept()
### 这里的所有widget都挂载在main.py文件里的QMainWindow对象中，为了在其他函数里拿到QMainWindow里的widget，我把QMainWindow挂载为当前类的属性，即self.MainWindow = MainWindow, 加多一层if判断是为了防止有些窗口没打开，如果这是执行关闭的话，程序会卡顿出错。
# ---------------main.py-------------
def __init__(self, parent=None):
super(MyMainForm, self).__init__(parent)
self.setupUi(self)
self.setWindowIcon(QIcon('icon\cat.ico'))
# 四个窗口
self.clinical_widget = ''
self.image_widget = ''
self.new_widget = ''
self.detail_widget = ''
3.7 添加程序的icon图标
self.setWindowIcon(QIcon('icon\cat.ico')
3.8 QTableWidget显示正确的日期格式
你会发现从Excel表格里读取到的日期是一串数字，需要利用datetime这个库进行转化才能正确显示。
from datetime import datetime
from xlrd import xldate_as_tuple
data_time = datetime(*xldate_as_tuple(val, 0))
val = data_time.strftime('%Y-%m-%d')
# 在Excel中写入正确的日期格式
datetime.strptime(self.getTableWidgetItemContent(row, col), '%Y-%m-%d')
3.9 打开文件选择框
第一个参数为打开文件选择框的窗口父类，第二个参数为弹出的选择框的名称，第三个参数为打开的指定路径（可选），第四个为限制类型（注意：这里的类型限制的“无效”的）。
image_Name, imgType = QFileDialog.getOpenFileName(self,
"选择图片",
"",
"*.jpg;;*.png;;All Files(*)")
3.10 弹出提示框
from PyQt5.QtWidgets import *
QMessageBox.information(self, "提示", "当前页是最后一页！")
QMessageBox.warning(self, "警告", "请先打开Excel文件！")
QMessageBox.error(self, "警告", "请先打开Excel文件！")
### 具体的弹出框类型看文档
3.11 在QLabel上显示图片
具体看detail.py文件里的setPixMap方法。
def setPixMap(self, path):
# 利用qlabel显示图片，show_image是QLabel的对象名，在3.1开始的添加控件有说明
png = QtGui.QPixmap(path).scaled(self.show_image.width(),self.show_image.height())
self.show_image.setPixmap(png) # 这里的setPixmap是QLabel的原生方法
self.show_image.setScaledContents(True)
四、具体功能实现
4.1 Excel的查
思路：获取到Excel表格中的所有ID号放在list里，因为ID号是按行存储的，所以list的索引就是患者信息在Excel文件里的行数-1（list索引从零开始）。当用户在输入框输入完ID号，点击搜索按钮时，截取掉输入框值前后的空格，利用list的原生方法count和index查看当前患者是否存在，存在则定位至那一页和那一行，不存在则给予相应的提示。用户可以不必输入完整的ID号，会自动返回第一个匹配项。具体看main.py里的searchInfo方法。
# 搜索患者信息
def searchInfo(self):
if self.fileName != '':
search_id = self.getContent().strip() # 字符串格式
self.showStatusMessage("搜索ID号：" + search_id)
# 清除搜索框内容
self.clearContect()
# 使用 startswith，返回一个列表
res = [idx for idx in self.ids if idx.startswith(search_id)]
if len(res) == 0:
QMessageBox.information(self, "提示", "没有找到匹配项")
else:
# 第一个匹配项，index是Excel表格中的真实行数
index = self.ids.index(res[0]) - 2
# 获取匹配项所在页数
page = math.floor(index / self.pageSize)
row = (index % self.pageSize) + 1
self.currentPage = page
if self.currentPage == (self.pageCount - 1):
self.lastPageFlag = True
self.getOnePage()
self.isEidt = False
self.setLineColor(row)
self.isEidt = True
else:
QMessageBox.warning(self, "警告", "请先打开Excel文件！")
4.2 Excel的增删改
思路：很好理解，增删改都可以理解为两步，读取和重新写入，利用xlrd库读取Excel文件，利用xlwt库写入Excel文件。对读取到的信息进行增删改的操作之后，再将操作之后的信息写回去。具体看main.py里的getNewXl方法
# 新建工作本并保存，有row则删除，有row和col则为修改，都没有则为新增， change_val为指定值，未传时为双击表格修改的内容，count为计数器，防止多次弹出提示框
def getNewXl(self, row = -1, col = -1, change_val = '', count_n = 0):
try:
# 新建工作簿
workbook = xlwt.Workbook(encoding='utf-8')
# 新建sheet
sheet_w = workbook.add_sheet(self.sheet_name)
# 循环
count = 0
for x in range(self.sheet.nrows):
if col == -1:
# 删除
if x != row:
for y in range(self.sheet.ncols):
val = self.sheet.cell_value(x, y)
if y == 1:
dateFormat = xlwt.XFStyle()
dateFormat.num_format_str = 'yyyy/mm/dd'
sheet_w.write(count, y, val, dateFormat)
else:
sheet_w.write(count, y, val)
count = count + 1
else:
# 修改
for y in range(self.sheet.ncols):
if x == row and y == col:
if change_val == '':
val = self.text
else:
val = change_val
else:
val = self.sheet.cell_value(x, y)
if y == 1:
dateFormat = xlwt.XFStyle()
dateFormat.num_format_str = 'yyyy/mm/dd'
sheet_w.write(x, y, val, dateFormat)
else:
sheet_w.write(x, y, val)
if row == -1:
new_row = self.sheet.nrows
# 新增
for i, v in enumerate(self.forms):
if i == 1:
dateFormat = xlwt.XFStyle()
dateFormat.num_format_str = 'yyyy/mm/dd'
sheet_w.write(new_row, i, v, dateFormat)
else:
sheet_w.write(new_row, i, v)
# 保存工作簿
path = self.dist_root + self.dist_name
workbook.save(path)
# 重新渲染视图
self.readExcel(path)
self.getOnePage()
except:
if row == -1:
QMessageBox.warning(self, "错误", "新增失败")
elif col == -1:
QMessageBox.warning(self, "错误", "删除失败")
else:
if count_n == 0:
QMessageBox.warning(self, "错误", "修改失败")
else:
self._count = self._count + 1
if self._count == count_n:
QMessageBox.warning(self, "错误", "修改失败")
self._count = 0
else:
if row == -1:
self.showStatusMessage("新增成功")
elif col == -1:
self.showStatusMessage("删除成功")
else:
self.showStatusMessage("修改成功")
4.3 针对文件夹的图像的增删改查
思路：实现对一个文件夹里的图片的增删改查，查就必须要有数据，因此我们需要利用os库遍历文件夹里的文件获取到每一个文件名，构成一个文件名的list，之后拿用户输入的信息在list里面找，方法和Excel的查一样。增是利用cv2这个库实现的。删是利用os.remove方法。改就是增+删。具体看detail.py文件里的逻辑。
# 获取文件夹图片目录元组
def getDirectTuple(self):
self.fileList = []
for filepath, dirnames, filenames in os.walk(r'data\dist_images'):
for filename in filenames:
self.fileList.append(os.path.join(filepath, filename))
# print(self.fileList)
五、训练自己的分类网络
由于我不会torch这个库，直接拿的大佬的代码自己训练。所使用的网络resnet50，后期只有一天多的时间，没做什么改进，只做了数据增强和数据分类。准确率70%。
参考文章：按着大佬的步骤来没什么问题，显卡不行的关闭多线程（num_worker），减少batch大小（batch_size）。里面的eval_top5.py有点问题，后面我拿eval_top5.py来改画auc曲线。
5.1 数据增强
到手的训练集只有200张，并且样本分布不均匀，两类比例为1:4，最后用旋转、镜像、翻转等方法扩充数据集，使其比例为1120:1120=1:1。具体看intense_data.py文件。这个代码是网上扒的，但是现在找不到出处了，感谢大佬。
# -*- coding: UTF-8 -*-
__author__ = "AhhC"
# -*- coding: utf-8 -*-
import cv2
import numpy as np
import os.path
# 椒盐噪声
def SaltAndPepper(src, percetage):
SP_NoiseImg = src.copy()
SP_NoiseNum = int(percetage * src.shape[0] * src.shape[1])
for i in range(SP_NoiseNum):
randR = np.random.randint(0, src.shape[0] - 1)
randG = np.random.randint(0, src.shape[1] - 1)
randB = np.random.randint(0, 3)
if np.random.randint(0, 1) == 0:
SP_NoiseImg[randR, randG, randB] = 0
else:
SP_NoiseImg[randR, randG, randB] = 255
return SP_NoiseImg
# 高斯噪声
def addGaussianNoise(image, percetage):
G_Noiseimg = image.copy()
w = image.shape[1]
h = image.shape[0]
G_NoiseNum = int(percetage * image.shape[0] * image.shape[1])
for i in range(G_NoiseNum):
temp_x = np.random.randint(0, h)
temp_y = np.random.randint(0, w)
G_Noiseimg[temp_x][temp_y][np.random.randint(3)] = np.random.randn(1)[0]
return G_Noiseimg
# 昏暗
def darker(image, percetage=0.9):
image_copy = image.copy()
w = image.shape[1]
h = image.shape[0]
# get darker
for xi in range(0, w):
for xj in range(0, h):
image_copy[xj, xi, 0] = int(image[xj, xi, 0] * percetage)
image_copy[xj, xi, 1] = int(image[xj, xi, 1] * percetage)
image_copy[xj, xi, 2] = int(image[xj, xi, 2] * percetage)
return image_copy
# 亮度
def brighter(image, percetage=1.5):
image_copy = image.copy()
w = image.shape[1]
h = image.shape[0]
# get brighter
for xi in range(0, w):
for xj in range(0, h):
image_copy[xj, xi, 0] = np.clip(int(image[xj, xi, 0] * percetage), a_max=255, a_min=0)
image_copy[xj, xi, 1] = np.clip(int(image[xj, xi, 1] * percetage), a_max=255, a_min=0)
image_copy[xj, xi, 2] = np.clip(int(image[xj, xi, 2] * percetage), a_max=255, a_min=0)
return image_copy
# 旋转
def rotate(image, angle, center=None, scale=1.0):
(h, w) = image.shape[:2]
# If no rotation center is specified, the center of the image is set as the rotation center
if center is None:
center = (w / 2, h / 2)
m = cv2.getRotationMatrix2D(center, angle, scale)
rotated = cv2.warpAffine(image, m, (w, h))
return rotated
# 翻转
def flip(image):
flipped_image = np.fliplr(image)
return flipped_image
# 图片文件夹路径
file_dir = r'D:\AhhC_File\CourseDesign\classification-pytorch-main\datasets\train\\new\\M0\\'
# for img_name in os.listdir(file_dir):
# img_path = file_dir + img_name
# img = cv2.imread(img_path)
# # cv2.imshow("1",img)
# # cv2.waitKey(5000)
# # 旋转
# rotated_90 = rotate(img, 90)
# cv2.imwrite(file_dir + img_name[0:-4] + '_r90.jpg', rotated_90)
# rotated_180 = rotate(img, 180)
# cv2.imwrite(file_dir + img_name[0:-4] + '_r180.jpg', rotated_180)
for img_name in os.listdir(file_dir):
img_path = file_dir + img_name
img = cv2.imread(img_path)
# # 镜像
# flipped_img = flip(img)
# cv2.imwrite(file_dir + img_name[0:-4] + '_fli.jpg', flipped_img)
# 增加噪声
# img_salt = SaltAndPepper(img, 0.3)
# cv2.imwrite(file_dir + img_name[0:7] + '_salt.jpg', img_salt)
# img_gauss = addGaussianNoise(img, 0.3)
# cv2.imwrite(file_dir + img_name[0:-4] + '_noise.jpg', img_gauss)
# # 变亮、变暗
# img_darker = darker(img)
# cv2.imwrite(file_dir + img_name[0:-4] + '_darker.jpg', img_darker)
# img_brighter = brighter(img)
# cv2.imwrite(file_dir + img_name[0:-4] + '_brighter.jpg', img_brighter)
blur = cv2.GaussianBlur(img, (7, 7), 1.5)
# cv2.GaussianBlur(图像，卷积核，标准差）
cv2.imwrite(file_dir + img_name[0:-4] + '_blur.jpg', blur)
5.2 根据Excel信息分类测试集
测试集的图片没有分类文件夹，手工分类成本太高，于是就写了个小脚本来分，是根据诊断结果那一列来分类，具体看split_data.py。如果想多分类啥的，改一下代码就行。
# -*- coding: UTF-8 -*-
__author__ = "AhhC"
import xlrd
import cv2
import os
_path = "C:\\Users\\LENOVO\\Desktop\\classification-pytorch-main\\datasets\\test\\"
ids = []
flags = []
# 读Excel文件
def readExcel(fileName):
workbook = xlrd.open_workbook(fileName)
# 获得sheet_name
sheet_name = workbook.sheet_names()[0]
# 根据sheet索引或者名称获取sheet内容
sheet = workbook.sheet_by_index(0) # 从索引0开始
# 获取第一列的内容
global ids
ids = sheet.col_values(0)
global flags
# 获取最后一列的内容
flags = sheet.col_values(sheet.ncols-1)
# print(ids,flags)
# 根据不同等级写入不同的文件夹
def split_data(path, fileName, cls):
img = cv2.imread(path+fileName)
cv2.imwrite(_path+cls+"\\"+fileName,img)
os.remove(path+fileName)
fileName = _path + "test_info.xlsx"
readExcel(fileName)
classes = ["M0", "M1"]
for i,v in enumerate(ids):
# 跳过表头
if i > 1:
if isinstance(v, float):
v = str(int(v))
for k in range(9 - len(v)):
v = "0" + v
imageName = v + "-rk.jpg"
path = _path + "\\images\\"
if flags[i] == 1.0:
cls = "M1"
else:
cls = "M0"
split_data(path, imageName, cls)
5.3 画AUC曲线
输入的y_test是测试样本原来的真实值，为0/1的list列表；y_pred是模型输出的预测值，为 [ [ , ], [ , ] ] 的格式，里面的元素值因为经过softmax，所以在0到1之间。
# 把这个文件放到那位博主大大的项目文件夹里
import numpy as np
import torch
from PIL import Image
from classification import (Classification, cvtColor, letterbox_image,
preprocess_input)
from utils.utils import letterbox_image
from sklearn import metrics
import matplotlib.pyplot as plt
y_test= []
y_pred = []
class top5_Classification(Classification):
def detect_image(self, image):
#---------------------------------------------------------#
# 在这里将图像转换成RGB图像，防止灰度图在预测时报错。
# 代码仅仅支持RGB图像的预测，所有其它类型的图像都会转化成RGB
#---------------------------------------------------------#
image = cvtColor(image)
#---------------------------------------------------#
# 对图片进行不失真的resize
#---------------------------------------------------#
image_data = letterbox_image(image, [self.input_shape[1], self.input_shape[0]])
#---------------------------------------------------------#
# 归一化+添加上batch_size维度+转置
#---------------------------------------------------------#
image_data = np.transpose(np.expand_dims(preprocess_input(np.array(image_data, np.float32)), 0), (0, 3, 1, 2))
with torch.no_grad():
photo = torch.from_numpy(image_data).type(torch.FloatTensor)
if self.cuda:
photo = photo.cuda()
#---------------------------------------------------#
# 图片传入网络进行预测
#---------------------------------------------------#
preds = torch.softmax(self.model(photo)[0], dim=-1).cpu().numpy()
y_pred.append(preds)
arg_pred = np.argsort(preds)[::-1]
arg_pred_top5 = arg_pred[:5]
return arg_pred_top5
def evaluteTop5(classfication, lines):
correct = 0
total = len(lines)
for index, line in enumerate(lines):
annotation_path = line.split(';')[1].split()[0]
x = Image.open(annotation_path)
y = int(line.split(';')[0])
y_test.append(y)
pred = classfication.detect_image(x)
# print(pred[0], y)
# correct += y in pred
correct += y == pred[0]
if index % 100 == 0:
print("[%d/%d]"%(index,total))
return correct / total
classfication = top5_Classification()
with open("./cls_test.txt","r") as f:
lines = f.readlines()
top5 = evaluteTop5(classfication, lines)
print("top-5 accuracy = %.2f%%" % (top5*100))
# 绘制AUC曲线
y_test = np.array(y_test)
y_pred = np.array(y_pred)
# print(y_test)
# print(y_pred)
fpr, tpr, threshold = metrics.roc_curve(np.array(y_test),np.array(y_pred)[:,1])
roc_auc = metrics.auc(fpr, tpr)
plt.figure(figsize=(6,6))
plt.title('Validation ROC')
plt.plot(fpr, tpr, 'b', label = 'Val AUC = %0.3f' % roc_auc)
plt.legend(loc = 'lower right')
plt.plot([0, 1], [0, 1],'r--')
plt.xlim([0, 1])
plt.ylim([0, 1])
plt.ylabel('True Positive Rate')
plt.xlabel('False Positive Rate')
plt.savefig('auc.jpg')
plt.show()
六、打包注意点
针对单个py文件打包成exe网上已经有很多教程了，针对整个项目的却很散。我们利用中间文件.spec来提高成功率。注意： 这里所讲的步骤最后打包出来是一个文件夹，不是单个exe。
步骤
a. 第一个参数，放置需要用到的所有py文件。格式为[‘aaa.py’, ‘bbb.py’, ‘ccc.py’]。注意：同级目录下，直接写文件名。如果不在同一个文件下，要写相对路径，[‘aaa.py’, ‘bbb.py’, ‘director\ccc.py’]。
b. 第四个参数，datas=[]。 如果用到了非py文件需要打包，那么找到datas列表，将非py文件的路径与文件夹名写在元组里。比如，有图片文件的话，可以放在images文件夹中。元组里的第一项为未打包前的文件所在路径，第二项为打包之后文件所在的目录路径。注意：这里要写相对路径，而且第一项和第二项最好相同，当文件夹里没有东西时，该文件夹会被忽略。
c. 第五个参数，hiddenimports=[]。 如果打包之后出现No module name…可以采用临时解决方案，将缺少的模块放置在这个列表中。hiddenimports=[‘PyQt5.sip’]
d. 添加程序icon。 在exe = EXE中加入 icon=‘icon/cat.ico’ ，要写相对路径！这里是一个图片转.ico文件的网站。
a = Analysis(['main.py', 'Clinical_information.py', 'detail.py', 'Image_information.py', 'information.py', 'new_info.py', 'detect\\classification.py', 'detect\\utils\\utils.py', 'detect\\nets\\__init__.py', 'detect\\nets\\mobilenet.py', 'detect\\nets\\resnet50.py', 'detect\\nets\\vgg16.py', 'detect\\nets\\vit.py'],
pathex=['D:\\AhhC_File\\CourseDesign\\smodel_mart-medical-system'],
binaries=[],
datas=[('detect\\logs','detect\\logs'),('detect\\model_data','detect\\model_data'),('icon','icon')],
hiddenimports=[],
hookspath=[],
runtime_hooks=[],
excludes=[],
win_no_prefer_redirects=False,
win_private_assemblies=False,
cipher=block_cipher,
noarchive=False)
pyz = PYZ(a.pure, a.zipped_data,
cipher=block_cipher)
exe = EXE(pyz,
a.scripts,
[],
exclude_binaries=True,
name='main',
debug=False,
bootloader_ignore_signals=False,
strip=False,
upx=True,
console=True,
icon='icon/cat.ico')
# 在生成的main.spec文件中加入
# -*- mode: python ; coding: utf-8 -*-
import sys
sys.setrecursionlimit(5000)
如果使用anaconda环境，打包之后的体积会异常大，3GB多，这是可以利用2.5打包成exe程序步骤做环境隔离。
总结
每天感慨自己写的什么垃圾代码，一两句话说不完，还是得看代码，虽然我不是正经python人，虽然我只是个前端。写这个程序大概四五天吧，之后就是自己做测试，优化，也让我学到了一些设计模式。真是one day day, write bug。最后还是发现了很多不足，比如打包之后在朋友的电脑上显出出来很丑且不能自适应，还有一些隐藏的bug。想学东西还是得自己动手！
欢迎批评指正。
来源：希sir
