代码收藏家 labelme批量json转png数据集教程
瞎扯几句
好久没写过了，稍稍记录一下最近的收获，最近项目上需要用分割网络，数据集是标注好了，但是这标注出来的文件是JSON格式，不能直接用于分割网络。难受，查了一下需要转成二值化的黑白的png格式图像，嗯·····，png，这json还能整成png， 嗯····网上找了一下，好多，但是感觉都不靠谱，大多都是半成品，只是利用了labelme自带的那个labelme_json_to_dataset.exe实现了第一步转换，这个批量转出来每个json都新建一个文件夹，这谁顶得住，而且直接转换出来的png，和需要的不一样，还需要在转换一次，这·····，太费事了，最后在茫茫大海中找到一位博主，这个博主写的好，是真的好，我接下来所做的就是按照这个博主的步骤整出来，说到这感觉像是白嫖的一样，不，不是的，我还对代码做了改进优化，虽然技术性不强，但是也记录一下，哈哈哈，闲谈到此结束。进入正文，附上那位我看的那位博主文章的链接
那位博主链接，需要可自取，哈哈哈 labelme数据标注及json标签文件批量处理
https://blog.csdn.net/ZhuiMengLQG/article/details/109383422，
一、Labelme安装
这个还需要教程？？？嗯·····对于像我这样的小白，确实需要教程，哈哈哈
先放个labelme官方代码：https://github.com/wkentaro/labelmehttps://github.com/wkentaro/labelme
我用的就是windows，所以只写windows了，linux的自己百度一大堆
1. windows
首先你得把Anaconda装好，这个推荐装miniconda，具体 你懂的，不懂我也没办法
此处省去Anaconda得安装过程
# python3
# 1、为labelme创建一个conda环境，命名为lableme
conda create --name=labelme python=3.6
# 激活该环境
activate labelme
# 安装pyqt
pip install pyqt5
# 安装labelme
pip install labelme
# 全部安装完成就ok了//分割线=======可能 会遇到的问题===============
在你用pip安装的时候可能出现的问题：（当然你电脑装了这个的话肯定就不会有这个问题）
如果有这个问题
error: Microsoft Visual C++ 14.0 is required. pip安装错误…
参考别的博主的解决办法：
首先确定你要安装的Visual C++编译器版本。每个Python版本都使用特定版本的编译器，因此需要安装与Python版本相对应的编译器：
在执行操作之前，先安装或升级Setuptools Python软件包。
pip install --upgrade setuptools直接用 Visual C++ 14.2 编译器的 standalone，不需要安装Visual Studio 2019。
- 安装Microsoft Build Tools for Visual Studio 2019.；
- 在 Build Tools 中，安装“使用C++的桌面开发”并确保安装详细信息的前两项勾选。
- setuptools Python包的版本必须至少为34.4.0。
接下来就是下一步~~~~下一步，完成，重新安装刚才安装失败的命令。
//分割线========end==============
全部安装完成后，接下来就是打开lablme测试是否成功了
- 在cmd中输入activate labelme激活labelme环境。
- 在激活环境中输入labelme即可打开labelme界面。
- 退出输入deactivate即可。
盗个图哈哈哈==========================================
打开后得界面
盗图完毕=========================================
二、 数据标注
点击open dir，选择标注文件所在的文件夹，会导入文件内所有图片。
然后开始标注：点击左下角的CreatePolygons，单击鼠标左键添加多边形顶点，Ctrl+Z撤销上一个顶点，最后点击起始点完成多边形的选择，弹出命名框。同一类下有多个实体对象时，如城区对象时，用City1,City2区分，Ctrl+S保存生成json文件，同时右下角文件目录下该图像前打钩显示已标注，如下图所示：
标注完成后，会生成一个json文件。
三、labelme标签批量转换
1. 单张图片转换
json文件需要转换成png文件，基本转换方法是在安装了labelme的环境下，输入下面的代码：
# 注意.exe后边有个空格
labelme_json_to_dataset.exe E:\image\1.json 在001.json所在文件夹内，会生成一个001_json的文件夹，里面有5个文件，其中的label.png为所要的分割掩膜，新版本的labelme没有.yaml文件
嗯·····这个应该用处不大了，一个一个手动生成，这得猴年马月啊，直接整批量转换的。
这个需要修改labelme的一个文件了，也就是这个labelme_json_to_dataset.py文件，
我这个文件所在的位置为D:\ProgramData\Miniconda3\envs\labelme\Lib\site-packages\labelme\cli/json_to_dataset.py，主要就是找到你的labelme安装位置
有人可能就要问了，我看你参考的那个博主并没有改啊，你搁着瞎改什么。
瞎解释一波===================
这就要来说说咱们的目的了，开头瞎扯淡里边也提到了，咱们要整一个全自动化的，只需要修改json文件的路径剩下的都按我们设定好的路径存储就行，不需要整一步改一个路径
解释完毕=====================
2. 多张图片批量转换
第一步、先看看labelme_json_to_dataset.py被我改成了什么样子（注意，注意，注意，将labelme_json_to_dataset.py原始的备份一下，防止你改嗝屁了）
直接上代码，（你需要做的，复制，粘贴到你的labelme_json_to_dataset.py文件里边，哈哈哈，方便把）
'''
修改后的json_to_dataset文件，直接复制替换你自己原始的json_to_dataset
'''
import argparse
import base64
import json
import os
import os.path as osp
import imgviz
import PIL.Image
from labelme.logger import logger
from labelme import utils
def main():
logger.warning(
"This script is aimed to demonstrate how to convert the "
"JSON file to a single image dataset."
)
logger.warning(
"It won't handle multiple JSON files to generate a "
"real-use dataset."
)
parser = argparse.ArgumentParser()
parser.add_argument("json_file")
parser.add_argument("-o", "--out", default=None)
args = parser.parse_args()
json_file = args.json_file
print(osp.dirname(json_file))
if osp.isdir(osp.join(osp.dirname(json_file),'json_data')) is False:
os.mkdir(osp.join(osp.dirname(json_file),'json_data'))
else:
print("文件已存在")
if args.out is None:
out_dir = osp.basename(json_file).replace(".", "_")
out_dir1 = osp.join(osp.dirname(json_file), 'json_data')
out_dir = osp.join(out_dir1, out_dir)
print(out_dir)
print("#"*10)
else:
out_dir = args.out
if not osp.exists(out_dir):
os.mkdir(out_dir)
data = json.load(open(json_file))
imageData = data.get("imageData")
if not imageData:
imagePath = os.path.join(os.path.dirname(json_file), data["imagePath"])
with open(imagePath, "rb") as f:
imageData = f.read()
imageData = base64.b64encode(imageData).decode("utf-8")
img = utils.img_b64_to_arr(imageData)
label_name_to_value = {"_background_": 0}
for shape in sorted(data["shapes"], key=lambda x: x["label"]):
label_name = shape["label"]
if label_name in label_name_to_value:
label_value = label_name_to_value[label_name]
else:
label_value = len(label_name_to_value)
label_name_to_value[label_name] = label_value
lbl, _ = utils.shapes_to_label(
img.shape, data["shapes"], label_name_to_value
)
label_names = [None] * (max(label_name_to_value.values()) + 1)
for name, value in label_name_to_value.items():
label_names[value] = name
lbl_viz = imgviz.label2rgb(
lbl, imgviz.asgray(img), label_names=label_names, loc="rb"
)
PIL.Image.fromarray(img).save(osp.join(out_dir, "img.png"))
utils.lblsave(osp.join(out_dir, "label.png"), lbl)
PIL.Image.fromarray(lbl_viz).save(osp.join(out_dir, "label_viz.png"))
with open(osp.join(out_dir, "label_names.txt"), "w") as f:
for lbl_name in label_names:
f.write(lbl_name + "\n")
logger.info("Saved to: {}".format(out_dir))
if __name__ == "__main__":
main()
接下来进入批量转换的核心
大致流程，
第一步 pre_treatment() #预处理，创建存储所需的相应文件夹
第二步 json_png() #调用labelme的json转换png程序
第三步 extract_png() #从转换的数据中提取png图像
第四步 png_to_binary() #将png转换为8位的单通道黑白图像，用于分割训练
嗯·····接下来自己建一个python工程，把下便代码复制进去，接下来你需要做就是把这个路径改成你的路径、
'''
将label中标注的json文件，转化为可用于分割训练的标签二值化黑白png图片
'''
import os
import cv2
import numpy as np
import shutil
import glob
# def json_png(): 第一次转换用到
path_json = r'E:\pic3\json' # 这里是指.json文件所在文件夹的路径
# 批量转换，修改此路径
# 此路径为，json文件所在路径
# def extract_png(): 第二次转换用到
path_json_to_data = os.path.join(path_json,"json_data") # json文件夹所在位置
path_save_png = os.path.join(path_json,"json_png") # 将标签图从json文件中批量取出后指定保存的文件目录
path_save_png_binary = os.path.join(path_json,"json_png_binary") #二至图像最终保存的路径
def pre_treatment():
'''
创建三个文件夹用于存储
json_data用于存储json转换img.png label.png label_names.txt label_viz.png的文件夹
json_png用于存储从json_data提取出来的label。png（最终存储名字与json文件对应）
json_png_binary 用于存储最终转换后的8位的单通道黑白图像
:return:
'''
if os.path.isdir(os.path.join(path_json,"json_data")) is False:
os.mkdir(os.path.join(path_json,"json_data"))
else:
print('文件已存在')
if os.path.isdir(os.path.join(path_json,"json_png")) is False:
os.mkdir(os.path.join(path_json,"json_png"))
else:
print('文件已存在')
if os.path.isdir(os.path.join(path_json,"json_png_binary")) is False:
os.mkdir(os.path.join(path_json,"json_png_binary"))
else:
print('文件已存在')
def json_png():
'''
批量将json转换为img.png label.png label_names.txt label_viz.png
并存储至当前文件夹下的json_date文件夹中
:return: 无
'''
json_file = glob.glob(os.path.join(path_json, "*.json"))
os.system("activate labelme") #激活labelme环境（根据自己设置的修改）
for file in json_file:
os.system("labelme_json_to_dataset.exe %s" % (file)) #调用labelme，自带的程序进行批量转换
#labelme中\.conda\envs\labelme\Lib\site-packages\labelme\cli中的json_to_dataset.py被修改过
# 具体修改见json_to_dataset.py
def extract_png():
'''
将标签图从json文件中批量取出
:return:
'''
for eachfile in os.listdir(path_json_to_data):
path1 = os.path.join(path_json_to_data, eachfile) # 获取单个json文件夹的目录
if os.path.isdir(path1): #判断path1路径是否存在
if os.path.exists(path1 + '/label.png'): #判断path1路径下label.png是否存在
path1 = os.path.join(path1, 'label.png') # 获取PNG所在的路径，准备等待复制
path2 = os.path.join(path_save_png, (eachfile.split('_')[0] + '.png')) # 将png复制到path2路径下的文件夹中去
shutil.copy(path1, path2) #将path1文件复制到path2
print(eachfile + ' successfully moved')
def png_to_binary():
'''
由于数据集是做二分类分割，所以，需要将ground_truth转换为8位的单通道黑白图像，才能作为训练时的label使用。
将提取出来的png转换为8位的单通道黑白图像
'''
for im in os.listdir(path_save_png):
img = cv2.imread(os.path.join(path_save_png, im))
b, g, r = cv2.split(img)
r[np.where(r != 0)] = 255
cv2.imwrite(os.path.join(path_save_png_binary, im), r)
def process():
pre_treatment() #预处理，创建存储所需的相应文件夹
json_png() #调用labelme的json转换png程序
extract_png() #从转换的数据中提取png图像
png_to_binary() #将png转换为8位的单通道黑白图像，用于分割训练
if __name__ == "__main__":
process()注：将红色部分替换位你自己的json文件的路径，这个E:\pic3\json是我的路径，（替换为你自己的路径）
path_json = r'E:\pic3\json' # 这里是指.json文件所在文件夹的路径 # 批量转换，修改此路径 # 此路径为，json文件所在路径
相信你看完之后，肯定也可以实现批量，自动实现json转png了。哈哈哈
此处附上我自己的工程代码，包括改好的labelme_json_to_dataset.py文件
再瞎扯几句：
初次学习，有错误之处，也可以帮忙改正一下，谢谢
参考
深度学习图像标签标注软件labelme超详细教程 – 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/371756150(106条消息) labelme批量制作数据集教程_ZhuiMengLQG的博客-CSDN博客_labelme 批量https://blog.csdn.net/ZhuiMengLQG/article/details/109383422【labelme】批量将.json文件转换成mask.png等文件 – 代码先锋网 (codeleading.com)https://www.codeleading.com/article/21842739990/
来源：脱发小白龙
