Real-ESRGAN—图像/视频修复算法

一、简介

Real-ESRGAN是腾讯ARC实验室发表超分辨率算法,目标是开发出实用的图像/视频修复算法。ESRGAN 的基础上使用纯合成的数据来进行训练,以使其能被应用于实际的图片修复的场景。

对于图片分辨率太低,画质太差,可以进行很好的修复,先看张实际修复效果图。

经过实测Real-ESRGAN并不是对所有图片都可以进行完美的修复,有些图片修复后没有多大效果。

网页体验地址:https://arc.tencent.com/en/ai-demos/imgRestore

小程序:

二、模型

Real-ESRGAN提供了一套训练好的模型(RealESRGAN_x4plus.pth),可以进行4倍的超分辨率。

1.realesrgan-x4plus(默认)

2.reaesrnet-x4plus

3.realesrgan-x4plus-anime(针对动漫插画图像优化,有更小的体积)

4.realesr-animevideov3 (针对动漫视频)

模型下载地址:https://github.com/xinntao/Real-ESRGAN/releases/download/v0.1.0/RealESRGAN_x4plus.pth

三、使用环境

Python >= 3.7 (推荐使用Anaconda或Miniconda)
PyTorch >= 1.7

# 把项目克隆到本地
git clone https://github.com/xinntao/Real-ESRGAN.git
cd Real-ESRGAN
#安装各种依赖
# 安装 basicsr - https://github.com/xinntao/BasicSR
# 使用BasicSR来训练以及推断
pip install basicsr
# facexlib和gfpgan是用来增强人脸的
pip install facexlib
pip install gfpgan
pip install -r requirements.txt
python setup.py develop

把下载好的模型文件放在experiments/pretrained_models目录,在命令行执行推理命令。

python inference_realesrgan.py -n RealESRGAN_x4plus -i inputs –face_enhance

inputs可以是一张图片,也可以指定文件夹,推理文件夹内的所有文件。未指定保存路径,结果保存在results文件夹。

四、可执行版本

Real-ESRGAN提供了支持Intel/AMD/Nvidia显卡的绿色版exe文件,里面已经有所需的文件和模型了,不需要 CUDA 或者 PyTorch运行环境。

下载地址:https://github.com/xinntao/Real-ESRGAN/releases/download/v0.2.5.0/realesrgan-ncnn-vulkan-20220424-windows.zip

使用方式:./realesrgan-ncnn-vulkan.exe -i 输入图像.jpg -o 输出图像.png -n 模型名字

物联沃分享整理
物联沃-IOTWORD物联网 » Real-ESRGAN—图像/视频修复算法

发表评论