在AutoDL上训练MPRNet

《MPRnet》学习笔记 图像恢复任务需要在恢复图像时实现空间细节与高级上下文信息之间的复杂平衡。本文提出了一种新颖的协同设计,能够在恢复过程中优化平衡这些相互竞争的目标。我们的主要提议是一个多阶段架构,通过逐步学习退化输入的恢复函数,将整体恢复过程分解为更易管理的步骤。具体来说,我们的模型首先使用编码器-解码器架构学习上下文化特征,随后将这些特征与一个保持局部信息的高分辨率分支相结合。在每个阶段,我们引入了一种新颖的每像素自适应设计,利用现场监督注意力来重新加权局部特征。多阶段架构的一个关键成分是不同阶段之间的信息交换。 阅读详情

autodl上配置:pytorch2.1   ubuntu22.04   cuda 12.1    python3.10

选用了一块4090D

目录

一.下载代码

二.我更改的内容

三.对于 training.yaml 的更改

 四.在服务器上部署

五.参考:

 

一.下载代码

code:https://github.com/swz30/MPRNet

paper:https://openaccess.thecvf.com/content/CVPR2021/papers/Zamir_Multi-Stage_Progressive_Image_Restoration_CVPR_2021_paper.pdf

二.我更改的内容

在官网下载后,在 Deblurring 中的Datasets 中有README,按照官方路径下载数据集,pretrained_models文件夹下下载作者的权重。

之后,是我对  train  文件的更改,

更改点:

设置了10轮的预热(warmup_epochs = 10)

将torch.sum 改为 sum

loss_char = sum([criterion_char(restored[j], target) for j in range(len(restored))])
loss_edge = sum([criterion_edge(restored[j], target) for j in range(len(restored))])

train_loader 和 val_ loader 其中的 num_workers = 0 ,我在Windows下改为0才可以,ubuntu下我也没改回作者的8。

import os
from config import Config 
opt = Config('training.yml')

gpus = ','.join([str(i) for i in opt.GPU])
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"] = gpus

import torch
torch.backends.cudnn.benchmark = True

import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader

import random
import time
import numpy as np

import utils
from data_RGB import get_training_data, get_validation_data
from MPRNet import MPRNet
import losses
from warmup_scheduler import GradualWarmupScheduler
from tqdm import tqdm

######### Set Seeds ###########
random.seed(1234)
np.random.seed(1234)
torch.manual_seed(1234)
torch.cuda.manual_seed_all(1234)

start_epoch = 1
mode = opt.MODEL.MODE
session = opt.MODEL.SESSION

result_dir = os.path.join(opt.TRAINING.SAVE_DIR, mode, 'results', session)
model_dir = os.path.join(opt.TRAINING.SAVE_DIR, mode, 'models',  session)

utils.mkdir(result_dir)
utils.mkdir(model_dir)

train_dir = opt.TRAINING.TRAIN_DIR
val_dir = opt.TRAINING.VAL_DIR

######### Model ###########
model_restoration = MPRNet()
model_restoration.cuda()

device_ids = [i for i in range(torch.cuda.device_count())]
if torch.cuda.device_count() > 1:
  print("\n\nLet's use", torch.cuda.device_count(), "GPUs!\n\n")


new_lr = opt.OPTIM.LR_INITIAL

optimizer = optim.Adam(model_restoration.parameters(), lr=new_lr, betas=(0.9, 0.999), eps=1e-8)

######### Scheduler ###########
warmup_epochs = 10
scheduler_cosine = optim.lr_scheduler.CosineAnnealingLR(optimizer, opt.OPTIM.NUM_EPOCHS-warmup_epochs, eta_min=opt.OPTIM.LR_MIN)
scheduler = GradualWarmupScheduler(optimizer, multiplier=1, total_epoch=warmup_epochs, after_scheduler=scheduler_cosine)
# scheduler.step()

######### Resume ###########
if opt.TRAINING.RESUME:
    path_chk_rest = utils.get_last_path(model_dir, '_latest.pth')
    utils.load_checkpoint(model_restoration, path_chk_rest)
    start_epoch = utils.load_start_epoch(path_chk_rest) + 1
    utils.load_optim(optimizer, path_chk_rest)

    for i in range(1, start_epoch):
        scheduler.step()
    new_lr = scheduler.get_last_lr()[0]
    print('------------------------------------------------------------------------------')
    print("==> Resuming Training with learning rate:", new_lr)
    print('------------------------------------------------------------------------------')

if len(device_ids) > 1:
    model_restoration = nn.DataParallel(model_restoration, device_ids=device_ids)

######### Loss ###########
criterion_char = losses.CharbonnierLoss()
criterion_edge = losses.EdgeLoss()

######### DataLoaders ###########
print(f'Loading training data from {train_dir}')
train_dataset = get_training_data(train_dir, {'patch_size': opt.TRAINING.TRAIN_PS})
train_loader = DataLoader(dataset=train_dataset, batch_size=opt.OPTIM.BATCH_SIZE, shuffle=True, num_workers=0, drop_last=False, pin_memory=True)

print(f'Loading validation data from {val_dir}')
val_dataset = get_validation_data(val_dir, {'patch_size': opt.TRAINING.VAL_PS})
val_loader = DataLoader(dataset=val_dataset, batch_size=1, shuffle=False, num_workers=0, drop_last=False, pin_memory=True)

print('===> Start Epoch {} End Epoch {}'.format(start_epoch, opt.OPTIM.NUM_EPOCHS + 1))
print('===> Loading datasets')

best_psnr = 0
best_epoch = 0

for epoch in range(start_epoch, opt.OPTIM.NUM_EPOCHS + 1):
    epoch_start_time = time.time()
    epoch_loss = 0

    model_restoration.train()
    for i, data in enumerate(tqdm(train_loader), 0):
        # zero_grad
        for param in model_restoration.parameters():
            param.grad = None

        target = data[0].cuda()
        input_ = data[1].cuda()

        restored = model_restoration(input_)

        # Compute loss at each stage
        loss_char = sum([criterion_char(restored[j], target) for j in range(len(restored))])
        loss_edge = sum([criterion_edge(restored[j], target) for j in range(len(restored))])
        loss = (loss_char) + (0.05 * loss_edge)

        loss.backward()
        optimizer.step()

        epoch_loss += loss.item()

    #### Evaluation ####
    if epoch % opt.TRAINING.VAL_AFTER_EVERY == 0:
        model_restoration.eval()
        psnr_val_rgb = []
        print('Starting validation...')
        print(f'Validation dataset size: {len(val_loader)}')

        for ii, data_val in enumerate(val_loader, 0):
            if len(data_val) == 0:
                print(f'Batch {ii} is empty!')
                continue

            target = data_val[0].cuda()
            input_ = data_val[1].cuda()

            print(f'Batch {ii} - input shape: {input_.shape}, target shape: {target.shape}')

            with torch.no_grad():
                restored = model_restoration(input_)

            if isinstance(restored, list) and len(restored) > 0:
                restored = restored[0]
            else:
                print(f'Restored output for batch {ii} is empty or not a list!')
                continue

            for res, tar in zip(restored, target):
                psnr = utils.torchPSNR(res, tar)
                print(f'PSNR for batch {ii}: {psnr}')
                psnr_val_rgb.append(psnr)

        if len(psnr_val_rgb) == 0:
            raise RuntimeError(
                "Validation resulted in an empty PSNR list. Please check the validation dataset and PSNR calculation.")

        psnr_val_rgb = torch.stack(psnr_val_rgb).mean().item()

        if psnr_val_rgb > best_psnr:
            best_psnr = psnr_val_rgb
            best_epoch = epoch
            torch.save({'epoch': epoch,
                        'state_dict': model_restoration.state_dict(),
                        'optimizer': optimizer.state_dict()
                        }, os.path.join(model_dir, "model_best.pth"))

        print("[epoch %d PSNR: %.4f --- best_epoch %d Best_PSNR %.4f]" % (epoch, psnr_val_rgb, best_epoch, best_psnr))

        torch.save({'epoch': epoch,
                    'state_dict': model_restoration.state_dict(),
                    'optimizer': optimizer.state_dict()
                    }, os.path.join(model_dir, f"model_epoch_{epoch}.pth"))

    scheduler.step()

    print("------------------------------------------------------------------")
    print("Epoch: {}\tTime: {:.4f}\tLoss: {:.4f}\tLearningRate {:.6f}".format(epoch, time.time() - epoch_start_time,
                                                                              epoch_loss, scheduler.get_last_lr()[0]))
    print("------------------------------------------------------------------")

    torch.save({'epoch': epoch,
                'state_dict': model_restoration.state_dict(),
                'optimizer': optimizer.state_dict()
                }, os.path.join(model_dir, "model_latest.pth"))

三.对于 training.yaml 的更改

我只租了一块GPU,batch_size 设置更高我租的4090D会爆显存不够的错误。

训练轮数100次,我训练时大概是7min / epoch。

学习率我设置为 1e-4,因为作者的2e-4和预热(warmup_epochs = 3)我会出现梯度爆炸,loss突然变得巨大的情况,因此降低学习率,增加预热轮数。

GPU: [0]

VERBOSE: True

MODEL:
  MODE: 'Deblurring'
  SESSION: 'MPRNet'

# Optimization arguments.
OPTIM:
  BATCH_SIZE: 1
  NUM_EPOCHS: 100
  # NEPOCH_DECAY: [10]
  LR_INITIAL: 1e-4
  LR_MIN: 1e-6
  # BETA1: 0.9

TRAINING:
  VAL_AFTER_EVERY: 20
  RESUME: False
  TRAIN_PS: 256
  VAL_PS: 256
  TRAIN_DIR: './Datasets/GoPro/train' # path to training data
  VAL_DIR: './Datasets/GoPro/test'    # path to validation data
  SAVE_DIR: './checkpoints'     # path to save models and images
  # SAVE_IMAGES: False

 四.在服务器上部署

AutoDL:AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL

 找一个你想要的地区和显卡:

 点进去,按照如下进行创建:

之后,你会得到一个实例:

在正式训练之前,可以使用无卡开机进行传输文件,省钱。

 

传输文件可以看看别人的,我是使用Xftp 7传的,巨慢

之后使用  jupyter  打开,查看文件,安装需要的软件包:

pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm

 下图是我在服务器上的文件内容:

 文件啥的都没问题,关闭  jupyter  ,关机实例(因为现在是无显卡启动)

再次开机(现在是有显卡启动) ,进入 jupyter :

开始训练。 

我大概训练了40轮,一不小心按Ctrl+c退出了,当时的PSNR大概是28左右,训练出来的权重使用demo.py得出的结果图照作者的有差距但不大。

五.参考:

1.MPRNet 训练自己的数据集_mprnet训练结果-CSDN博客

2.【论文笔记】图像修复MPRNet:Multi-Stage Progressive Image Restoration 含代码解析-CSDN博客

3.在AutoDL平台训练yolov5模型教程_autodl训练yolov5-CSDN博客

4.jupyter解压

 

【论文笔记】图像修复MPRNet:Multi-Stage Progressive Image Restoration 含代码解析 恢复图像任务,需要在空间细节和高级上下文特征之间取得复杂的平衡。于是作者设计了一个多阶段的模型,模型首先使用编解码器架构来学习上下文的特征,然后将它们与保留局部信息的高分辨率分支结合起来。打个比方,我要修复一张蛇的图片,编解码器负责提取高级上下文特征,告诉模型要在蛇身上“画”鳞片,而不是羽毛或其他东西;然后高分辨率分支负责细化鳞片的图案。 阅读详情

相关推荐

图像恢复网络 MPRNet 去雨训练数据集

多阶段渐进式图像恢复网络 MPRNet 的训练数据集,包括 13711 对有雨无雨图,论文链接 https://arxiv.org/abs/2102.02808,原数据集在谷歌云盘不便下载。

【图像去雨】MPRNet:性能炸裂!MPRNet:多阶段渐进式图像恢复(图像去雨、去模糊、去噪)

原文:https://arxiv.org/pdf/2102.02808.pdf源码:http://github.com/swz30/MPRNet在进行图像去雨的过程中需要恢复图像在空间细节和上下文信息之间达成的平滑,MPRNet进行了新的设计,通过一个多阶段的体系结构,该体系结构逐步学习降级输入的恢复特征,从而将整个恢复过程分解为更易于管理的步骤。具体来说,模型首先使用编码器-解码器体系结构学习上下文相关的特征,然后将它们与保留局部信息的高分辨率分支相结合。

weixin_44037500的博客 2598

MPRNet 去雨测试数据集 Test2800

图像恢复网络 MPRNet 去雨测试数据集 Test2800。

Multi-Stage Progressive Image Restoration(MPRNet)--论文及原理笔记

① 本文提出了一个新的模型,首先使用编码器-解码器架构学习上下文特征,然后将它们与保留本地信息的高分辨率分支相结合。② 引入了一种新颖的逐像素自适应设计,利用原位监督注意力来重新加权局部特征③ 为解决不同阶段之间的信息交换,本文将信息不仅从早期到后期按顺序交换,而且还存在特征处理块之间的横向连接以避免任何信息丢失。。④ 该架构对图像去雨、去雾、去模糊和去噪等有很显著的效果。

BingY_998的博客 3585

MPRNet:“多阶段渐进式图像恢复”(CVPR 2021)的官方资源库。 SOTA结果用于图像去模糊,去油和去噪

多阶段渐进式图像恢复(CVPR 2021) , , , , , 和 论文: : 补充文件: 摘要:图像恢复任务要求在恢复图像时在空间细节和高级上下文信息之间达成复杂的平衡。 在本文中,我们提出了一种新颖的协同设计,可以最佳地平衡这些相互竞争的目标。 我们的主要建议是一个多阶段体系结构,该体系结构逐步学习降级输入的恢复功能,从而将整个恢复过程分解为更易于管理的步骤。 具体来说,我们的模型首先使用编码器-解码器体系结构学习上下文相关的功能,然后将它们与保留本地信息的高分辨率分支相结合。 在每个阶段,我们都会介绍一种新颖的每像素自适应设计,该设计利用现场监督的注意力来重新加权局部特征。 这种多阶段体系结构中的关键要素是不同阶段之间的信息交换。 为此,我们提出了一种两方面的方法,其中不仅从早期到后期顺序地交换信息,而且还存在特征处理块之间的横向连接,以避免任何信息丢失。 由

从PCEP到PCAP:一个数据分析师的Python认证升级之路与学习规划

本文详细介绍了数据分析师从PCEP(初级)到PCAP(中级)的Python认证升级路径,包括考试内容、备考策略和时间规划。通过系统化的学习,读者可以掌握Python在数据分析中的核心应用,提升职业竞争力。文章还提供了实用的代码示例和认证考试对比,帮助读者高效备考。

weixin_27427619的博客 442

MPRNet 训练自己的数据集

code:https://github.com/swz30/MPRNet paper:https://openaccess.thecvf.com/content/CVPR2021/papers/Zamir_Multi-Stage_Progressive_Image_Restoration_CVPR_2021_paper.pdf 1.不是吧,还有人想着一个环境跑所有代码?废话少说。搭建环境 conda create -n pytorch1 python=3.7 conda activate pytorch1

hasque2019的博客 4817

CentOS 7 安装 Python 3.10

我这里已经软链接了,正常未链接之前是python->python2.7而不是python3.10。python2.7默认安装是在 /usr/bin目录中,切换到/usr/bin/更改yum配置,因为其要用到python2才能执行,否则会导致yum不能正常使用。2. 安装 Python 3.10 必需的 openssl >= 1.1.1。默认的centos7是没有安装pip,先添加epel扩展源。/usr/bin/python 修改为如下。添加软链接,将原来的链接备份。添加python3的软链接。

bensonyang888的博客 2907

[图像复原](MPRNet)Multi-Stage Progressive Image Restoration

转载自:https://zhuanlan.zhihu.com/p/357876311 Multi-Stage Progressive Image Restoration 2021 cvpr 目前最强的去噪方法,没有之一。可以去看看它刷榜的战绩。 提出了一个多阶段结构,渐进式的学习复原函数。因此全面分解了回复过程,让每一步变得可操作。 模型先用编码解码结构学习情境特征,之后与一个保留局部信息的高分辨率分支融合。每一个阶段,介绍对每个像素的自适应设计,这个设计利用原像素位监督的注意力来调整局部的注意力。

qwj的博客 1万+

YOLOv11低照度增强主干网络PE-YOLO:原理与完整实现教程

编码器部分# 解码器部分self.dec_conv2 = nn.Conv2d(512, 128, 3, padding=1) # 跳跃连接self.dec_conv3 = nn.Conv2d(256, 64, 3, padding=1) # 跳跃连接self.dec_conv4 = nn.Conv2d(128, 32, 3, padding=1) # 跳跃连接# 编码路径# 解码路径(带跳跃连接)

FJN110的博客 730

600份国家自然基金申报书--模板

600份国家自然基金申报书--模板

需要远程指导仿真实验、代码有问题的,请后台私信或者关注公众号 4202

使用AutoDL服务器进行模型训练

一、AutoDL进行模型训练 1:在浏览器中搜索AutoDL,进去之后首先要注册,注册完成之后登录,这里注册登录就不放图了; 2:登录后进入主页; 3:在算力市场进行显卡租赁; GPU数量:代表当前最多可租用的卡数; 4:比如我这边就租一个2080的; 点击蓝色的“一卡可租”; 我这边需要yolov5的训练,接下来有一个注意点; 如果租的卡是30以上的版本,PyTorch,最后的11.1一定要选11以上的版本; 5:点击立即创建;下面这个界面就代表机器运行起来了

m0_63736250的博客 3347

QT使用libssh2库通过密匙实现sftp协议上传文件

qt下使用libssh2通过密匙连接sftp服务器端

小米的修行之路 950

手把手教你使用AutoDL云服务器训练yolov5模型

手把手教你使用AutoDL云服务器训练yolov5模型,超级详细的教程,保姆级别!

路人贾的博客 2万+

qt实现OCC读取STEP模型并显示(附完整源码)

qt实现OCC读取STEP模型并显示(附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 1484

【人工智能时代】-什么是MCP?本地如何开发MCP Server

MCP(Model Context Protocol)全称模型上下文协议,是由 Anthropic 推出的一种开放标准,旨在统一大型语言模型(LLM)与外部数据源和工具之间的通信协议。掌握更多的信息控制更多的工具在没有联网搜索之前,大模型的数据来源只有训练数据的时候以及推理我们告诉他的东西。所以后来的rag、知识库都是让AI掌握更多的信息,而MCP的出现是为了让大模型控制更多的工具,赋予更多能力。在本篇文章中,基于 Python 完成了一个简单的 MCP Server 的开发。

xiaoli8748的专栏 1996

Multi-Stage Progressive Image Restoration 图像恢复----MPRNet测试步骤及测试过程中遇到问题的解决办法

本文详细介绍了图像恢复方法-MPRNet代码测试及训练,记录下学习笔记。

BingY_998的博客 1622

TIA博途WINCC中如何设置多语言及语言切换的具体方法

TIA博途WINCC中如何设置多语言及语言切换的具体方法

Robot_PLC_HMI_Automation 1万+

【目标检测实验系列】AutoDL线上GPU服务器租用流程以及如何用Pycharm软件远程连接服务器进行模型训练 (以Pycharm远程训练Yolov5项目为例子 超详细)

【目标检测实验系列】AutoDL线上GPU服务器租用流程以及如何用Pycharm软件远程连接服务器进行模型训练 (以Pycharm远程训练Yolov5项目为例子 超详细)

弗兰-随风小欢的博客 3万+

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

MPRNet: 实时高分辨率视频超分辨率的革命

[![](https://gitcode.net/mirrors/swz30/MPRNet/hub_images/cover.png?size=200)](https://gitcode.net/swz30/MPRNet?utm_source=artical_gitcode) 在计算机视觉和图像处理领域,[MPRNet](https://link.gitcode.com/i/ba579d3739...

gitblog_00083的博客 733

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

AutoDL远程服务器训练配置,保姆级教学,一学就会

目录0.整体把握1.使用ssh远程连接服务器2.本地文件远程传输服务器3.实际运行4.最后说一句 0.整体把握 ​ 所谓远程服务器训练,即在本地显示远程服务器终端(Terminal),并在该终端内进行网络训练的行为。但有时学校内资源紧张,很难做到随时随地进行远程服务器训练的行为,于是找了很多云GPU服务器,最终选定AutoDL远程服务器。该远程服务器的优点如下:(1)价格便宜,最低0.5/小时;(2)ssh配置简单,稳定且容易上手;(3)上传速度巨快(10M/S),随时本地更新服务器文件,就像自己的电脑一

cxkyxx的博客 1万+

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

使用网上服务器(AutoDL)训练模型

租服务器(AutoDL)训练网络模型

m0_68382801的博客 1万+

Pycharm连接云算力远程服务器(AutoDL)训练深度学习模型全过程

我试图使用`笔记本联想小新air14的mx350显卡`训练一个图像检测的深度学习模型,但是训练时长大概需要几天时间远超我的预期,所以我便选择租用GPU进行训练,在对多家平台对比后找到了经济实惠的AutoDL,接下来是我租用GPU--配置环境--连接Pycharm--训练模型的全过程,基于本人也是刚入门的新手,如果有不恰当的地方还请大家指教。

weixin_52010459的博客 3万+

使用autodl进行模型训练

最近打江苏省人工智能算法精英大赛,在学长的建议下来到autodl租服务器进行模型训练(零帧起手(csdn上没有小表情耶)),以下记录整个过程的使用步骤。

2302_79641988的博客 815
上一篇: 【霹雳吧啦-目标检测篇】faster_RCNN (my_dataset.py)
困了困了该睡了
博客等级 码龄4年 138粉丝 11原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值