Ipc-Dehaze论文笔记

ipc—dehaze核心问题1.真实世界雾霾的复杂性和空间差异性(实际场景的雾气的厚度不统一 薄的地方可能用力过猛 厚的地方可以除雾效果不佳)2.one-shot 去雾方法的局限性(现在的大部分模型都想要做一个模型一次性的输出去雾后的清晰图像但是在复杂时候或者是 雾气的浓度过高时候效果会不好)3.如何更加有效地利用高质量先验知识vqgan 大量高清图片做预训练 学习到一个包含特别丰富的高质量的字典 code book 码本 相当 于一本高清图像的素材库所以这个的意思就是我们如何从这个code book找到相对应的清晰 图 像来替换掉原始图像中的这些模糊部分 仅仅使用最近邻匹配nearest neighbor效果 不是很理想 因为两者之间有domain gap核心创新1.一个全新的迭代式去雾框架2.code-predictor用于判断哪些code来替换当前这些模糊的特征3.code-critic审判官用于判断一整批的关系和全局的一致性和协调性sum 用预测评估的迭代流程把图像 去雾这个复复杂问题拆解成多个可控的小步骤。4.实现了一个sota的去雾性能。VQgancodebook 就是所谓的字典或者是素材库 其中包含了很多code code代表高质量 的清晰的图像的局部特征或者是纹理encoder将图像压缩成code decoder将code再还原成高清图像vqgan里面采用的就是最近邻匹配nearest neighbor 效果不是很好 有雾与高清图像有差异对于这篇论文来说vqgan给我们提供了高贵的code book 以及高清素材库和配套的解码编码器encoder将原来图像编码成tokens带原来的雾zl表示原来的 带雾的 zc表示后来积累的高质量的一些特征要循环T次通过掩码Mt作为导航动态的智能的去混合原始信息和已优化信息假设某个区域是1 就代表这个区域还需要进一步的处理 融合到的zt就在这个位置上主要保留zl的信息 若某个区域是0 就代表这个区域之前处理效果还不错 就主要采用zc这边的信息将融合后的zt输入第一个code-predictor 为每一个zt里面的小特征都输出一个概率分布记为p 根据概率分布采样或者是选择最高的哪一个得到了一组特征预测的code 组成了一个s序列 这个s是基于优化的ztcode-critic整体性 协调性的角度去评判整体的s序列的质量 1.是否与邻近的code风格是一致的 2.是否符合整体场景 并且对每一个序列位置进行一个评分p可靠性 可接受程度 这里据文章描述 评分越高 越倾向于在下一轮被刷 可以得知那一部分比较可靠 那一部分需要返工 不可靠的就会在下一轮掩码标记为1 可靠的就会掩码标记为0根据s序列中的code id 去找到code book中相对应的高质量的code 用这些向量来更新zc中相应位置的特征 zc就实时存储了被认为是最佳的一个高质量的一个特征组合SFT spatial feature transform 通常用于解码器和编码器的内部 进行特征的调制 帮助网络更好的对齐和融合来自不同模块和不同层级的特征的信息 相当于一个协调器训练过程两个阶段第一个阶段训练predictor 将code book decoder 固定 主要是训练encoder SFT 和predictor主要使用交叉熵损失 也有一些重建损失和感知损失整体的优化这个效果第二个阶段除了critic 都要锁 让critic 准确的去学会区分这个predictor生成的code序列和真实的没雾的图像当中的差异 主要使用二元交叉熵损失