深度展开与基于模型的学习
深度展开是指把经典迭代重建算法转换成神经网络:固定迭代次数,并从数据中学习其中的部分组件,比如步长、正则项或整个近端算子。每一层都调用 CT 的前向投影和反投影算子,因此网络在结构上就保证了数据一致性,同时学到比手工设计丰富得多的先验。
典型例子展开的是梯度下降(学习梯度下降)、原始-对偶算法(Learned Primal-Dual)、ISTA/FISTA、ADMM 或专家场方案(LEARN)。相关的基于模型的方法还包括即插即用(plug-and-play)和去噪正则化(RED),它们保留迭代求解器、插入训练好的去噪器,以及在正弦图与图像之间交替的双域网络。
在稀疏视角、有限角、低剂量和金属伪影问题上,展开网络是精度最高的监督方法之一,并且往往比纯粹的图像到图像网络更能适应不同的采集设置。代价是显存和训练时间,因为每一层都要调用投影算子;显存高效的展开和三维展开方案正是为此而提出的。
在可检索的目录中浏览全部 68 篇「深度展开与基于模型的学习」论文
入门推荐
如果你刚接触这个主题,可以先读这几篇;由维护者挑选。
- Learned Primal-Dual Reconstruction (TMI, 2018)
Learned Primal-Dual,学习原始-对偶求解器近端步骤的经典展开网络。 - LEARN: Learned Experts’ Assessment-Based Reconstruction Network for Sparse-Data CT (TMI, 2018)
把专家场迭代方案展开用于稀疏数据 CT,是最早的 CT 专用展开网络之一。 - FISTA-Net: Learning a Fast Iterative Shrinkage Thresholding Network for Inverse Problems in Imaging (TMI, 2021 · code)
展开 FISTA 并学习阈值与步长,保留了求解器的可解释性,附代码。 - An Interpretable Dual Domain Network for CT Metal Artifact Reduction (MICCAI, 2021 · code)
用于金属伪影校正的模型驱动双域网络,是稀疏视角之外展开方法的好例子,附代码。
论文
共 68 篇,按时间倒序列出最新的 30 篇。
在可检索的目录中浏览全部 68 篇「深度展开与基于模型的学习」论文
数据集、基准与工具库
目录中任务或标签与本主题相符的条目。
- LoDoPaB-CT (官方页面) · 数据集 — Projection + image. 42,895 对仿真人体胸腔切片(LIDC/IDRI),单一噪声水平(N0 = 4096)——其他剂量水平需自行重仿真。事实上的低剂量 CT 标准基准;附有调优良好的 FBP/U-Net 参考流程。
- DeepInverse benchmark suite (官方页面) · 基准 — 统一的 PyTorch 基准框架,覆盖 CT、MRI、去模糊与图像修复,提供可复现指标与预训练基线——把新 CT 方法与强通用求解器对比的最实用途径。
- tomosipo · 工具库 — 以极低的负担描述二维/三维投影几何;封装 ASTRA 并与 PyTorch 打通。
- DeepInverse · 工具库 — 面向成像逆问题的 PyTorch 库——物理算子、学习型去噪器、展开网络与基准测试。
- torch-radon · 工具库 — PyTorch 中的可微分 Radon 变换与滤波反投影。
- LION · 工具库 — 学习式迭代优化网络——基于 PyTorch 的展开式重建,用于 CT 与 PET。
- Learned Primal-Dual · 工具库 — 学习式原始-对偶重建的参照实现——最典型的展开式原始-对偶方案,最初即用于 CT。
- Learned Gradient Tomography · 工具库 — 面向不适定层析的学习式梯度下降参照实现(Adler & Öktem);后来许多展开式 CT 网络的源头。
指南
涵盖本主题的指南。