Practical cone-beam algorithm
FDK 把滤波反投影变成实用的三维锥束算法:一次滤波、一次反投影即可从锥束投影直接重建容积,在中间平面上精确、在其余位置足够接近——解析重建自此成为 CT 的默认引擎。
一棵树,四十年,三十篇论文。CT 重建不是沿一条直线前进的——它不断分叉:分出同时修复正弦图与图像的双域网络,分出逐次扫描现学的坐标网络,分出显式的三维高斯基元,分出生成式先验,最后汇入试图把所有分支收进一个模型的基础模型。这棵手工策展的谱系树从解析重建的根 FDK 出发,追踪每一次分叉。每张卡片都是库内的一篇论文,每条短标签点明迈出的那一步,画布下方的阅读清单则把每一步完整讲清。
FDK 把滤波反投影变成实用的三维锥束算法:一次滤波、一次反投影即可从锥束投影直接重建容积,在中间平面上精确、在其余位置足够接近——解析重建自此成为 CT 的默认引擎。
CT 的压缩感知转折点:ASD-POCS 在数据一致性与非负约束下最小化全变分(TV),第一次有说服力地证明:锥束容积可以用远少于 FDK 所需的视角重建出来。
FDK 只在数据完整时精确。一旦减少视角或角范围,解析公式便无能为力——缺失的测量必须靠"对图像的假设"来补。Sidky 与 Pan 的假设是:真实图像近似分片常数,其梯度是稀疏的。于是重建变成一道优化题:在与实测数据一致的约束下最小化 TV。手写的先验自此进入 CT,再未离开。
稀疏性的第二稿:不再假设图像梯度稀疏,而是学一个图像块的冗余字典,假设每个图像块都是字典原子的稀疏组合——稀疏表示时代 CT 的代表方法,装在统计迭代重建框架里。
先验自此成为模块:即插即用(PnP)用任意现成去噪器替换基于模型迭代中的近端算子,去噪器本身即是隐式先验——换先验不再需要重推数学,只需要换一个去噪器。
TV 有效,但它只是对图像的一种固定猜测,而且每换一种手写先验就要重推一套求解器。Venkatakrishnan、Bouman 与 Wohlberg 注意到:这类迭代中先验那一步在机制上就是一次去噪——于是他们允许插入任意去噪器,包括那些根本写不出公式的。先验不再是一个方程,而是一个可替换的部件。2013 年插进来的去噪器还是经典算法——但插座已经为接下来的一切准备好了。
学习从后门进入:RED-CNN 不动重建本身,而是把 FBP 的结果拿来学着"擦干净"——残差编解码网络融合自编码器、反卷积与短路连接,在抑制低剂量噪声的同时保住结构与病灶。
PnP 证明了去噪器可以承载先验——下一个问题顺理成章:去噪器为什么要手工设计,何不从数据里学?深度学习进入 CT 的第一波浪潮选了最简单的位置:重建之后。先照旧用 FBP 重建,再让训练好的 CNN 清除噪声与条纹伪影。效果出奇地好——局限也同样清楚:网络从未见过原始测量,它可能抹掉真实结构、也可能"脑补"出貌似合理的纹理,而且没有任何环节拿物理去校验它的输出。
后处理长出理论:WavResNet 用建立在框架小波理论上的小波残差网络为低剂量 CT 去噪,把框架算法的性能保证与 CNN 的表达力配成一对。
最激进的端到端回答:AUTOMAP 把重建本身重新表述为有监督学习,让传感器域到图像域的映射从训练数据中自行涌现,而不是由几何推导出来。
既然网络能擦图,为什么还要保留解析重建?发表在《自然》的 AUTOMAP 走向后处理的反面极端:把整条域变换都学出来——投影进、图像出,由真实图像的流形结构去承担公式曾经承担的工作。这是野心的里程碑,也是代价的演示:学到的变换与训练时的几何和数据分布焊死在一起,而且要用海量训练语料,才能学会 FDK 一页数学就写清的东西。
合题:LPD 展开一个近端原对偶优化,只把其中的近端算子换成 CNN,(可非线性的)前向算子留在网络内部——物理留在环路里,学习只补那些没人能手写的步骤。
对 AUTOMAP 脆弱性的回答同年就到。Adler 与 Öktem 保留经典求解器的骨架——在测量空间与图像空间之间交替的原对偶迭代——只把近端步骤学成小 CNN。前向算子在每轮迭代中被精确求值,重建永远不会漂离实测数据;可学习的部分保持局部,训练数据需求大幅下降。"展开"(unrolling)自此成为这个时代的主导设计范式。
展开范式的成文法:MoDL 在 CNN 正则先验与精确数据一致性求解之间交替,并跨迭代共享权重——小网络即够用,且这套模板可迁移到各类逆问题。
LPD 在层析问题上验证了这套范式;MoDL 把它写成面向逆问题的通用架构。一个 CNN 先验模块、一步精确数据一致性求解,循环往复——而且每轮迭代用的是同一套网络权重,模型因此可以很小、用 modest 的数据就能训练。与 LPD 学习每轮专属算子不同,MoDL 的纪律是节约:物理承担大部分工作,网络只提供先验。基于模型的深度学习自此有了一个参考设计,此后十年的大量论文都是它的实例化。
展开模板的循环化:LEARN++ 把压缩感知 CT 的学习型迭代重建重写为循环双域网络,把 2018 年 LEARN 的设计带进双域时代。
物体本身成为模型——要么是坐标场,要么是显式基元。
MoDL 的模板预设重建是一个学一次、反复用的映射。2021 年前后出现了另一种直觉:干脆不学映射,转而学习这一个物体本身的表示。一个只用本次扫描的测量优化的小坐标网络,就可以顶替测量场或图像本身——没有训练集、没有要过拟合的分布,DIP 时代的逐扫描优化带着更好的工具回来了。而一旦物体成为一种表示,它也不必是神经场:它可以是一团显式的三维高斯基元,用可微渲染来拟合。这个分组框的两个孩子正是这两种回答——隐式与显式——它们长成了 2020 年代这棵树上最繁忙的两条枝。
内部学习:CoIL 只用当前扫描自身的测量训练一个坐标 MLP——网络编码出该物体完整的测量场,补全后的测量场再喂给常规重建方法。
CoIL 是隐式这条线最早的干净表述:一个把测量坐标映射到响应的 MLP,只用台面上这个物体自身的稀疏测量训练。网络就是补全后的测量场;把它交给任何常规重建,稀疏视角的结果都会变好。关于物体类别的东西没有一样是预先学来的——先验就是场本身的连续性,一个穿着神经外衣的手写假设;正因如此,这条枝是这棵树对它 2008 年那个根的安静回声。
图像即连续函数:NeRP 把图像本身参数化为一个 MLP,将先验图像嵌入网络作初始化,再按测量物理优化它——不需要训练集,同一套方法横跨 CT 与 MRI。
为 X 射线做结构感知的 NeRF:SAX-NeRF 构建神经辐射密度场,以沿射线线段推理的 Lineformer 为骨干,从稀疏视角重建三维容积。
显式表示的开端:X-Gaussian 把物体表示为一团三维高斯基元,用可微辐射光栅化渲染 X 射线投影——重建变成不断调整基元,直到其渲染与实测投影吻合。
显式的那个兄弟:隐式线把物体藏进网络权重里,X-Gaussian 则把它写成基元——一团三维高斯,其投影由可微辐射光栅器渲染,这是 3D 高斯泼溅的 X 射线对应物。拟合扫描,从此就是拟合这团基元。这种表示可检视、可编辑、渲染快;两年之内,它就撑起了一个完整的重建框架(R2-Gaussian)、一次跨模态统一(X-Splat)和一次成像几何的迁移(LamiGauss)。
高斯作特征场:DIF-Gaussian 让三维高斯承载特征分布,为衰减系数的估计提供额外的三维空间信息,主攻极端稀疏视角的锥束 CT。
为层析把泼溅数学做对:R²-Gaussian 校正了三维高斯向二维投影的方式,给出首个为稀疏视角层析重建(而非视角合成)而建的 3DGS 框架。
一套表示,两种模态:X-Splat 的高斯基元在 RGB 与 X 射线间共享同一套几何,仅近表面基元携带外观属性——泼溅从 CT 的技巧长成统一的三维表示。
高斯走出锥束的巢:LamiGauss 把辐射光栅化斜置进层析成像(laminography)几何——带倾角的探测器到世界坐标变换,外加滤除层析伪影的初始化策略——直接从稀疏投影重建板状物体。
双域转折:DuDoNet 在一个端到端网络里同时修复正弦图与增强图像,中间用 Radon 反演层让梯度在两域间流动——金属伪影要在它产生的地方打,而不只在它落下的地方。
后处理有一个结构性盲区:它永远只看得见图像,正弦图里被 FBP 丢掉的信息再也回不来——而对金属伪影来说,损坏恰恰在正弦图里、在测量本身之中。DuDoNet 的一步是同时在 Radon 变换的两侧工作:在损坏产生的地方修复正弦图,重建,再增强图像——中间用 Radon 反演层让梯度在两个域之间流动,使两半网络作为一个整体训练。单域自此让位于双域;而这个想法足够耐久,多年后又以基础模型预训练策略的身份归来(见下方基础模型组中的 CTPretrain)。
双域的推广:DuDoUFNet 以两阶段渐进方式把不完整的正弦图修复成完整图像,将金属伪影与低剂量作为一个联合问题一起解决,而不是两个分开的毛病。
两条线在此编织:InDuDoNet+ 把正弦图—图像联合优化展开为可学习的近端算子,并嵌入 CT 几何约束——双域学习被写成展开式的、可解释的形态。
后处理的标准入口:FBPConvNet 先做直接反演,再用多分辨率 U-Net 加残差学习把 FBP 图像回归到真值——网络只见过 FBP 图像,从未见过原始测量。
RED-CNN 证明学到的去噪器可以擦干净 FBP 图像。Jin 等人追问:当损坏不只是噪声、而是逆问题本身时,这个去噪器该长什么样?他们的回答 FBPConvNet 是:解析步骤保留,剩下的交给学习。先由直接反演(FBP)得到一张初始图像,再用多分辨率 U-Net 加残差学习把这张图映射到真值,训练目标就是修正反演留下的伪影。这个设计刻意保守:几何保持解析——网络从不触碰原始测量——于是学习问题纯化为从损坏图像到干净图像的图像到图像映射。这就是后处理思想最直白的形态——先反演、再学习——也是 RED-CNN 与 FBPConvNet 共有的模板:先重建,再修复。
借来的先验:3DIP——领域里以 DiffusionMBIR 之名被引用的那篇——用预训练的 2D 扩散模型重建三维体,在测试时以模型驱动先验耦合剩余的维度;全程没有任何针对 CT 的训练。
这就是领域里以 DiffusionMBIR 之名被引用的那篇:一个预训练的 2D 扩散模型,逐层使用、再以模型驱动的方式耦合第三个维度,解决包括 CT 在内的三维逆问题,全程不需要任务专属训练。它证明生成先验不必在 CT 上训练也能重建 CT。而它的兄弟 DOLCE 给出的是相反的回答:那就偏要在 CT 上训一个。
先验变成 CT 图像本身的生成模型:DOLCE 在模型驱动框架中以条件扩散模型充当图像先验,同一个预训练模型在真实有限角数据上、对差异极大的图像类型都达到最优水平。
2018–19 年的展开网络带的仍是判别式 CNN 先验,为单一任务、单一退化训练;协议一变就要重训。先验的下一站:干脆学习CT 图像本身长什么样——一个作为生成先验训练的扩散模型——然后在重建时把它与测量模型耦合。DOLCE 在最难的几何(有限角 CT)上做成了这件事,回报正是 PnP 在 2013 年许诺、如今以新规模兑现的那件事:单一预训练先验,插进物理模型,即可泛化到从未微调过的图像类型。当年那个可插拔的去噪器,长成了一个图像流形的生成模型。
绕回原点,但高了一层:DC-PnPDP 在即插即用 ADMM 中恢复经典对偶变量,并让扩散模型坐上先验的位置,以积分反馈迫使数据一致性与先验两步达成一致。
插座造好十三年后,插头回了家。DC-PnPDP 把扩散先验装进即插即用的 ADMM——并对先验步与数据步通常彼此握得太松这一点不满,恢复了经典对偶变量,用一个积分反馈项逐步迫使两者达成一致。这条枝的每根线都在里面:PnP 的模块化、生成式先验、以及展开时代的优化纪律。
基础模型规模的先验:预训练一次,指向多种退化。
DOLCE 证明了预训练生成先验可以服务许多图像,但它仍是一个面向单一问题族的框架,需要按设置训练与调参。FORCE 直接提出基础模型之问:先验加物理的这套组合能否做成与任务无关的——一个无监督引擎,来什么测量就以什么为条件,横跨低剂量、稀疏视角与金属伪影 CT,且不需要任何一类的配对样本?它的回答是用泊松流生成模型(PFGM++)替换扩散先验,并把成果如标题所言呈现为:断层成像基础模型。
生成先验被打包成基础模型:FORCE 把 CT 数据保真项与 PFGM++ 生成先验统一为无监督重建引擎,一个模型覆盖低剂量、稀疏视角与金属伪影,且不需要配对训练数据。
一个监督模型,多种几何:ProCT 的视角感知提示让单个 Transformer 处理多样的稀疏视角与有限角设置,伪影感知上下文学习则从上下文图像对中感知伪影模式。
FORCE 用无监督生成先验、以迭代采样的方式实现"一个模型管一切"。ProCT 给出监督式的另一路回答:保留单个 Transformer,但要把"你在看什么"告诉它。视角感知提示编码了采集几何,同一套权重即可服务多种稀疏视角与有限角协议;上下文图像对则让它感知当前扫描的伪影模式。这个接口思想借自语言与视觉基础模型——模型不再为每个任务重训,而是被提示。
完整意义上的基础模型动作:TAMP 在 1080 万张物理驱动仿真的非理想测量图像上预训练,再以参数高效微调、仅用少量切片完成适配——一个骨干网络同时服务低剂量、稀疏视角与有限角 CT。
ProCT 让一个模型适配多种设置,但模型的训练规模仍停留在单一任务族。TAMP 完成了这条脉络一直在追踪的轨迹:以基础模型的规模预训练——1080 万张按非理想测量物理仿真的图像——于是先验不再是滤波器、不是公式、不是去噪器、甚至不是采样器,而是 CT 本身的统计规律,存放在一个只需少量切片微调即可转向新协议的骨干网络里。1984 年,知识住在滤波器的设计里;2026 年,知识住在预训练语料里。这条脉络结束在领域当下所站的位置。
预训练,一次做两个域:CTPretrain 耦合正弦图域修复 transformer 与经可学习高斯带通分解预训练的图像域修复 transformer,使单个骨干适配低剂量、稀疏视角与有限角等不同退化。
CTPretrain 是双域想法以基础模型策略身份归来的地方——它 2019 年随 DuDoNet 出生时,是对付金属伪影的办法:把正弦图域与图像域两个 transformer 一起预训练,一个骨干便能适配低剂量、稀疏视角与有限角。它在树上坐在基础模型组里,但它通向 2019 年的那条边写在这里,因为一棵树只能画一个父亲。
AMIFound 是多模态一体化路线的终点形态:共享编码器加动态路由专家池,在 7 种模态、376 万张图像上训练,覆盖 7 类退化——包括 37 个 CT 数据集上的金属伪影去除。