跳到正文
原文
Light: Science & Applications· Myoung-Gyun Suh·· 2026-09-16精选AI 评分65
光学行业光学与 AI

深度学习重建的高光谱双光梳压缩鬼成像

Hyperspectral dual-comb compressive ghost imaging with deep learning reconstruction

主题与目录

主题

成像与计算成像光谱技术与红外检测光学遥感论文研究

本文目录

AI 导读

Light: Science & Applications论文结合双光梳与压缩鬼成像，并用深度学习重建实现高光谱成像。

正文 · AI 翻译

中文译文尚未完整，请切换原文或打开来源页面核对。

引言

鬼成像已成为一种强大的替代方案，它通过已知照明图案与单像素强度测量之间的关联来重建空间信息，而不是用探测器阵列进行直接空间采样1,2,3,4,5,6,7,8,9。除了这一概念上的新颖性之外，单像素探测方法在多像素传感器难以使用或无法使用的场景中具有明显优势——例如在低光照条件下、透过散射介质，或在硬件尺寸受限的平台上10,11。这些优势推动了其在多个领域的应用。例如，在遥感领域，鬼成像已被用于透过湍流和恶劣大气条件成像，而传统相机在这些条件下会失效3,12。在安防与国防领域，它能够在较低光学可见度下甚至在没有直接视线的情况下成像13。在生物医学领域，鬼成像在探测器阵列成本过高或不实用的情况下支持了荧光和多光子显微成像14,15。量子鬼成像甚至展示了如何利用纠缠实现安全成像和信息传输，预示着其在未来量子通信网络中的应用1,16。综上所述，这些广泛的应用演示表明，鬼成像不仅是一种重要的全新成像思路，也是一种面向实际应用的灵活工具，适用于需要鲁棒性、紧凑设计或非常规装置的场合（更多鬼成像背景内容参见补充材料第 I 节）。

尽管具有这些优势，传统鬼成像在本质上是缓慢的，因为它通常依赖空间光调制器或扫频激光器来生成不相关的二维照明图案，并将其依次投影到目标上。由于空间光调制器基于液晶或微机电工作原理，图案生成帧率通常在约 100 Hz 到数十 kHz 之间。因此，投影所有照明图案所需的长测量时间同时限制了速度和图像质量，使得捕捉动态事件或运动物体的实时图像变得困难4,5,17,18。压缩感知算法19,20,21,22有助于减少所需图案的数量，但采集速度仍是一大障碍。要让鬼成像走出概念验证实验、走向需要视频速率成像的实际应用，克服这一挑战至关重要。

光频梳（OFC）23、24、25的最新进展为鬼成像的并行化提供了一条途径。OFC 是一种激光光源，可发射由相互相干、等间距频率谱线组成的宽广光谱，从而实现波分复用编码，并在多个通道上同时进行超快采集26、27、28、29、30、31、32。特别是，双光频梳干涉测量提供了一种用单个探测器对所有梳齿进行并行光电探测的强大方法，通过多外差探测将频谱模式转换为时域干涉图33、34、35、36。在基于传统相机的成像中，OFC 通常用于获取额外的成像维度，例如高光谱成像或深度分辨的 3D 成像37、38，而近期的双光频梳成像或显微成像演示已实现了高帧率和 2D 成像的快照能力27、28、39、40。然而，这些方法往往依赖于笨重的色散光学元件和逐像素的直接映射，限制了空间分辨率和系统紧凑性。

在本工作中，我们通过引入高光谱双光频梳压缩鬼成像来克服这些挑战，该方法将双光频梳干涉测量与鬼成像原理以及基于深度学习的重建相结合。通过将光频梳谱线映射为互不相关的二维散斑图案，并应用双光频梳“高光谱”乘累加（MAC）归约41，如图 1 所示，我们将三维光学信息（2D 空间 × 1D 光谱高光谱数据立方体）压缩为通过空间非分辨光学前端——单芯照明光纤和单像素探测器——采集的快照并行强度测量，从而消除了缓慢的顺序空间图案投影。为了反演压缩测量结果，我们开发了 Ghost-GPT，这是一种专用的深度学习 Transformer 模型42，可实现高保真重建，并支持对动态目标进行视频速率成像。这种软硬件协同设计不仅消除了传统鬼成像的速度瓶颈，还实现了紧凑、低成本的前端，使其非常适合微创内窥显微成像43、44、45、46、47、48、49、50、51、52等受限场景，并推动鬼成像更接近实际部署。

图 1：高光谱双光频梳压缩鬼成像。

a 双光学频率梳（OFC）压缩鬼成像的概念示意图。在光学探测实验中，一组高光谱散斑集 H = {Sf}——即在每个梳线频率处互不相关的二维散斑图案 Sf——在光纤端面产生，并映射到目标 x 上。编码后的散斑图案（H × x）由单像素探测器收集，所得双光梳干涉信号（“干涉图”）用示波器记录。快速傅里叶变换（FFT）将该时域干涉图转换为射频（RF）光梳，得到用于计算图像重建的桶和信号（y = H × x）。借助基于光梳的波分复用（WDM）和双光梳读出，光学前端可简化为单芯光纤和单像素探测器，从而支持内窥显微等紧凑型应用。实验在透射模式下进行，但也可采用反射构型（见补充章节 II）。b 在我们的方法中，每条光学梳线生成一个互不相关的散斑图案，从而实现对目标物体信息的并行光学编码。随后，通过双光梳干涉测量，利用两条线间距略有不同的光梳（fFSR 和 fFSR + ∆fFSR）将编码后的光学调制下变频至射频域，从而实现并行、高信噪比的桶和测量，用于快速、高保真成像。在我们的实验中，Comb I 和 Comb II 在照射目标之前进行合束。另一种方案是先用一束光梳探测目标，再与另一束合束；为清晰起见，图中展示的是后一种构型。c 光学探测与计算图像重建过程的简化数学描述。在光学探测过程中，三维高光谱超立方体 H（跨越频率和二维空间）与二维目标 x 相乘，在频率域产生一维桶和数据 y。该运算本质上是一个“高光谱”乘累加（MAC）过程41。随后，利用预先记录的散斑图案 H 和测得的 y，通过求解逆优化问题来重建 x

值得注意的是，与其他基于扫频激光器的光谱相关鬼成像53,54不同，我们的双光梳方法从根本上实现了并行图案生成，这对于成像运动目标至关重要，因为顺序图案投影会引入运动伪影。此外，光学频率固有的准确性和稳定性确保了每条梳线处散斑图案的可重复性。我们认为，这种并行且可重复的图案生成能力的结合，对于实用的视频速率鬼成像不可或缺。

结果

图 1a 展示了我们的高光谱双光梳压缩鬼成像方法的概念，该方法利用梳线到散斑图案的映射（图 1b）。该方法包含两个主要步骤：光学探测实验和计算图像重建（图 1c）。

在光学检测实验中，利用双光频梳（OFC）光源在光纤端面生成一组散斑图案 H = {Sf}，该组图案由不同梳线频率 f 处互不相关的二维散斑图案 Sf 组成，并投影到二维目标图像 x 上。编码后的强度分布（H × x）由单像素光电探测器探测。由于每个光频梳光源的自由光谱范围（FSR）略有不同，分别为 fFSR 和 fFSR + ∆fFSR，因此产生的时变电压信号（包含双光频梳干涉，即“干涉图”）由示波器记录。快速傅里叶变换（FFT）将该时域信号转换为射频域桶和数据，从而实现对 y = H × x 的并行、精确电子探测。从高层次来看，这种信息处理方法通过高光谱 MAC 运算41实现数据降维，并通过波分复用（WDM）和双光频梳读出实现硬件降维——使前端成像硬件最小化，并显著提高成像速度。双光频梳的相互相干性允许通过相干平均来提高信噪比（SNR）35，这是双光频梳方法的另一项关键优势。

如图 2 所示，我们首先使用来自每个 20 GHz 电光（EO）光频梳的约 200 条梳线对静态 USAF 1951 分辨率靶图案进行成像，这些光频梳覆盖 1532–1564 nm（图 2b），ΔfFSR = 200 Hz。在成像目标之前或之后，通过 Waveshaper 选择单条梳线，使用二维 InGaAs 相机记录不含目标的散斑图案（H）。在不同梳线频率处记录的散斑图案呈现出不同的空间分布（图 2a），Pearson 相关分析证实，在 20 GHz 间隔下散斑图案基本互不相关（图 2c）。残余相关性主要归因于共同的暗背景分量，尤其是在图案边缘附近。每条梳线的功率水平不同，因此散斑图案相应地进行了归一化。为提取目标图像信息并抑制时间噪声，在包含目标物体的信号光路和不含目标的参考光路中同时进行双光频梳测量。图 2d 显示了从信号和参考射频光频梳获得的桶和测量值（通过对干涉图进行 FFT 得到）及其比值，该比值包含编码后的图像信息，用于图像重建。在不含目标物体的情况下也进行了同样的测量，用于校准信号臂和参考臂之间的光程不平衡（更多实验细节见补充章节 II）。

图 2：实验细节。

a 在六个不同梳线频率下测得的散斑图案。每幅图像包含 256 × 256 像素，呈现出居中于画框内的圆形散斑图案。b 自由光谱范围（FSR）为 20 GHz 的电光（EO）调制光梳的典型光谱。该 EO 光梳由 1550 nm 连续波（CW）光纤激光器通过谐振电光调制产生，随后经掺铒光纤放大器（EDFA）放大，再耦合进实验装置。c 在 1532 nm 至 1564 nm 波长范围内计算的散斑图案之间的皮尔逊相关系数。相关性在每幅散斑图案的明亮圆形区域内计算。非对角线上的低数值表明散斑图案基本不相关。残余相关性主要归因于散斑图案边缘附近的共同背景。d 由双光梳干涉信号产生的典型射频（RF）光梳频谱，由信号与参考单像素探测器测得（上图和中图）。下图显示了信号与参考 RF 光梳之间梳峰幅度的比值。信号光路与参考光路之间的差异通过有目标物体和无目标物体时的测量进行校准。RBW 分辨率带宽

在计算图像重建中，我们使用校准后的桶探测求和信号以及预先记录的散斑图案。图 3a 显示了校准后的桶探测求和信号，其中双光梳测量结果与模拟预测吻合良好。采用 Moore–Penrose 伪逆（PI）算法重建的图像清晰地显现出目标物体（图 3b）。然而，重建结果表现出显著的散斑致背景噪声。顺带一提，不同介质（例如不同纤芯尺寸的多模光纤）产生的散斑图案具有不同的散斑颗粒尺寸，对应于不同的窄带空间频率。为提高图像分辨率和保真度，可以考虑若干方法来产生具有更宽空间频率成分的散斑图案。例如，可以将散斑图案生成器设计成使不同梳线产生的散斑图案具有不同的颗粒尺寸，从而具有不同的空间频率。此外，如图 3c 所示，调节物体上的光斑尺寸可以有效改变散斑图案的空间频率并提升图像分辨率。

图 3：静态目标的图像重建。

a 双光梳实验中测得的校准桶求和信号与模拟桶求和信号高度吻合，后者通过将真实掩模（USAF 1951 分辨率靶）应用于存储的散斑图样图像获得；两个信号之间的标准差为 0.008。b 图像重建采用 Moore–Penrose 伪逆（PI）算法，采样率（SR）为 0.3%。模拟（左）和实验（右）均成功恢复了真实图样，残余背景噪声来自照明散斑。c 第 2 组中更小图样（4.00 - 7.14 lp/mm）的图像重建。当使用大面积照明、散斑颗粒较粗时，无法分辨精细细节；而当光束聚焦到较小区域、散斑颗粒较细时，精细细节变得可分辨。红色和黄色虚线圆圈分别表示两种情况下的照明区域。d 为提升重建图像质量，我们开发了基于 Transformer 的深度学习模型 Ghost-GPT。使用 Ghost-GPT 对实验桶求和测量进行的重建结果与经典算法进行比较：差分鬼成像（DGI）、Moore–Penrose 伪逆（PI）和快速迭代收缩阈值算法（FISTA）。（上排）：条纹线对应第 0 组、第 4 个元素（每毫米 1.41 线对）。（下排）：数字 2 对应第 0 组、第 2 个元素（1.12 lp/mm）

为进一步提升图像质量，我们开发了一种基于 Transformer 的图像重建算法55,56，可显著降低背景噪声。该模型我们称之为 Ghost-GPT，专为鬼成像应用量身定制。虽然生成式预训练 Transformer（GPT）通常与自然语言处理（例如 ChatGPT）和人类文本相关联，但它们是通用架构，也可处理图像、时间序列信息或其他结构化数据类型。因此，我们采用“Ghost-GPT”这一名称，以反映我们使用 GPT 式架构来处理鬼成像的散斑图样和桶测量。该模型将散斑图样压缩到潜空间，并与相应的桶测量拼接形成输入 token 序列。随后，该序列通过由 12 个 Transformer 块组成的堆栈进行处理，每个块包含一个多头自注意力（MHSA）机制和一个两层前馈网络。该模型输出分辨率为 256 × 256 像素的重建图像。

在训练中，我们通过将实验测得的波长相关散斑图样与已知图像数据集（例如 MNIST 和 Omniglot）进行卷积，生成大量模拟桶测量数据集。模型通过反向传播预测图像与数据集中真实图像之间的误差，学习散斑-桶测量对与相应真实图像之间的映射关系。训练好的模型随后直接应用于光学装置实验采集的桶信号进行图像重建。模型架构和性能分析的详细描述见补充章节 III。

借助我们的光学装置使用 Ghost-GPT 模型，我们得以重建高保真图像，实现了大于 0.6 的结构相似性指数（SSIM）和小于 0.05 的均方误差（MSE），尽管采样比（照明图案数除以重建图像像素数）仅为 0.3%（见表 1 和图 3d）。其中，SSIM 通过比较重建图像与真实图像的亮度、对比度和结构来量化重建图像的感知质量（SSIM 越高越好）57。我们还将 MSE 作为另一项补充指标，因为它衡量图像之间逐像素的原始误差（MSE 越低越好）。该模型能有效保留精细的结构细节和清晰的物体边界，同时抑制背景噪声，凸显了其从稀疏测量中恢复有意义图像内容的能力。我们还将本模型与经典重建算法及其他深度学习重建算法进行了比较，发现 Ghost-GPT 在速度和重建图像保真度方面总体上均优于它们（见表 1 和补充章节 III）。特别是，Ghost-GPT 在 SSIM 上总体比经典算法高出约一个数量级。该模型 14 ms 的快速重建速度使得在光纤中实现实时视频速率的鬼成像成为可能。重要的是，虽然借助更强大的计算硬件可进一步提升计算重建速度，但帧率的根本上限由双光频梳的 ∆fFSR 决定，在我们的实验中其范围为几百 Hz 到几 kHz。

表 1 经典算法与 Ghost-GPT 对实验目标的 MSE/SSIM

查看完整表格

为展示本方法的高速成像能力，我们设定 ∆fFSR = 3 kHz，并对以 2.4 mm/s 移动的目标图案进行成像（见图 4）。为实现 60 Hz 帧率的视频速率成像，将时长 1 秒的信号干涉图和参考干涉图（图 4b，中面板）划分为 60 个时间区间。对每个区间（图 4b，上面板）进行傅里叶变换以提取桶求和信号。随后使用 Ghost-GPT 模型对每个区间（第 0–59 帧）进行图像重建，图 4b 下面板展示了其中 5 个代表性帧。在 ∆fFSR = 3 kHz 时，可实现高达 1 kHz 的更高帧率，但桶求和信号的信噪比和重建图像的质量会略有下降（图 4c）。

图 4：运动目标的视频速率图像重建。

a 一幅高光谱散斑图案投影到 USAF 1951 分辨率板（第 0 组，第 4 元件；1.41 lp/mm）上，该分辨率板安装在电动位移台上，并以 2.4 mm/s（位移台的最大速度）水平移动。b 在 1 秒内采集的运动物体的参考干涉图和信号干涉图（中间面板），以及用于重建第 26 帧的信号干涉图放大视图（顶部面板）。底部面板显示以 60 Hz 帧率重建的五幅图像，捕捉物体的运动。c 在 t = 50 ms（对应第 3 帧的起始时间）时，由（b）中的干涉图在五种不同帧率（f = 30、60、120、500 和 1000 Hz）下重建的物体图像。考虑到双光梳重复频率差为 3 kHz，每幅图像由 3000/f 个电脉冲重建。结果表明，对运动速度快得多的目标进行成像是可行的

讨论

所展示的图像质量和帧率可通过未来的系统改进进一步提升。在我们当前的实验中，受限于散斑图案相关性的半高全宽（FWHM）以及用于分辨单个散斑图案的 Waveshaper 逐行光谱滤波分辨率，我们只能使用约 200 个散斑图案，梳齿间隔为 20 GHz 或 25 GHz。尽管散斑图案数量较少限制了 Ghost-GPT 只能在简单二值数据集上进行测试，但这并非根本性限制。原则上，亚 GHz 半高全宽的散斑相关性是可以实现的58,59，并且可以利用经光频梳校准的可调谐连续波激光器在如此窄的梳齿间隔下采集散斑图案60。结合光频梳（OFC）的光谱展宽，该方法将能够使用数量多得多的散斑图案进行图像重建，从而在更真实的灰度数据集上进行评估，并提高保真度和分辨率56（关于自然灰度图像鬼成像的数值模拟，参见补充章节 III.J）。

例如，在 1550 nm 附近 100 nm 光谱范围内采用 1 GHz 梳齿间隔（产生约 12,500 条梳线），∆fFSR 为 10 kHz，采样率（SR）为 1%，则可以 12 gigapixels per second 的有效填充率实现高清（HD）分辨率的视频速率成像（填充率 = ∆fFSR/M × N × 1/SR）。其中，帧率（∆fFSR/M）由自由光谱范围之差除以提升信噪比所需的平均周期数 M 决定。目前，我们系统的帧率主要受限于光电探测器带宽（fBW）和射频梳线数量 N，其满足条件 N× ∆fFSR < fBW。原则上，帧率和采样率均可根据应用需求灵活调节——在探测器带宽限制内平衡帧率与图像保真度。

用于图像增强的基于 Transformer 的深度学习模型仍有进一步优化的空间，但原始数据质量的改进——例如在散斑图样记录中使用低噪声光电探测器或低噪声相机——将显著提升重建图像的质量。在高速、高灵敏度 CMOS 图像传感器和光电探测器可探测的波长范围内工作，也有助于提升系统性能。压缩双光频梳源通过提升信噪比（SNR），从而缩短所需的平均时间，为改善性能提供了额外机会61。尽管我们目前的演示仅限于 2D 空间成像，但同一系统可根据应用需求，以光谱成像或纯光谱模式运行38。此外，将我们的空间域压缩成像与基于时间可编程光频梳的时域压缩感知相结合62,63，将是未来研究中一个引人入胜的方向，能够在空间域和时间域同时压缩物体的四维高光谱时空信息。

总之，我们通过实验演示了高光谱双光频梳压缩成像，以极简的光学前端——单芯光纤和单像素光电探测器——实现了高速鬼成像。这种简洁性对于硬件受限的应用尤为重要，例如紧凑、低成本的一次性内窥显微探头。此外，我们表明，本研究提出的基于 Transformer 的重建模型可显著提升图像质量，有效减少压缩过程中的信息损失。尽管在实际应用中仍需若干技术改进——例如开发紧凑可靠的散斑图样（或结构光）生成器53,64、在光电探测器上高效收集光，以及实现灰度成像56——我们仍展示了一项关键的概念验证：即使采用微创、空间非分辨的硬件配置，也能实现达到或超过视频帧率的高保真鬼成像。这种软硬件协同设计——基于光频梳的并行光学处理与深度学习赋能的计算鬼成像相结合——在受硬件尺寸和复杂度约束的传感与生物医学应用中前景广阔。

材料与方法

对于双光频梳光源，我们使用两台自由光谱范围（FSR）略有不同的电光（EO）光频梳。一台 1550 nm 的连续波（CW）光纤激光器先经放大，再通过 50/50 光纤耦合器分成两束。每束光通过声光移频器进行移频，引入中心频率偏移 ∆fcenter。随后，这些光束分别由谐振电光调制器独立调制，调制频率分别为 fFSR 和 fFSR + ∆fFSR，其中在静态物体成像实验中 fFSR = 20 GHz、∆fFSR = 200 Hz（对于运动目标则为 fFSR = 25 GHz、∆fFSR = 3 kHz）。所得电光光频梳通过另一只 50/50 光纤耦合器合束，并进行放大以补偿下游系统的插入损耗。在进入自由空间成像装置之前，系统中放置一台 Waveshaper，用于可选地滤除单根梳线。在桶探测求和测量中，完整的双光频梳光谱通过 Waveshaper 传输。下游，实验中使用的 5 米多模光纤（MMF）纤芯直径为 200 microns，可支持数百个空间模式，因此当光耦合输出到自由空间装置时会产生各不相同的散斑图样。生成的散斑图样经准直后通过目标物体——安装在电动平移台上的负片 USAF 1951 分辨率板。在目标之前，一只 50/50 分束器将光束分为信号光路和参考光路，从而可同时采集信号与参考干涉图，抑制共模时间噪声。参考与信号的桶探测求和均采用带宽 510 kHz 的自由空间 InGaAs 光电探测器采集。参考光路位于自由空间中，不过也可以改用 50/50 光纤耦合器在光纤中实现，这对实际应用可能更为实用。此外，成像实验也可采用反射模式，而非当前的透射配置。不含物体的散斑图样集（H）通过 Waveshaper 选取单根梳线，用 2D InGaAs 相机在成像之前或之后单独记录。值得注意的是，MMF 固定在光学平台上，所得散斑图样在数小时内保持足够稳定，可支持多次成像实验。（实验装置详情见补充 Information。）

数据可用性

支持本文图表及本研究其他发现的数据和代码可在我们的仓库获取：[Repository Link]。

参考文献

  1. Pittman, T. B. et al. Optical imaging by means of two-photon quantum entanglement. Phys. Rev. A 52, R3429 (1995).

    Article  ADS  Google Scholar 

  2. Bennink, R. S., Bentley, S. J. & Boyd, R. W. “Two-photon” coincidence imaging with a classical source. Phys. Rev. Lett. 89, 113601 (2002).

    Article  ADS  Google Scholar 

  3. Erkmen, B. I. & Shapiro, J. H. Ghost imaging: from quantum to classical to computational. Adv. Opt. Photonics 2, 405–450 (2010).

    文章  Google Scholar 

  4. Katz, O., Bromberg, Y. & Silberberg, Y. Compressive ghost imaging. Appl. Phys. Lett. 95, 131110 (2009).

    文章  ADS  Google Scholar 

  5. Padgett, M. J. & Boyd, R. W. An introduction to ghost imaging: quantum and classical. Philos. Trans. R. Soc. A: Math. Phys. Eng. Sci. 375, 20160233 (2017).

    文章  ADS  Google Scholar 

  6. Li, D. et al. Enhancing robustness of ghost imaging against environment noise via cross-correlation in time domain. Opt. Express 29, 31068–31077 (2021).

    文章  ADS  Google Scholar 

  7. Liu, X. L. et al. Photon-limited single-pixel imaging. Opt. Express 28, 8132–8144 (2020).

    文章  ADS  Google Scholar 

  8. Li, F. Q. et al. Compressive ghost imaging through scattering media with deep learning. Opt. Express 28, 17395–17408 (2020).

    文章  ADS  Google Scholar 

  9. Lin, L. X. et al. Ghost imaging through scattering medium by utilizing scattered light. Opt. Express 30, 11243–11253 (2022).

    文章  ADS  Google Scholar 

  10. Don, M. An Introduction to Computational Ghost Imaging with Example Code. (CCDC Army Research Laboratory, 2019).

  11. Kilic, V., Tran, T. D. & Foster, M. A. Compressed sensing in photonics: tutorial. J. Opt. Soc. Am. B 40, 28–52 (2023).

    文章  ADS  Google Scholar 

  12. Shapiro, J. H. & Boyd, R. W. The physics of ghost imaging. Quantum Inf. Process. 11, 949–993 (2012).

    文章  ADS  Google Scholar 

  13. Edgar, M. P., Gibson, G. M. & Padgett, M. J. Principles and prospects for single-pixel imaging. Nat. Photonics 13, 13–20 (2019).

    文章  ADS  Google Scholar 

  14. Sun, B. et al. 3D computational imaging with single-pixel detectors. Science 340, 844–847 (2013).

    文章  ADS  Google Scholar 

  15. Wu, D. X. et al. Imaging biological tissue with high-throughput single-pixel compressive holography. Nat. Commun. 12, 4712 (2021).

    文章  ADS  Google Scholar 

  16. Shih, Y. The physics of ghost imaging. in Classical, Semi-Classical and Quantum Noise (eds Cohen, L., Poor, H. V. & Scully, M. O.) (New York: Springer, 2011), 169-222.

  17. Wang, Y. W. et al. High-speed computational ghost imaging via spatial sweeping. Sci. Rep. 7, 45325 (2017).

    文章  ADS  Google Scholar 

  18. Jiang, T. et al. Ghost imaging lidar system for remote imaging. Opt. Express 31, 15107–15117 (2023).

    文章  ADS  Google Scholar 

  19. Blumensath, T. & Davies, M. E. Iterative hard thresholding for compressed sensing. Appl. Comput. Harmonic Anal. 27, 265–274 (2009).

    Article  MathSciNet  Google Scholar 

  20. Beck, A. & Teboulle, M. A fast iterative shrinkage-thresholding algorithm for linear inverse problems. SIAM J. Imaging Sci. 2, 183–202 (2009).

    Article  MathSciNet  Google Scholar 

  21. Boyd, S. et al. Distributed optimization and statistical learning via the alternating direction method of multipliers. Found. Trends® Mach. Learn. 3, 1–122 (2011).

    Article  Google Scholar 

  22. Liu, H. C. Imaging reconstruction comparison of different ghost imaging algorithms. Sci. Rep. 10, 14626 (2020).

    Article  ADS  Google Scholar 

  23. Fortier, T. & Baumann, E. 20 years of developments in optical frequency comb technology and applications. Commun. Phys. 2, 153 (2019).

    Article  Google Scholar 

  24. Gaeta, A. L., Lipson, M. & Kippenberg, T. J. Photonic-chip-based frequency combs. Nat. Photonics 13, 158–169 (2019).

    Article  ADS  Google Scholar 

  25. Chang, L., Liu, S. T. & Bowers, J. E. Integrated optical frequency comb technologies. Nat. Photonics 16, 95–108 (2022).

    Article  ADS  Google Scholar 

  26. Diddams, S. A., Hollberg, L. & Mbele, V. Molecular fingerprinting with the resolved modes of a femtosecond laser frequency comb. Nature 445, 627–630 (2007).

    Article  ADS  Google Scholar 

  27. Bao, C. Y., Suh, M. G. & Vahala, K. Microresonator soliton dual-comb imaging. Optica 6, 1110–1116 (2019).

    Article  ADS  Google Scholar 

  28. Hase, E. et al. Scan-less confocal phase imaging based on dual-comb microscopy. Optica 5, 634–643 (2018).

    Article  ADS  Google Scholar 

  29. Martín-Mateos, P., Khan, F. U. & Bonilla-Manrique, O. E. Direct hyperspectral dual-comb imaging. Optica 7, 199–202 (2020).

    Article  ADS  Google Scholar 

  30. Sterczewski, L. A. et al. Terahertz hyperspectral imaging with dual chip-scale combs. Optica 6, 766–771 (2019).

    Article  ADS  Google Scholar 

  31. Giorgetta, F. R. et al. Broadband dual-comb hyperspectral imaging and adaptable spectroscopy with programmable frequency combs. APL Photonics 9, 010805 (2024).

    Article  ADS  Google Scholar 

  32. Suh, M. G. et al. Searching for exoplanets using a microresonator astrocomb. Nat. Photonics 13, 25–30 (2019).

    Article  ADS  Google Scholar 

  33. Keilmann, F., Gohle, C. & Holzwarth, R. Time-domain mid-infrared frequency-comb spectrometer. Opt. Lett. 29, 1542–1544 (2004).

    Article  ADS  Google Scholar 

  34. Schiller, S. Spectrometry with frequency combs. Opt. Lett. 27, 766–768 (2002).

    Article  ADS  Google Scholar 

  35. Coddington, I., Newbury, N. & Swann, W. Dual-comb spectroscopy. Optica 3, 414–426 (2016).

    Article  ADS  Google Scholar 

  36. Suh, M. G. et al. Microresonator soliton dual-comb spectroscopy. Science 354, 600–603 (2016).

    Article  ADS  Google Scholar 

  37. Joo, W. D. et al. Femtosecond laser pulses for fast 3-D surface profilometry of microelectronic step-structures. Opt. Express 21, 15323–15334 (2013).

    Article  ADS  Google Scholar 

  38. Vicentini, E. et al. Dual-comb hyperspectral digital holography. Nat. Photonics 15, 890–894 (2021).

    Article  ADS  Google Scholar 

  39. Ideguchi, T. et al. Coherent Raman spectro-imaging with laser frequency combs. Nature 502, 355–358 (2013).

    Article  ADS  Google Scholar 

  40. Picqué, N. & Hänsch, T. W. Frequency comb spectroscopy. Nat. Photonics 13, 146–157 (2019).

    Article  ADS  Google Scholar 

  41. Latifpour, M. H. et al. Hyperspectral in-memory computing with optical frequency combs and programmable optical memories. Optica 11, 932–939 (2024).

    Article  ADS  Google Scholar 

  42. Vaswani, A. et al. Attention is all you need. Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach, CA, USA: Curran Associates Inc., 2017, 6000–6010.

  43. Berci, G. & Forde, K. A. History of endoscopy. Surg. Endosc. 14, 5–15 (2000).

    Article  Google Scholar 

  44. Kiesslich, R. et al. Confocal laser endoscopy for diagnosing intraepithelial neoplasias and colorectal cancer in vivo. Gastroenterology 127, 706–713 (2004).

    Article  Google Scholar 

  45. Ren, H. R. et al. An achromatic metafiber for focusing and imaging across the entire telecommunication range. Nat. Commun. 13, 4183 (2022).

    Article  ADS  Google Scholar 

  46. Porat, A. et al. Widefield lensless imaging through a fiber bundle via speckle correlations. Opt. Express 24, 16835–16855 (2016).

    Article  ADS  Google Scholar 

  47. Turtaev, S. et al. High-fidelity multimode fibre-based endoscopy for deep brain in vivo imaging. Light Sci. Appl. 7, 92 (2018).

    Article  ADS  Google Scholar 

  48. Gmitro, A. F. & Aziz, D. Confocal microscopy through a fiber-optic imaging bundle. Opt. Lett. 18, 565–567 (1993).

    Article  ADS  Google Scholar 

  49. Lee, M. et al. Confocal laser endomicroscope with distal MEMS scanner for real-time histopathology. Sci. Rep. 12, 20155 (2022).

    Article  ADS  Google Scholar 

  50. Lee, C. M. et al. Scanning fiber endoscopy with highly flexible, 1 mm catheterscopes for wide-field, full-color imaging. J. Biophoton. 3, 385–407 (2010).

    Article  Google Scholar 

  51. Choi, W. et al. Flexible-type ultrathin holographic endoscope for microscopic imaging of unstained biological tissues. Nat. Commun. 13, 4469 (2022).

    Article  ADS  Google Scholar 

  52. Sun, J. W. et al. Lensless fiber endomicroscopy in biomedicine. PhotoniX 5, 18 (2024).

    Article  Google Scholar 

  53. Shin, J., Bosworth, B. T. & Foster, M. A. Single-pixel imaging using compressed sensing and wavelength-dependent scattering. Opt. Lett. 41, 886–889 (2016).

    Article  ADS  Google Scholar 

  54. Lochocki, B. et al. Swept-source multimode fiber imaging. Sci. Rep. 13, 8071 (2023).

    Article  ADS  Google Scholar 

  55. Ren, W. H. et al. Ghost translation: an end-to-end ghost imaging approach based on the transformer network. Opt. Express 30, 47921–47932 (2022).

    Article  ADS  Google Scholar 

  56. Chen, Y. F. et al. Large model enhanced computational ghost imaging. Sci. China Technol. Sci. 68, 2120403 (2025).

    Article  Google Scholar 

  57. Wang, Z., Simoncelli, E. P. & Bovik, A. C. Multiscale structural similarity for image quality assessment. Proceedings of the 37th Asilomar Conference on Signals, Systems & Computers. Pacific Grove, CA, USA: IEEE, 2003, 1398–1402.

  58. Redding, B. et al. High-resolution and broadband all-fiber spectrometers. Optica 1, 175–180 (2014).

    Article  ADS  Google Scholar 

  59. Facchin, M. et al. Determining intrinsic sensitivity and the role of multiple scattering in speckle metrology. Nat. Rev. Phys. 6, 500–508 (2024).

    Article  Google Scholar 

  60. Baumann, E. et al. Comb-calibrated laser ranging for three-dimensional surface profiling with micrometer-level precision at a distance. Opt. Express 22, 24914–24928 (2014).

    Article  ADS  Google Scholar 

  61. Herman, D. I. et al. Squeezed dual-comb spectroscopy. Science 387, eads6292 (2025).

    Article  Google Scholar 

  62. Caldwell, E. D. et al. The time-programmable frequency comb and its use in quantum-limited ranging. Nature 610, 667–673 (2022).

    Article  ADS  Google Scholar 

  63. Giorgetta, F. R. et al. Free-form dual-comb spectroscopy for compressive sensing and imaging. Nat. Photonics 18, 1312–1319 (2024).

    Article  ADS  Google Scholar 

  64. Zhu, R. Z. et al. Compact fiber-integrated scattering device based on mixed-phase TiO2 for speckle spectrometer. Opt. Lett. 47, 1606–1609 (2022).

    Article  ADS  Google Scholar 

Download references

Acknowledgements

DD acknowledges support from the UCI-LANL-SoCal Hub graduate fellowship program. This work was performed, in part, at the Center for Integrated Nanotechnologies, an Office of Science User Facility operated for the U.S. Department of Energy (DOE) Office of Science. Los Alamos National Laboratory, an affirmative action equal opportunity employer, is managed by Triad National Security, LLC for the U.S. Department of Energy’s NNSA, under contract 89233218CNA000001. WJMKK acknowledges the LANL Laboratory Directed Research and Development program for funding under project 20250492ER.

Author information

Author notes

  1. These authors contributed equally: Myoung-Gyun Suh, David Dang, Maodong Gao

Authors and Affiliations

  1. Physics & Informatics Laboratories, NTT Research, Inc., Sunnyvale, CA, USA

    Myoung-Gyun Suh, Maodong Gao, Dong-Chel Shin, Aggraj Gupta, Byoung Jun Park & Can Uzundal

  2. Department of Physics & Astronomy, University of California Irvine, Irvine, CA, USA

    David Dang, Yucheng Jin, Beyonce Hu & Ho Wai Howard Lee

  3. Beckman Laser Institute and Medical Clinic, University of California Irvine, Irvine, CA, USA

    David Dang, Yucheng Jin, Beyonce Hu & Ho Wai Howard Lee

  4. Eddleman Quantum Institute, University of California Irvine, Irvine, CA, USA

    David Dang, Yucheng Jin, Beyonce Hu & Ho Wai Howard Lee

  5. Center for Integrated Nanotechnologies, Los Alamos National Laboratory, Los Alamos, NM, USA

    David Dang

  6. Theoretical Division, Los Alamos National Laboratory, Los Alamos, NM, USA

    David Dang & Wilton J. M. Kort-Kamp

Authors

  1. Myoung-Gyun Suh
  2. David Dang
  3. Maodong Gao
  4. Yucheng Jin
  5. Dong-Chel Shin
  6. Aggraj Gupta
  7. Byoung Jun Park
  8. Can Uzundal
  9. Beyonce Hu
  10. Wilton J. M. Kort-Kamp
  11. Ho Wai Howard Lee

Contributions

M.G.S. and H.W.H.L. conceived the idea of hyperspectral dual-comb compressive imaging for endomicroscopy applications, and all authors contributed to developing this concept. M.G.S. and M.G. performed the optical experiments with help from B.J.P., D.C.S., and C.U. D.D., M.G.S., and H.W.H.L. conceived the concept of Ghost-GPT, while D.D. and W.J.M.K.K. designed and implemented the GPT model architecture. D.D., B.H., A.G., and M.G.S. carried out model training, evaluation, and comparative analyses with other reconstruction algorithms. Y.J. explored various optical fiber types for this application and conducted speckle pattern simulations using finite-difference time-domain (FDTD) methods. All authors contributed to discussions and to writing the manuscript.

Corresponding authors

Correspondence to Myoung-Gyun Suh or Ho Wai Howard Lee.

Ethics declarations

Conflict of interest

The authors have filed a U.S. provisional patent (Application No. 63/838,307) based on this research.

Rights and permissions

Open Access This article is licensed under a Creative Commons Attribution 4.0 International License, which permits use, sharing, adaptation, distribution and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons licence, and indicate if changes were made. The images or other third party material in this article are included in the article’s Creative Commons licence, unless indicated otherwise in a credit line to the material. If material is not included in the article’s Creative Commons licence and your intended use is not permitted by statutory regulation or exceeds the permitted use, you will need to obtain permission directly from the copyright holder. To view a copy of this licence, visit http://creativecommons.org/licenses/by/4.0/.

Reprints and permissions

About this article

Check for updates. Verify currency and authenticity via CrossMark

Cite this article

Suh, MG., Dang, D., Gao, M. et al. Hyperspectral dual-comb compressive ghost imaging with deep learning reconstruction. Light Sci Appl 15, 380 (2026). https://doi.org/10.1038/s41377-026-02417-z

Download citation

  • Received: 21 October 2025

  • Revised: 26 May 2026

  • Accepted: 23 June 2026

  • Published: 16 September 2026

  • Version of record: 16 September 2026

  • DOI: https://doi.org/10.1038/s41377-026-02417-z

来源：Light: Science & Applications · nature.com

#论文研究#计算成像#光学遥感#光谱技术