摘要 1. 緒論 2. 相關工作 3. 方法 3.2 時間戳重建 4. 實驗 5. 結論 論證總覽

Abstract — 摘要

We consider the problem of imaging a dynamic scene over an extreme range of timescales simultaneously — seconds to picoseconds. We propose a passive ultra-wideband single-photon imaging method that, without emitting any timing signals, achieves a frequency bandwidth spanning DC-to-31 GHz. Our approach uses single-photon avalanche diodes (SPADs) operating in free-running mode to capture asynchronous timestamps of individual photon detections. From these timestamps alone, we develop computational reconstruction algorithms that recover information across the full temporal bandwidth. We demonstrate capabilities including non-line-of-sight video, passive multi-source imaging, and direct visualization of the propagation of light itself.
本文探討同時在極端時間尺度範圍內——從秒級到皮秒級——對動態場景進行成像的問題。我們提出一種被動式超寬頻單光子成像方法,無需發射任何計時訊號,即可達到橫跨 DC 至 31 GHz 的頻率頻寬。我們的方法使用以自由運行模式工作的單光子雪崩二極體(SPAD),擷取個別光子偵測的非同步時間戳。僅透過這些時間戳,我們開發出計算重建演算法,能恢復全時間頻寬的資訊。我們展示了多項能力,包括非視線影片、被動式多光源成像,以及直接可視化光的傳播本身
段落功能 全文總覽——以問題導向開場,從時間尺度的極端跨度出發,引出被動式超寬頻成像的核心構想。
邏輯角色 摘要同時承載「問題定義」與「方案預覽」的功能:先界定多時間尺度成像的挑戰,再以被動式 SPAD 與非同步時間戳重建一句話概述解決路徑,最後以三項示範性應用收尾。
論證技巧 / 潛在漏洞 「DC 至 31 GHz」的數字具有強烈衝擊力,將極端的頻寬指標量化呈現,增強說服力。末句列出的三項應用(非視線影片、光傳播可視化)極具想像空間,但摘要中未提及空間解析度或訊噪比等實際限制。

1. Introduction — 緒論

Conventional imaging systems capture scenes at a single, fixed temporal resolution determined by the camera's frame rate. A standard video camera operating at 30 fps can resolve motion on the order of tens of milliseconds, while ultrafast imaging systems can achieve picosecond-scale temporal resolution but require active illumination sources such as pulsed lasers. The fundamental challenge is: can we build an imaging system that passively captures information spanning from slow scene dynamics to the speed of light propagation?
傳統成像系統以攝影機幀率所決定的單一固定時間解析度擷取場景。標準的 30 fps 錄影機可解析數十毫秒量級的運動,而超快成像系統雖能達到皮秒級的時間解析度,卻需要主動照明光源(如脈衝雷射)。根本性的挑戰在於:我們能否建造一套被動式成像系統,同時擷取從緩慢場景動態到光速傳播的全時間尺度資訊
段落功能 建立研究場域——指出傳統與超快成像系統各自的限制,凸顯時間解析度與被動性之間的兩難。
邏輯角色 論證鏈的起點:先肯定不同時間尺度成像的已有成就,再以問句形式提出核心挑戰,為被動式超寬頻方案鋪路。
論證技巧 / 潛在漏洞 以反問句收尾是經典的修辭策略,暗示答案為肯定。但「被動擷取光速傳播」的表述可能引發誤解——實際上是透過統計重建而非直接「拍攝」。
Single-photon avalanche diodes (SPADs) have emerged as a transformative sensing technology. Each SPAD pixel can detect individual photons with picosecond-level timing precision. While SPADs have been widely used in active time-of-flight (ToF) imaging — where a pulsed laser provides the timing reference — we observe that the raw photon timestamps themselves, even without an active illumination source, encode rich temporal information about the scene. This insight motivates our passive approach.
單光子雪崩二極體(SPAD)已成為一項變革性的感測技術。每個 SPAD 像素能以皮秒級的計時精度偵測個別光子。雖然 SPAD 已廣泛應用於主動式飛時測距(ToF)成像——其中脈衝雷射提供計時參考——但我們觀察到,即使沒有主動照明光源,原始光子時間戳本身也編碼了場景的豐富時間資訊。此一洞見驅動了我們的被動式方法。
段落功能 引入關鍵技術——介紹 SPAD 的特性,並揭示從主動到被動的關鍵轉折。
邏輯角色 此段是「問題→解決方案」的樞紐:將 SPAD 從既有的主動式框架中解放,重新定義為被動式超寬頻感測器。
論證技巧 / 潛在漏洞 「原始光子時間戳本身編碼了豐富的時間資訊」是全文最關鍵的洞見,但此主張的嚴格性取決於場景光源特性——在光子到達率極低或無結構性時間變化的場景中,可提取的資訊量可能大幅下降。
In this work, we present a passive ultra-wideband imaging framework that operates SPADs in free-running mode without any active illumination. Each pixel independently timestamps photon arrivals with picosecond resolution. We develop asynchronous timestamp-based reconstruction algorithms that analyze photon inter-arrival statistics, temporal correlations, and intensity fluctuations across multiple timescales. This enables us to simultaneously recover conventional video, high-speed transient phenomena, and ultra-fast light transport effects from a single passive capture.
本研究提出一套被動式超寬頻成像框架,令 SPAD 在自由運行模式下工作,不使用任何主動照明。每個像素以皮秒解析度獨立記錄光子到達的時間戳。我們開發出基於非同步時間戳的重建演算法,分析光子到達間隔統計量、時間相關性,以及跨越多重時間尺度的強度漲落。這使我們能從單次被動擷取中,同時恢復傳統影片、高速暫態現象以及超快光傳輸效果
段落功能 提出解決方案——完整概述被動式超寬頻成像框架的運作機制。
邏輯角色 承接上段的「洞見」,此段將其具體化為可操作的方法:自由運行 SPAD + 多尺度時間戳分析。從單一被動擷取中恢復多種時間尺度的資訊,直接回應緒論提出的根本挑戰。
論證技巧 / 潛在漏洞 「單次被動擷取」的表述極具吸引力,但可能過度簡化——實際上不同時間尺度的重建可能需要不同長度的擷取時間窗口,並非真正的「單次」。此外,不同尺度間的訊噪比差異可能相當懸殊。
Ultrafast imaging has a rich history spanning streak cameras, pump-probe techniques, and time-correlated single-photon counting (TCSPC). These methods achieve remarkable temporal resolution but invariably require active, synchronized illumination sources. Passive time-of-flight methods exploit ambient light correlations but are limited to specific scene configurations and narrow temporal bandwidths. Computational photography approaches such as flutter shutter and coded exposure recover temporal information beyond the native frame rate, yet remain constrained to millisecond timescales. Our work uniquely bridges these domains by providing a single passive sensor framework spanning from seconds to picoseconds.
超快成像擁有豐富的歷史,涵蓋條紋相機、泵浦探測技術以及時間相關單光子計數(TCSPC)。這些方法達成了卓越的時間解析度,但都不可避免地需要主動且同步的照明光源被動式飛時測距方法利用環境光的相關性,但受限於特定的場景配置與狹窄的時間頻寬計算攝影方法(如 flutter shutter 與編碼曝光)雖能恢復超越原始幀率的時間資訊,卻仍受限於毫秒時間尺度。本研究以提供單一被動式感測器框架橫跨秒級至皮秒級,獨特地橋接了這些領域。
段落功能 文獻回顧——系統性梳理三個相關領域,指出各自的時間尺度限制。
邏輯角色 以「時間頻寬」為統一維度比較不同方法,使本文方法在坐標系中的位置一目了然——唯一橫跨全頻寬且為被動式的方案。
論證技巧 / 潛在漏洞 以「不可避免地需要主動照明」一語將所有超快方法歸為一類加以否定,修辭效果強烈。但作者未提及被動式方法在空間解析度上可能的劣勢,也未討論 SPAD 陣列目前有限的像素數對成像品質的影響。

3. Method — 方法

3.1 Free-Running SPAD Acquisition — 自由運行 SPAD 擷取

Our imaging system operates a SPAD array in free-running mode, where each pixel independently detects photons and records their arrival times with sub-nanosecond precision. Unlike conventional TCSPC that requires synchronization with a pulsed laser, our approach treats the raw photon timestamps as the fundamental data modality. The resulting data stream is a set of asynchronous time-tagged photon events {(x_i, y_i, t_i)}, where each event records the pixel location and absolute arrival time. This representation naturally supports multi-timescale analysis without any predefined temporal binning.
我們的成像系統令 SPAD 陣列以自由運行模式運作,每個像素獨立偵測光子並以亞奈秒級精度記錄其到達時間。不同於傳統 TCSPC 需要與脈衝雷射同步,我們的方法將原始光子時間戳視為根本的資料模態。所得資料流為一組非同步的時間標記光子事件 {(x_i, y_i, t_i)},每個事件記錄像素位置與絕對到達時間。此表示法天然支援多時間尺度分析,無需任何預定義的時間分箱
段落功能 方法基礎——定義資料擷取模型與基本資料格式。
邏輯角色 建立方法的數學基礎:以「事件三元組」取代傳統的「影格」概念,這一重新定義是全文方法論的根基。
論證技巧 / 潛在漏洞 「無需預定義時間分箱」的優勢在理論上成立,但實際重建時仍需選擇分析窗口——這只是將離散化推遲到後處理階段。此外,SPAD 的死時間(dead time)和串擾可能在高光子通量場景中引入非理想效應。

3.2 Asynchronous Timestamp Reconstruction — 非同步時間戳重建

We develop a suite of reconstruction algorithms operating at different temporal scales. At the slowest scale (seconds to milliseconds), we perform photon-counting integration to recover conventional intensity images and video. At intermediate scales (microseconds to nanoseconds), we analyze photon inter-arrival time statistics to detect and characterize periodic or quasi-periodic temporal modulations in the scene — enabling applications such as passive multi-source identification. At the fastest scale (nanoseconds to picoseconds), we employ temporal correlation analysis of photon pairs to reconstruct the scene's impulse response function, revealing light transport phenomena including multi-path propagation and non-line-of-sight light paths.
我們開發了一套在不同時間尺度上運作的重建演算法。在最慢的尺度(秒至毫秒),我們執行光子計數積分以恢復傳統的強度影像與影片。在中間尺度(微秒至奈秒),我們分析光子到達間隔時間統計量,以偵測並表徵場景中的週期性或準週期性時間調變——使被動式多光源辨識等應用成為可能。在最快的尺度(奈秒至皮秒),我們運用光子對的時間相關性分析,重建場景的脈衝響應函數,揭示光傳輸現象,包括多路徑傳播與非視線光路徑
段落功能 核心演算法——逐層展開三個時間尺度的重建策略。
邏輯角色 此段是全文的技術支柱,以「慢→中→快」的層級結構展示方法的完整頻寬覆蓋。每個尺度對應不同的統計量與應用,彼此互補而非互斥。
論證技巧 / 潛在漏洞 三層式架構的呈現方式清晰有力,但隱含一個關鍵假設:不同時間尺度的現象在統計上可分離。若場景包含跨尺度耦合的動態(如快速運動物體的光傳輸),各層演算法之間可能產生干擾。
A critical component of our framework is the temporal correlation function, computed from photon pairs detected at the same or neighboring pixels. For a stationary light source with intensity fluctuations, the second-order correlation function g^(2)(tau) encodes the source's temporal coherence properties. By measuring g^(2)(tau) passively, we can reconstruct the temporal impulse response of the scene without any active illumination, effectively achieving time-of-flight imaging using only ambient light. The temporal resolution is limited only by the SPAD's timing jitter (approximately 32 ps), corresponding to the 31 GHz upper bandwidth limit.
我們框架的關鍵組成是時間相關函數,由同一或相鄰像素偵測到的光子對計算而得。對於具有強度漲落的穩態光源二階相關函數 g^(2)(tau) 編碼了光源的時間同調性質。透過被動量測 g^(2)(tau),我們無需任何主動照明即可重建場景的時間脈衝響應,實質上以僅用環境光實現飛時測距成像。時間解析度僅受限於 SPAD 的計時抖動(約 32 皮秒),對應 31 GHz 的頻寬上限
段落功能 提供理論基礎——以二階相關函數支撐被動式飛時測距的可行性。
邏輯角色 此段將「被動式超快成像」從工程描述提升到物理原理層次:利用光子統計學中的 g^(2) 函數,建立了被動擷取與場景脈衝響應之間的嚴格數學關聯。
論證技巧 / 潛在漏洞 以 g^(2) 函數為理論支撐非常有力——這是量子光學的基礎工具。然而,g^(2) 的收斂速度依賴光子對的統計數量,在低光通量場景中需要極長的擷取時間才能達到足夠的訊噪比,這構成實用性的主要瓶頸。

4. Experiments — 實驗

We validate our framework through a series of experiments demonstrating imaging across the full temporal bandwidth. For conventional video reconstruction, we show that photon-counting integration recovers high-quality intensity images from passive SPAD data, comparable to conventional camera outputs. For passive multi-source imaging, we demonstrate the ability to distinguish and separately image multiple light sources operating at different modulation frequencies — a capability unavailable to any conventional camera. For the ultrafast regime, we demonstrate non-line-of-sight (NLOS) video captured entirely passively, as well as direct visualization of light propagation at picosecond timescales.
我們透過一系列實驗驗證了框架在全時間頻寬上的成像能力。在傳統影片重建方面,我們展示了光子計數積分可從被動 SPAD 資料中恢復高品質強度影像,與傳統相機輸出相當。在被動式多光源成像方面,我們示範了區分並分別對在不同調變頻率下運作的多個光源進行成像的能力——這是任何傳統相機都無法實現的能力。在超快範疇,我們展示了完全被動擷取的非視線影片,以及在皮秒時間尺度上光傳播的直接可視化
段落功能 提供全面的實驗證據——在三個時間尺度上分別驗證方法的有效性。
邏輯角色 實證支柱:三個實驗分別對應方法章節的三個重建尺度,形成完整的「理論→驗證」對應。被動式 NLOS 影片是最具突破性的結果。
論證技巧 / 潛在漏洞 「任何傳統相機都無法實現」的措辭凸顯了方法的獨特價值。但實驗條件(如光源類型、環境光背景、場景距離)的控制程度未在此段明確說明,讀者需參閱附錄以評估結果的通用性。
Our most striking result is passive non-line-of-sight imaging. By analyzing temporal correlations in photons scattered from a diffuse relay wall, we reconstruct video of objects hidden around a corner — without any laser or structured illumination. The reconstruction exploits the fact that photons traveling along different NLOS paths arrive at the sensor with path-length-dependent delays, which are encoded in the correlation function. We achieve temporal resolution sufficient to resolve centimeter-scale depth differences in the hidden scene, demonstrating that passive NLOS imaging is physically feasible.
我們最引人注目的結果是被動式非視線成像。透過分析從漫反射中繼牆散射的光子之時間相關性,我們重建了隱藏在牆角另一側的物體影片——無需任何雷射或結構化照明。重建利用了沿不同 NLOS 路徑行進的光子以路徑長度相關的延遲到達感測器這一事實,該延遲被編碼在相關函數中。我們達到了足以解析隱藏場景中公分級深度差異的時間解析度,展示了被動式 NLOS 成像在物理上是可行的。
段落功能 展示旗艦結果——被動式非視線成像的詳細機制與成果。
邏輯角色 此段是全文的「高潮」——將理論框架推向最具挑戰性的應用場景(被動 NLOS),以此證明方法的強大。
論證技巧 / 潛在漏洞 被動 NLOS 是極具說服力的結果。「公分級深度解析度」作為定量指標增強了可信度。但需注意的是,被動 NLOS 的訊噪比遠低於主動式方法,且高度依賴中繼牆的反射特性和環境光的統計特性。

5. Conclusion — 結論

We have presented passive ultra-wideband single-photon imaging, a framework that achieves imaging across an extreme temporal bandwidth — from DC to 31 GHz — without any active illumination. By operating SPADs in free-running mode and developing asynchronous timestamp-based reconstruction algorithms, we extract information across timescales spanning over ten orders of magnitude. Our experiments demonstrate conventional video, passive multi-source imaging, non-line-of-sight video, and visualization of light propagation — all from a single passive sensor. This work opens new possibilities at the intersection of computational imaging, quantum optics, and computer vision.
本文提出了被動式超寬頻單光子成像——一套無需任何主動照明即可在極端時間頻寬(DC 至 31 GHz)上進行成像的框架。透過讓 SPAD 在自由運行模式下運作,並開發基於非同步時間戳的重建演算法,我們在橫跨十個數量級以上的時間尺度中提取資訊。實驗展示了傳統影片、被動式多光源成像、非視線影片以及光傳播的可視化——全部來自單一被動式感測器。本研究在計算成像、量子光學與電腦視覺的交匯處開啟了新的可能性。
段落功能 總結全文——重申核心貢獻並展望未來方向。
邏輯角色 結論呼應摘要,以「十個數量級」的量化表述強化核心訊息。最後一句將研究定位於三個領域的交匯處,暗示廣泛的後續研究空間。
論證技巧 / 潛在漏洞 結論簡潔有力,但未充分討論局限性——如 SPAD 陣列的有限空間解析度、高光通量下的飽和問題、以及被動方法在室外強環境光下的表現。作為最佳論文,更坦誠地討論限制反而能增強可信度。

論證結構總覽

問題
現有成像系統限於
固定時間解析度或需主動照明
論點
被動式 SPAD 時間戳
編碼全頻寬場景資訊
證據
DC-31 GHz 頻寬
三尺度重建驗證
反駁
g^(2) 相關函數提供
被動 ToF 的物理基礎
結論
被動式超寬頻成像
是可行且變革性的方向

作者核心主張(一句話)

透過以自由運行模式操作單光子感測器並分析非同步光子時間戳的多尺度統計特性,可在無需主動照明的情況下實現橫跨十個數量級(秒至皮秒)的超寬頻場景成像。

論證最強處

被動式 NLOS 成像的實現:以 g^(2) 時間相關函數為物理基礎,從漫反射牆面散射光子中被動重建隱藏場景,是光學成像領域的重大突破。這不僅證明了理論框架的正確性,更展示了超越任何傳統相機能力的實際應用。

論證最弱處

實用性與可擴展性的隱憂:被動方法在皮秒尺度的重建高度依賴光子對統計量的收斂,需要相當長的擷取時間;SPAD 陣列的空間解析度仍遠低於傳統相機;且方法在高環境光背景或低對比度場景中的表現未充分驗證。

Thesis 核心論點
Concept 關鍵概念
Evidence 實證證據
Rebuttal 讓步反駁
Method 方法論