通過深度學(xué)習(xí)提高圖像質(zhì)量的技術(shù)說明

技術(shù)說明
通過深度學(xué)習(xí)提高圖像質(zhì)量
利用殘差通道注意力網(wǎng)絡(luò)（RCAN）還原和增強(qiáng)容積延時(shí)熒光顯微鏡數(shù)據(jù)
Authors
作者
Luciano Lucas博士 
總監(jiān)——Aivia
徠卡顯微系統(tǒng)，德國韋茨拉爾
Quyen Tran博士 
科學(xué)應(yīng)用與市場經(jīng)理——Aivia 
徠卡顯微系統(tǒng)，美國貝爾維尤
Hoyin Lai
內(nèi)容營銷經(jīng)理/高級(jí)應(yīng)用專員——Aivia
徠卡顯微系統(tǒng)，美國貝爾維尤
AIVIA - IMAGE RESTORATION WITH 3D RCAN NETWORKS
AIVIA - 利用3D RCAN還原圖像

雙色共焦圖像的分辨率增強(qiáng)。訓(xùn)練用的原始圖像在Leica SP8系統(tǒng)上拍攝，（A）共焦模式的核孔復(fù)合物（白色）和微管（綠色）；（B）STED模式拍攝的圖像。（C）使用深度學(xué)習(xí)模型將共焦圖像的空間分辨率提升到接近STED質(zhì)量。
對(duì)于收集到的活細(xì)胞3D數(shù)據(jù)，3D RCAN可以有效避免光漂白，允許我們拍攝長時(shí)間的超分辨率3D圖像數(shù)據(jù)。 實(shí)際應(yīng)用中，圖像分辨率非常好，我們甚至能夠在3D圖像中長時(shí)間觀察到線粒體和囊泡的相互作用。 3D RCAN的圖像去模糊效果也比其他測試方法更好。 

我們還使用受激發(fā)射損耗（STED）拍攝的實(shí)驗(yàn)數(shù)據(jù)來訓(xùn)練RCAN模型，用以測試RCAN的性能。相比共聚焦的空間分辨率，RCAN在多個(gè)固定或活細(xì)胞樣品中實(shí)現(xiàn)了2.5倍的提升，與STED的提升效果類似。值得注意的是，反卷積共聚焦數(shù)據(jù)無法實(shí)現(xiàn)類似的分辨率提升。 

研究人員還開發(fā)了將RCAN與膨脹顯微術(shù)（expansion microscopy）相結(jié)合以提升iSIM分辨率的方案。 在細(xì)胞爬片樣本，線粒體和微管動(dòng)力學(xué)的4D研究中，這種方法可以實(shí)現(xiàn)1.9倍的橫向分辨率和3.6倍的軸向分辨率提升。 需要注意的是，膨脹顯微術(shù)不能應(yīng)用于活體樣本成像。 

基于這些結(jié)果，作者認(rèn)為，相比現(xiàn)有方法（例如光片顯微鏡和轉(zhuǎn)盤共聚焦成像設(shè)備），3D RCAN與高分辨率、多噪點(diǎn)的共聚焦顯微鏡或iSIM相結(jié)合可以成為3D活細(xì)胞成像的精妙方案。作者還在考慮使用這種方法進(jìn)一步改善其他顯微成像模式。

表達(dá)EGFP-Tomm20的U20S活細(xì)胞圖像。高放大倍率視圖，原始iSIM、去卷積iSIM和 RCAN預(yù)測進(jìn)行比較。紅色剪頭表明RCAN可以比iSIM更好地解析線粒體。圖片來源：Nature Methods
如何使用3D RCAN模式
在GitHub和我們的網(wǎng)頁上可以找到代碼、數(shù)據(jù)以及經(jīng)過訓(xùn)練的深度學(xué)習(xí)模式。此外，我們還在Aivia中部署了所有預(yù)訓(xùn)練模型，因此每個(gè)人都能將其輕松用于自己的數(shù)據(jù)。Aivia用戶還可以添加訓(xùn)練數(shù)據(jù)，以針對(duì)自己的成像/采樣工作優(yōu)化我們的預(yù)訓(xùn)練模型。
本項(xiàng)研究刊載于2021年6月出版的《Nature Methods》雜志上。