發(fā)布時(shí)間:2023-10-31 瀏覽量:3069
近年來,AI智能科技已逐漸滲入到醫(yī)療領(lǐng)域中,如通過自動(dòng)分割工具來分析生物成像,特別是肌肉骨骼系統(tǒng)。
本文系統(tǒng)回顧了肌肉骨骼結(jié)構(gòu)分析的問題(如樣本小、數(shù)據(jù)不均勻),以及不同研究者使用的策略,并通過文獻(xiàn)搜索與框架分析,覆蓋解剖結(jié)構(gòu)、生物成像技術(shù)、前/后處理、訓(xùn)練/驗(yàn)證/測(cè)試、網(wǎng)絡(luò)架構(gòu)、損失函數(shù)、性能指標(biāo)等。
這些發(fā)現(xiàn)將幫助醫(yī)生更好理解這些AI工具的潛在益處和局限。
1
簡(jiǎn)介
AI學(xué)習(xí)工具與圖像分割
圖像分割是一個(gè)重要過程,用于簡(jiǎn)化圖像分析和定位重點(diǎn)區(qū)域,以提高醫(yī)療干預(yù)的準(zhǔn)確性。然而,手動(dòng)分割存在操作員技能水平和時(shí)間成本的限制,因此需要尋找一種自動(dòng)化解決方案。
人工智能,如深度學(xué)習(xí)方法,通過自動(dòng)化處理視覺任務(wù),大數(shù)據(jù)學(xué)習(xí)分析,可能成為解決這些問題的潛在工具,但由于偽影影響和器官變化,其結(jié)果依舊存在誤差。
為打破局限,提出了基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)范式。它是一種模仿大腦工作原理的算法,通過組合不同節(jié)點(diǎn)連接來學(xué)習(xí)對(duì)象的不同特征和解決各類任務(wù)。
多層神經(jīng)網(wǎng)絡(luò)被稱為深度神經(jīng)網(wǎng)絡(luò),每層可以從生物圖像中提取特定信息。從檢測(cè)顏色和邊緣到更深層次、更復(fù)雜的特征(具有更語義化的含義)。允許網(wǎng)絡(luò)從數(shù)據(jù)學(xué)習(xí)中識(shí)別重要特征,并對(duì)解剖結(jié)構(gòu)進(jìn)行分割。
深度學(xué)習(xí)分割算法的使用需要考慮其開發(fā)策略,以確保結(jié)果的正確解釋。
2
研究設(shè)計(jì)
文獻(xiàn)檢索與篩查
按照PRISMA報(bào)告標(biāo)準(zhǔn),我們?cè)赑UBMED中檢索了深度學(xué)習(xí)、肌骨系統(tǒng)、圖像分割的文章,共140篇。根據(jù)納入/排除標(biāo)準(zhǔn),其中101篇符合要求,還有14份文檔(文章/書籍)用于支持一般討論。評(píng)估采用PICO框架。
3
研究結(jié)果
文獻(xiàn)分析與結(jié)果
文獻(xiàn)顯示,針對(duì)不同的成像模態(tài)已經(jīng)開發(fā)了深度學(xué)習(xí)算法,用于分割各類肌肉骨骼結(jié)構(gòu):33%與下肢相關(guān)(骨骼、肌肉、關(guān)節(jié)、膝蓋軟骨/半月板/韌帶)、8%與上肢相關(guān)(骨骼、肩部肌肉、肌腱)、34%與軀干相關(guān)(椎骨、椎間盤、肌肉、肋骨)、3%與骨盆相關(guān)(骨骼、肌肉)、14%與頭部相關(guān)(眼眶骨、下頜骨、上頜骨、顳骨、顱骨),8%與全身相關(guān)(骨骼、肌肉)。在醫(yī)學(xué)成像方面,有39%的研究使用核磁共振成像(MRI),9%使用超聲波成像(US),41%使用計(jì)算機(jī)斷層掃描(CT),9%使用X射線,2%使用多模態(tài)成像(見表1)。
表1 用深度學(xué)習(xí)方法研究對(duì)象分割的肌肉骨骼解剖結(jié)構(gòu)和相關(guān)生物成像技術(shù)
與成像模態(tài)相關(guān)的主要困難如:圖像對(duì)比度可變、圖像強(qiáng)度固有的異質(zhì)性、因運(yùn)動(dòng)引起的圖像偽影、空間分辨率(例如,低分辨率圖像中頸椎成為單一連接的脊柱區(qū)域,這對(duì)調(diào)查具有誤導(dǎo)性)等因素。因此,一些作者整合了多模態(tài)成像信息,以結(jié)合各個(gè)模態(tài)的優(yōu)勢(shì)。
4
發(fā)展與挑戰(zhàn)
即有潛力,也有瓶頸
小樣本量的策略
成功使用深度學(xué)習(xí)方法需要高質(zhì)量的帶標(biāo)簽圖像數(shù)據(jù)集,用于訓(xùn)練網(wǎng)絡(luò)。這通常需要耗費(fèi)大量時(shí)間和精力來手動(dòng)或半自動(dòng)地對(duì)參考數(shù)據(jù)進(jìn)行注釋。但不同觀察者的注釋可能存在差異。因此需要足夠多的圖像來確??煽啃?。然而,獲取大規(guī)模的公開數(shù)據(jù)集并不容易。
使用小樣本來訓(xùn)練網(wǎng)絡(luò)可能會(huì)導(dǎo)致過擬合問題,即網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)上表現(xiàn)很好,但在新數(shù)據(jù)上表現(xiàn)不佳,因?yàn)樗鼘?duì)數(shù)據(jù)中的細(xì)微變化過于敏感。
數(shù)據(jù)增強(qiáng),即人為增加訓(xùn)練樣本數(shù)量,通常用于解決過擬合問題和提高網(wǎng)絡(luò)效率。
最近的數(shù)據(jù)增強(qiáng)技術(shù)還包括各種生成方法。其中,生成對(duì)抗網(wǎng)絡(luò)(GAN)是一種深度學(xué)習(xí)方法,它識(shí)別了數(shù)據(jù)集的內(nèi)在分布,并利用它生成逼真的合成樣本。對(duì)于分辨率低、圖像偽影或由于不同掃描儀采集而引起的變化等樣本,數(shù)據(jù)增強(qiáng)過程還具有增加模型穩(wěn)健性的優(yōu)勢(shì)。
圖1 圖像變換的示例,翻轉(zhuǎn)(頂部)和旋轉(zhuǎn)(底部)
為了管理小樣本數(shù)據(jù)集,另一種解決方案是遷移學(xué)習(xí)技術(shù),這在超過10%的分析論文中得以實(shí)施。
遷移學(xué)習(xí)的目標(biāo)是使現(xiàn)有的算法可重用于新的數(shù)據(jù)集,因?yàn)樗ㄊ褂妙A(yù)先訓(xùn)練的網(wǎng)絡(luò)(在另一個(gè)上下文數(shù)據(jù)集中進(jìn)行訓(xùn)練)并將其定制為特定的分割任務(wù),以便算法單單學(xué)習(xí)新數(shù)據(jù)的特定特征(例如,來自新中心的新數(shù)據(jù))。
用于數(shù)據(jù)均勻分布的圖像預(yù)處理技術(shù)
建立數(shù)據(jù)庫時(shí)的一個(gè)主要問題是數(shù)據(jù)通常來自不同醫(yī)院、使用不同設(shè)備采集、具有不同的分辨率、噪聲和照明,而且缺乏一致性。
因此,數(shù)據(jù)在不同受試者之間,甚至在同一受試者不同時(shí)間監(jiān)測(cè)時(shí)都可能存在巨大差異。為了獲得最佳的計(jì)算機(jī)視覺結(jié)果,以改善圖像特征并消除不需要的偽影,所以必須對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。
為了確保不改變圖像的信息內(nèi)容,必須了解要分割的解剖結(jié)構(gòu)的特性、潛在的變化、研究人群、研究問題以及后續(xù)處理和分析步驟的穩(wěn)健性。舉例來說,在圖像強(qiáng)度歸一化時(shí),作為一致參考的組織應(yīng)始終存在于圖像中,并且不太可能受到病理過程的影響。
過半的研究者在深度學(xué)習(xí)訓(xùn)練之前,實(shí)施了預(yù)處理。最常見的比如歸一化;直方圖均衡化,用于通過擴(kuò)展圖像的強(qiáng)度值來增加圖像的對(duì)比度;以及基于強(qiáng)度/尺度的濾波(見圖2)。
圖2 :圖像預(yù)處理:應(yīng)用于原始圖像的濾波技術(shù)
同時(shí),裁剪和調(diào)整圖像大小的方法通常用于節(jié)省內(nèi)存空間并確保圖像符合網(wǎng)絡(luò)的輸入要求。如果感興趣區(qū)域相對(duì)于背景很小,那么一些操作(如重新采樣、降低分辨率、裁剪)可能會(huì)導(dǎo)致信息的丟失,因此會(huì)失去對(duì)象細(xì)節(jié)和周圍環(huán)境的上下文數(shù)據(jù)。
相反,可以考慮兩次運(yùn)行的方法,首先在原始圖像上進(jìn)行處理,以便網(wǎng)絡(luò)可以學(xué)習(xí)到在經(jīng)過預(yù)處理的圖像中無法捕獲的重要特征。如果不經(jīng)過預(yù)先處理,會(huì)提高計(jì)算機(jī)處理數(shù)據(jù)所需的時(shí)間。
肌肉骨骼結(jié)構(gòu)分割的神經(jīng)網(wǎng)絡(luò)架構(gòu)
多年來,已經(jīng)開發(fā)了許多不同的網(wǎng)絡(luò)架構(gòu)來分割肌肉骨骼結(jié)構(gòu)。其中一種流行的模型是U-Net,它是一種卷積神經(jīng)網(wǎng)絡(luò),用于成像領(lǐng)域的任務(wù)。在本次研究中,超過60%的作者選擇了基于U-Net的網(wǎng)絡(luò),因?yàn)樗谏镝t(yī)學(xué)圖像分割中非常有效,即使數(shù)據(jù)有限。
如果想要進(jìn)一步提高網(wǎng)絡(luò)的分割能力,可以考慮引入注意模塊。這種模塊可以幫助網(wǎng)絡(luò)更好地關(guān)注圖像中重要的結(jié)構(gòu)區(qū)域,從而提高性能。
不同的深度學(xué)習(xí)架構(gòu)之間進(jìn)行比較是一項(xiàng)復(fù)雜的任務(wù)。一個(gè)良好的神經(jīng)網(wǎng)絡(luò)性能指標(biāo),是它能否與人類觀察者的表現(xiàn)相媲美。然而,不同的作者可能會(huì)選擇不同的性能指標(biāo)來評(píng)估結(jié)果,具體情況取決于研究的特定方向。
例如,對(duì)于一種可以識(shí)別患有肌肉萎縮風(fēng)險(xiǎn)較高患者的臨床實(shí)用算法,關(guān)鍵是盡量減少假陰性。相反,可以稍微接納多一些的假陽性,因?yàn)橹委熂∪馕s需要更好的營(yíng)養(yǎng)和更多的功能性活動(dòng),這些不太可能對(duì)患者造成傷害。
因此,驗(yàn)證神經(jīng)網(wǎng)絡(luò)性能的方法之一是將所選技術(shù)與手動(dòng)分割以及其他網(wǎng)絡(luò)架構(gòu)進(jìn)行比較。用于量化網(wǎng)絡(luò)性能的最常見指標(biāo)包括DICE指數(shù)(DSC),交集聯(lián)合(IoU或Jaccard指數(shù)),豪斯多夫距離(HD)和表面距離(SD)。這些指標(biāo)通常在從多個(gè)切片分割進(jìn)行3D模型重建的情況下使用。
另一個(gè)衡量網(wǎng)絡(luò)性能的方式是預(yù)測(cè)的運(yùn)行時(shí)間,因?yàn)檫@對(duì)于工具在臨床實(shí)時(shí)應(yīng)用中的可行性至關(guān)重要。然而,分割的時(shí)間也可能因不同的硬件而有所不同。
此外,網(wǎng)絡(luò)超參數(shù)的調(diào)整也可能影響時(shí)間(由用戶設(shè)置以控制學(xué)習(xí)過程的參數(shù))。該操作可以通過網(wǎng)格搜索、隨機(jī)搜索或貝葉斯優(yōu)化來完成。
需要注意的是,網(wǎng)絡(luò)的收斂性能也可能受到患者臨床因素的影響。例如,當(dāng)用超重者的圖像訓(xùn)練的神經(jīng)網(wǎng)絡(luò),應(yīng)用于低體重指數(shù)(BMI)者時(shí),可能會(huì)不準(zhǔn)確。
處理后操作
在上述步驟之后,可以實(shí)施不同的后處理策略,以確保更準(zhǔn)確的結(jié)果,提高一致性,優(yōu)化預(yù)測(cè)并糾正標(biāo)簽錯(cuò)誤。18%研究者選擇了不同的后處理技術(shù)來進(jìn)行分割的改進(jìn)(包括形態(tài)學(xué)運(yùn)算或尺寸閾值)。
無論如何,在分割過程之后,都需要恢復(fù)原始圖像的屬性,包括尺寸和分辨率,因?yàn)樯窠?jīng)網(wǎng)絡(luò)通常使用方陣。
5
討 論
創(chuàng)新評(píng)估,患者中心
這個(gè)綜述旨在介紹醫(yī)學(xué)AI圖像分割工具,幫助臨床專家了解如何自動(dòng)化這一任務(wù)。這些智能工具可以減少人工標(biāo)注工作,提高效率,降低成本。不過,需要注意適用性、數(shù)據(jù)多樣性和準(zhǔn)確性。
瓶頸問題如樣本規(guī)模小、數(shù)據(jù)不均勻和分割不準(zhǔn)確,可通過數(shù)據(jù)增強(qiáng)和前后處理來解決,但要考慮這些計(jì)算解決方案對(duì)結(jié)果的影響,避免錯(cuò)誤解釋。準(zhǔn)確性是重要指標(biāo),不僅在獲得高值時(shí),還要考慮網(wǎng)絡(luò)學(xué)習(xí)過程是否充分考慮了真實(shí)情況的差異,如日常實(shí)踐中所見。
深度學(xué)習(xí)能夠以自學(xué)的方式從生物圖像中學(xué)習(xí)對(duì)象的有效表達(dá),并且無需事先疊加用戶設(shè)計(jì)的特征(從而超越了傳統(tǒng)機(jī)器學(xué)習(xí)方法的限制)。深度學(xué)習(xí)范式允許我們從一個(gè)輸入中同時(shí)研究多條信息,并了解它們相互集成和相互影響的方式。因此,通過生物成像分析(可能克服人類感知的局限性),從海量數(shù)據(jù)中進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)可能會(huì)提出新的生物標(biāo)志物作為肌肉骨骼疾病的預(yù)測(cè)指標(biāo)。
對(duì)于工具開發(fā)的“深入”了解可以支持評(píng)估當(dāng)前或新的臨床應(yīng)用軟件解決方案的能力,其中“以患者為中心”的范式需要定制分析和優(yōu)化設(shè)置。如果分割工具能夠根據(jù)每個(gè)具體情況和肌肉骨骼結(jié)構(gòu)的條件進(jìn)行實(shí)時(shí)參數(shù)調(diào)整,那么它可能會(huì)增加物理治療(如激光徑向沖擊波等)的效果,從而將干預(yù)重點(diǎn)放在被改變的結(jié)構(gòu)自身的精確水平上。幫助指導(dǎo)臨床醫(yī)生定制調(diào)查可能與特定病癥相關(guān)的結(jié)構(gòu),規(guī)劃最佳干預(yù)方案,重新評(píng)估治療的有效性并監(jiān)測(cè)其后續(xù)進(jìn)展。
6
結(jié) 論
新的視角,醫(yī)護(hù)前沿
將深度學(xué)習(xí)模塊集成到醫(yī)療設(shè)備中,用于肌肉骨骼結(jié)構(gòu)的分割,可以加速和精確治療的進(jìn)展,減少人為錯(cuò)誤,提高患者生活質(zhì)量,同時(shí)為醫(yī)學(xué)成像領(lǐng)域提供新的解釋視角,邁向醫(yī)療護(hù)理的新前沿。
Bonaldi L, Pretto A, Pirri C, Uccheddu F, Fontanella CG, Stecco C. Deep Learning-Based Medical Images Segmentation of Musculoskeletal Anatomical Structures: A Survey of Bottlenecks and Strategies. Bioengineering (Basel). 2023 Jan 19;10(2):137. doi: 10.3390/bioengineering10020137. PMID: 36829631; PMCID: PMC9952222.
news room
06.27
04.25
02.28
03.14
05.09
03.07
03.07
03.07
03.07
02.21
01.16
02.14
01.22
01.22
01.22
01.10
08.26
07.07
08.26
08.26
07.16
02.21
07.26
08.08
08.08
08.23
07.02
08.02
07.12
07.12
07.12
07.05
05.10
04.19
04.19
04.12
04.08
04.02
03.22
03.22
02.22
03.15
02.23
03.22
03.08
02.22
02.04
02.01
01.05
01.12
01.05
01.05
12.29
12.08
12.08
12.08
11.30
11.30
11.17
10.31
10.31
10.19
10.17
10.12
10.08
09.27
09.01
09.01
09.01
08.18
08.18
08.18
08.11
07.21
07.21
07.21
07.13
07.07
06.30
06.20
06.16
06.09
06.09
05.25
05.19
05.26
05.19
05.12
04.26
04.28
04.26
04.14
04.06
03.31
03.31
03.24
03.17
03.10
03.03