發(fā)布時(shí)間：2020/11/19
隨著５Ｇ和云計(jì)算技術(shù)的不斷發(fā)展，深度學(xué)習(xí)輔助決策軟件（以下簡稱ＡＩ軟件）得到越來越廣泛的應(yīng)用。ＡＩ軟件在影像數(shù)據(jù)的輔助評(píng)閱上有很大的應(yīng)用潛力，其處理速度快、病灶識(shí)別靈敏度高，對(duì)閱片經(jīng)驗(yàn)不足的臨床醫(yī)生的工作能起到很好的輔助作用。
２０１９年７月，國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心發(fā)布全球首個(gè)關(guān)于人工智能醫(yī)療器械的技術(shù)審評(píng)要點(diǎn)——《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評(píng)要點(diǎn)》（以下簡稱《審評(píng)要點(diǎn)》），并于今年先后批準(zhǔn)了多款ＡＩ軟件產(chǎn)品。雖然我國在ＡＩ軟件上已經(jīng)進(jìn)行了一定程度的探索性應(yīng)用，但目前暫無具有病灶定位功能的影像輔助決策軟件獲批上市，如何對(duì)該類軟件進(jìn)行臨床評(píng)價(jià)值得探討。
與傳統(tǒng)診斷試驗(yàn)類似
根據(jù)《審評(píng)要點(diǎn)》，申請(qǐng)ＡＩ軟件注冊(cè)應(yīng)提交基于臨床試驗(yàn)的臨床評(píng)價(jià)資料。從臨床試驗(yàn)角度出發(fā)，ＡＩ軟件的臨床試驗(yàn)本質(zhì)上是診斷試驗(yàn)，因此，在試驗(yàn)設(shè)計(jì)上與傳統(tǒng)診斷試驗(yàn)具有相似特征。如今年８月獲批的“糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件”用于糖尿病視網(wǎng)膜病變的診斷，其主要指標(biāo)為靈敏度和特異度，而評(píng)價(jià)結(jié)果為簡單的二分類變量，即“患病”或“未患病”，臨床試驗(yàn)設(shè)計(jì)特征與傳統(tǒng)診斷試驗(yàn)基本一致。
若ＡＩ軟件針對(duì)的疾病不涉及病灶的定位要求，其臨床試驗(yàn)設(shè)計(jì)較為簡單，采用傳統(tǒng)診斷試驗(yàn)設(shè)計(jì)即可。若ＡＩ軟件針對(duì)的疾病具有病灶定位要求（如ＣＴ影像中對(duì)肺結(jié)節(jié)的識(shí)別及定位、內(nèi)鏡影像下對(duì)息肉的識(shí)別及定位等），則其臨床試驗(yàn)與傳統(tǒng)診斷試驗(yàn)設(shè)計(jì)存在一定差別，包括靈敏度的定義、ＲＯＣ曲線的繪制、非完美金標(biāo)準(zhǔn)的校正等。如何合理地評(píng)價(jià)具有病灶定位功能的ＡＩ軟件產(chǎn)品的性能及臨床價(jià)值，是此類臨床試驗(yàn)的重點(diǎn)與難點(diǎn)。
回顧性研究可作為重要參考
是否能采用回顧性研究進(jìn)行ＡＩ軟件臨床試驗(yàn)是大部分申請(qǐng)人關(guān)注的重點(diǎn)之一?；仡櫺匝芯渴腔诂F(xiàn)有的評(píng)價(jià)數(shù)據(jù)對(duì)ＡＩ軟件的診斷性能進(jìn)行評(píng)價(jià)，這種試驗(yàn)設(shè)計(jì)具有實(shí)施容易、成本低廉、試驗(yàn)時(shí)間短等優(yōu)點(diǎn)。因此，回顧性研究是注冊(cè)申請(qǐng)人*感興趣的臨床研究設(shè)計(jì)方式。
產(chǎn)品是否能進(jìn)行回顧性研究應(yīng)優(yōu)先根據(jù)其風(fēng)險(xiǎn)級(jí)別進(jìn)行選擇。根據(jù)《審評(píng)要點(diǎn)》要求，對(duì)于安全級(jí)別為Ｂ、Ａ級(jí)的中低風(fēng)險(xiǎn)ＡＩ軟件，回顧性研究可用作預(yù)實(shí)驗(yàn)或替代臨床試驗(yàn)，而安全級(jí)別為Ｃ級(jí)的高風(fēng)險(xiǎn)ＡＩ軟件，回顧性研究可作為預(yù)實(shí)驗(yàn)，為臨床試驗(yàn)設(shè)計(jì)提供參考依據(jù)。對(duì)于大部分具有病灶定位要求的ＡＩ軟件，其安全級(jí)別為Ｃ級(jí)。
除法規(guī)上的考量外，在臨床試驗(yàn)方法學(xué)上，回顧性研究還存在一些難以避免的嚴(yán)重偏倚。因此，采用回顧性研究必須有嚴(yán)格的偏倚控制措施。
一般來說，由于回顧性研究存在固有缺陷，不推薦對(duì)ＡＩ軟件采用回顧性研究進(jìn)行臨床評(píng)價(jià)，但回顧性研究在產(chǎn)品性能評(píng)價(jià)和為臨床試驗(yàn)作參考時(shí)具有重要價(jià)值。
境外申請(qǐng)人通常較為關(guān)注是否能采用境外ＡＩ軟件臨床試驗(yàn)數(shù)據(jù)進(jìn)行注冊(cè)申報(bào)。對(duì)于這個(gè)問題，《審評(píng)要點(diǎn)》有明確說明。其中，進(jìn)口ＡＩ軟件的研發(fā)和驗(yàn)證應(yīng)當(dāng)優(yōu)先考慮人種及流行病學(xué)特征，一般來說，臨床影像在人種上的差異可能較小，境外申請(qǐng)人應(yīng)優(yōu)先關(guān)注流行病學(xué)方面的問題。包括相關(guān)疾病的流行病特征（如發(fā)病率、不同疾病類型的分布等）、疾病診斷差別（如臨床診斷指南的差異等）、不同國家和地區(qū)的醫(yī)療水平（如影像設(shè)備的水平差別）等。對(duì)于擬采用境外數(shù)據(jù)進(jìn)行申報(bào)的申請(qǐng)人，在提交境外數(shù)據(jù)之前應(yīng)考慮上述流行病學(xué)差異問題，并在提交資料前積極與國家藥監(jiān)局醫(yī)療器械技術(shù)審評(píng)中心溝通。
優(yōu)先考慮前瞻性研究
鑒于回顧性研究存在諸多難以控制的試驗(yàn)偏倚，ＡＩ軟件的臨床試驗(yàn)應(yīng)優(yōu)先考慮前瞻性研究，尤其是具有病灶定位能力的ＡＩ軟件產(chǎn)品。
按照《審評(píng)要點(diǎn)》要求，ＡＩ軟件的臨床試驗(yàn)應(yīng)基于軟件預(yù)期用途、使用場景和核心功能進(jìn)行試驗(yàn)設(shè)計(jì)。雖然不同的ＡＩ軟件針對(duì)的疾病類型各不相同，但其試驗(yàn)設(shè)計(jì)和統(tǒng)計(jì)方法類似。
根據(jù)《審評(píng)要點(diǎn)》，入排標(biāo)準(zhǔn)應(yīng)基于目標(biāo)疾病的流行病學(xué)特征，保證陽性樣本和陰性樣本選取的合理性和充分性。在實(shí)際入選患者時(shí)，可結(jié)合產(chǎn)品的特點(diǎn)選擇具有特定特征的患者樣本。如針對(duì)肺結(jié)節(jié)識(shí)別的ＡＩ軟件，可選擇需進(jìn)行肺結(jié)節(jié)篩查的高危人群。
采用該方法入選的病例具有很好的樣本代表性，但該方法入組時(shí)間較長，成本較高；另一種比較折中的入選病例方法是有針對(duì)性地入選患者，由研究者根據(jù)患者體征、癥狀等綜合判斷其是否應(yīng)該接受影像檢查，該方法較有針對(duì)性，也是診斷試驗(yàn)中比較流行的一種做法，但為進(jìn)一步避免選擇偏倚，在實(shí)施這種入組方法時(shí)應(yīng)在試驗(yàn)方案中對(duì)每一種疾病類型／嚴(yán)重程度的樣本量比例進(jìn)行規(guī)定。
在評(píng)價(jià)指標(biāo)方面，根據(jù)《審評(píng)要點(diǎn)》的要求，原則上選擇靈敏度、特異度、ＲＯＣ／ＡＵＣ等作為主要評(píng)價(jià)指標(biāo)。對(duì)于用于病灶定位的ＡＩ軟件，其靈敏度應(yīng)在病灶水平上進(jìn)行統(tǒng)計(jì)。當(dāng)臨床試驗(yàn)選擇用戶結(jié)合軟件聯(lián)合決策與用戶單獨(dú)決策進(jìn)行優(yōu)效對(duì)照設(shè)計(jì)時(shí)，可選用ＲＯＣ／ＡＵＣ作為主要評(píng)價(jià)指標(biāo)。此時(shí)，研究者需要在沒有ＡＩ軟件輔助的時(shí)候單獨(dú)找出影像上的病灶，并對(duì)這些病灶進(jìn)行５級(jí)把握度評(píng)分（肯定不是病灶、可能不是病灶、無法確定、可能是病灶、肯定是病灶），然后再在有ＡＩ軟件輔助的情形下，重新按上述方法進(jìn)行病灶評(píng)價(jià)。需要注意的是，采用此種方法進(jìn)行評(píng)價(jià)時(shí)應(yīng)注意閱片的隨機(jī)順序，以避免研究者的記憶偏倚。如有可能，建議可在兩次閱片之間設(shè)置一定的洗脫期。
診斷正確應(yīng)定義為在正確的位置上識(shí)別出正確的病灶。以閱片數(shù)據(jù)中對(duì)每個(gè)病灶的５級(jí)評(píng)分作為截?cái)嘀担纯山⑾鄳?yīng)的ＲＯＣ曲線。常見的曲線繪制方法有定位ＲＯＣ曲線法（ＬＲＯＣ）、因變量自由ＲＯＣ曲線法（ＦＲＯＣ）及感興趣區(qū)域ＲＯＣ曲線法（ＲＯＩＲＯＣ）等。
ＬＲＯＣ要求研究者對(duì)圖像上某處至少一個(gè)病灶進(jìn)行把握度評(píng)級(jí)，然后選出*有可能是病灶的區(qū)域，對(duì)于同一影像中的多個(gè)病灶，多出來的病灶不多加分。因此，該方法比較適用于患者病灶數(shù)目不超過１的情況。對(duì)于每例患者病灶數(shù)目超過１的情況，可采用ＦＲＯＣ進(jìn)行評(píng)價(jià)。此時(shí)，曲線的縱坐標(biāo)為靈敏度（正確定位的病灶比例），橫坐標(biāo)為每個(gè)個(gè)體的平均假陽性數(shù)。ＲＯＩ－ＲＯＣ將檢測區(qū)域分為有臨床意義的ＲＯＩ，如肺結(jié)節(jié)檢測時(shí)的五段肺葉、乳腺癌檢測時(shí)的左右乳房等，要求研究者識(shí)別并定位所有疑似病灶，并對(duì)這些病灶進(jìn)行把握度評(píng)分，然后將上述評(píng)分進(jìn)行ＲＯＩ映射。若真實(shí)病灶被判定為“疑似”，則該處得分就是該ＲＯＩ的得分；若真實(shí)病灶檢測出錯(cuò)，則此時(shí)的ＲＯＩ得分為*低把握度。以上述ＲＯＩ的不同分級(jí)為截?cái)嘀导纯蓸?gòu)建ＲＯＣ曲線，然后采用３級(jí)或４級(jí)作為截?cái)嘀导纯蓸?gòu)建出相應(yīng)的靈敏度及特異度指標(biāo)，對(duì)ＡＩ軟件的診斷性能作出綜合評(píng)價(jià)。
實(shí)際進(jìn)行病灶定位類ＡＩ軟件臨床試驗(yàn)時(shí)，試驗(yàn)方案中應(yīng)有全面的偏倚控制考慮，包括操作偏倚、評(píng)價(jià)偏倚等。臨床試驗(yàn)結(jié)果的評(píng)價(jià)應(yīng)優(yōu)先采用第三方獨(dú)立評(píng)價(jià)的方式。同時(shí)，在統(tǒng)計(jì)上也應(yīng)對(duì)聚類數(shù)據(jù)、不完美金標(biāo)準(zhǔn)等進(jìn)行數(shù)學(xué)上的校正，以科學(xué)、合理地評(píng)價(jià)產(chǎn)品臨床性能。