1. 使用深度學習與電腦視覺技術識別睡眠內視鏡中顎咽的通暢性 (Image Segmentation)
實際成果:
Segmentation模型表現從最初DSC(Dice Similarity Coefficient)的 65.3% 提升至 91.2%
模型對影像阻塞比例的分級預測與標準(基準真相)的一致性也達到九成以上。
主要貢獻:
模型實作:負責實現深度學習模型,包括U-Net、U-Net++、DeepLab v3+...等模型,並進行模型的調參和優化。
資料前處理:負責影片的前處理,以及資料擴增的實施。
標註工作:使用Labelme工具進行睡眠內視鏡影像的標註,建立基準真相。
技術引入:引入半監督學習 (Semi-Supervised Learning)、Image Quality Assessment (IQA)、注意力機制、焦點損失(Focal loss)函數等技術以提高模型的分割能力,處理具有挑戰性的案例。
模型訓練:在模型訓練中記錄並儲存訓練情況,以便後續繼續訓練。同時,繪製學習曲線以清晰呈現模型訓練的進展,提供有價值的參考。
模型性能評估:採用DSC(Dice Similarity Coefficient)、IoU(Intersection over Union)、Hausdorff Distance等指標,以量化數值綜合評估模型的表現。同時呈現模型的預測情況圖片,有助於直觀理解模型對於影像的預測效果。
阻塞比例之推估:得到顎咽氣道之分割部分後,進一步將其通暢面積轉化為阻塞比例。
使用到的工具:
深度學習框架:PyTorch及TensorFlow,實現Segmentation模型。
影像標註:使用Open source工具Labelme進行睡眠內視鏡影像的標註,以建立基準真相。
資料擴增:運用資料擴增套件Albumentations,引入異質性資料以提升模型穩定性。
損失函數:在處理不平衡資料方面引入Focal loss以提高分割任務的準確性。
模型評估:運用OpenCV和Matplotlib等套件,展示模型的預測情況。
-----------------------------------------------------------
2. 雙圖卷積網路結合PET影像於提升阿茲海默症之診斷 (Classification of patients)
實際成果:
在區分阿茲海默症(AD)與正常控制組(NC)方面,模型的Accuracy達到98.28%。
在區分穩定型輕度認知障礙(sMCI)與進展型輕度認知障礙(pMCI)方面,模型的Accuracy達到87.18%。
主要貢獻:
模型實作:負責實現圖卷積神經網路(GCN)模型,以進行阿茲海默症早期診斷的預測。
資料前處理:負責處理從正子斷層造影(PET)影像中所得到的特徵,並將其與患者的表型資訊做整合。
建立Graph:使用PET影像特徵與患者表型資訊,構建出Graph,以供後續GCN模型使用。
模型整合與後期融合:整合多個GCN,建立多模態深度學習模型以及後期模型融合,提高預測準確性。
分類任務與模型性能評估:預測分類任務,區分AD vs NC(Normal Control)以及 pMCI (progressive mild cognitive impairment) vs sMCI (stable mild cognitive impairment),並評估模型的性能。
使用到的工具:
深度學習框架:PyTorch及TensorFlow,實現GCN模型。
資料整合工具:使用NumPy、Pandas等套件進行資料整合,整合患者的表型資訊,如基因表現(APOE4)、性別、年齡及量表分數等。
構建資料集:使用Pytorch Geometric、NetworkX和CogDL等套件處理和構建Graph資料集。
模型評估:使用混淆矩陣(ConfusionMatrix)、Specificity、Sensitivity、F1 Score、AUC、AUROC等指標來評估模型的性能。