薄層 LDCT 結節偵測模型的訓練成果、瓶頸診斷與資料規劃,並附影像平台之開發與院內部署現況。
以獨立測試集進行 FROC 評估(肺結節偵測的國際標準評估法)。目前已在 Phase 1 標準達標,Phase 2 尚有差距。下列為各操作點的最佳表現。
| 模型 | CPM | Sens @ FP≤9 Phase 1 | Sens @ FP≤6 Phase 2 | 最高敏感度 |
|---|---|---|---|---|
| MIP YOLO | 38.1% | 77.8% | 75.6% | 93.3% |
| DICOM YOLO | 33.7% | 82.2% | 68.9% | 86.7% |
| Ensemble(雙模型交集) | 40.6% | 80.0% | 73.3% | 84.4% |
* 粗體為該欄最佳。Phase 1(FP≤9)以 DICOM YOLO 最佳(82.2%),Phase 2(FP≤6)以 MIP YOLO 最佳(75.6%);Ensemble 於 CPM 最佳但敏感度上限僅 84.4%。
我們做了一組受控診斷實驗,結論非常明確 — 提升效能的關鍵不是讓模型更會偵測,而是加上第二階段的假陽性過濾。
45 顆結節能偵測到 43 顆,只有 2 顆極小微結節(約 3.6mm / 4.3mm,且同屬一份掃描)未偵測。Phase 2 要求的 85% 敏感度在技術上完全可達,不是模型「看不到」的問題。
模型共命中 43 顆真結節,同時產生 599 個假陽性(血管、疤痕被誤判),比例約 14:1。「Oracle 實驗」證明:只要能濾除假陽性,敏感度可達 95.6% 的天花板,遠超 Phase 2 目標。
我們實作第二階段 CNN 分類器(LUNA16 國際 benchmark 主流架構)分辨真結節與血管。立體資訊確實有幫助:判別力(AUC)由 2.5D 影像的 0.551 提升到 3D 立體的 0.633,低誤報區(每份 1 個假陽性)敏感度由 28.9% 提升至 35.6%。方向正確,但強度尚不足 — 原因見下節。
在請客戶提供更多資料前,我們先做足了「榨乾現有資料」的技術工作。結果指向一個明確且無法迴避的結論。
| 分類器變體 | 判別力 (AUC) | 結論 |
|---|---|---|
| 2.5D CNN(影像切片) | 0.551 | 僅略優於隨機 基準 |
| 3D CNN(立體) | 0.633 | 立體資訊有效,目前最佳 方向正確 |
| 3D CNN + 強化增強 / Focal Loss | 0.498 | 等同隨機猜測 增強失效 |
| 可實用門檻(國際經驗值) | ≥ 0.85 | 尚未達到 目標 |
強化增強與 Focal Loss 未能改善分類器,反而使其失效 — 判別力由 0.633 掉到 0.498,等同隨機猜測。
這個負面結果本身就是最有力的證據:在僅有 481 顆真結節的前提下,用演算法技巧「合成」變化度已經到頂。資料增強只能重複利用既有樣本;當增強幅度大到足以產生新的變化時,反而破壞了原始訊號。這條路已經走完了,接下來只能靠真實資料。
第二階段分類器需要大量真結節樣本才能訓練出足夠判別力。目前的量與國際 benchmark 相差 1–2 個數量級。
合約載明甲方提供至少 200 例,目前遠未達標。醫師標註品質很好,資料數量是首要瓶頸。建議優先補齊至 200–300 例薄層(≤ 1.5mm)標註資料,並同步推進模型架構改良,兩者並行逼近 Phase 2。
經完整測試確認,5mm 厚層影像無法用於訓練 — 這是物理層級限制,非演算法問題。
5mm 厚層將 5 個解剖層面平均為 1 張影像(partial volume averaging),造成小結節被稀釋、變模糊;z 軸切片數僅 55–83 張(薄層為 245–420 張),立體資訊大幅流失。
| 做法 | 效能 (CPM) | 結論 |
|---|---|---|
| 5mm 專用模型 | 4.3% | 最高敏感度僅 41.5%,漏掉近 6 成結節 不堪用 |
| 5mm 併入訓練集 | 32.1% | 低於原本 38.1%,反而拖累主模型 負效益 |
註:併入訓練的資料集同時包含 53 份薄層新資料與 55 份 5mm 重取樣資料。考量 5mm 專用模型 CPM 僅 4.3%,效能下降主因指向 5mm 厚層。此結果亦與國際文獻一致(5mm 相比 1mm,敏感度低 12–42%)。
LDCT 篩檢掃描通常同時重建薄層(1–1.5mm)與厚層(5mm)兩版本。請協助確認 PACS 中這 55 例是否有薄層原始檔 — 若有,配上現成的醫師標註即可直接使用,標註不會浪費。
* 上列為里程碑順序,實際時間表將由 AI 團隊提供。
合約第三條已明訂以 FROC curve 為準據。定案驗收指標:Phase 1 — Sensitivity ≥ 80% @ 每份假陽性 ≤ 9(目前已達標);Phase 2 — Sensitivity ≥ 85% @ 每份假陽性 ≤ 6,建議列為目標值(達成給予對應獎勵、未達不另行處罰)。偵測天花板 95.6% 顯示技術上可達;達成路徑需資料擴充與模型架構改良並行推進,而非單靠增加資料。
另建議擴大驗收測試集規模。目前測試集為 10 份掃描、45 顆結節,單顆結節即影響約 2.2 個百分點,數字波動較大。
除 AI 模型外,我方同步交付完整的院內影像平台 — 從 DICOM 上傳、Web 判讀、AI 推論到結構化報告產生。核心流程已於院內完成部署並實際跑通。
| 功能模組 | 狀態 | 說明 |
|---|---|---|
| DICOM 上傳(拖拉 / 資料夾匯入) | 可運作 | 影像存入 Orthanc DICOM 伺服器並同步至工作清單 |
| Web 影像 Viewer | 可運作 | Cornerstone3D · 視窗調整 · 縮放平移 · 多切片捲動 |
| AI 推論與結節標註 | 可運作 | 觸發推論後於影像上呈現 AI 偵測之結節框 |
| 人工標註 | 可運作 | 方框 / 手繪工具,可新增與編輯 |
| 結構化報告生成 | 可運作 | 中文敘述 / 英文敘述 / 國健署制式表單(含勾選) |
| Lung-RADS 分級 | 可運作 | 依結節大小自動分級 |
| 院內 LLM Gateway 對接 | 可運作 | 支援 OpenAI 相容 API(可接院內 LLM 服務) |
| 標註匯出 | 可運作 | JSON / YOLO / CVAT 格式 |
| 帳號認證 | 可運作 | Keycloak 單一登入(OIDC) |
| FHIR 匯出 | 基本版 | 現為基本 R4;TW Core IG 合規列為追加項目 |
| 影像比對 Compare | 基本版 | 分割畫面 + 同步捲動;自動抓取既往 series 列為追加項目 |
| PACS 院內串接 | 規劃中 | 待各院 PACS 規格(見下節) |
院內採混合部署:AI 推論與院內 LLM 服務運行於 K8s(A100 GPU),其餘服務部署於院內 VM。影像上傳與 AI 推論已於院內實際跑通;HTTPS 憑證與登入導轉之院內網路設定尚在協同調整中。
依貴方 6 月提出之追加需求,我方已完成技術評估並規劃分階段交付。多數項目屬原合約範圍外之新增功能,將以補充協議方式辦理。
| 階段 | 內容 | 狀態 |
|---|---|---|
| Phase A · 介面 | 深色/亮色模式、Setting 設定頁、標註下載彈窗 | 待討論 |
| Phase B · 推論與報告 | 上傳自動推論、逐 series 推論、多 series 報告、模型切換、WORD 匯出 | 待討論 |
| Phase C · 整合與合規 | PACS 串接、影像過濾、FHIR TW Core IG、去識別、開放 API、Compare 強化 | 待討論 |
| Phase D · 授權 | License 授權系統(依貴方附件一架構) | 待確認 |
License 授權服務托管方式(附件一)、FHIR 驗收基準(以 validator.dicom.tw 之 0 error 為準)、開放 API 實作範圍、去識別實作方式等四點,已於正式回函中詳列。確認後即可展開對應開發。
追加功能多屬原合約範圍外之新增項目,需以補充協議辦理。以下為推進所需之客戶配合事項。
上述追加功能之開發範圍、工時、費用與驗收條款,將以補充協議另行約定;原合約既有交付項目與保固不受影響。