2026 年 10 月 25 日,皮膚科醫師 Magnus Lynch 在 Lynch Lab 發布了〈A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis〉,提出一個值得細讀的皮膚癌 AI 比較:經專門微調的 Inception v3,在 200 個病灶的六分類題中,比兩個通用多模態語言模型答對更多;但它的預設分流門檻,也讓更多黑色素瘤被判為可以離院。

這篇文章先還原作者怎麼比、數字各在回答什麼,再對照公開逐筆紀錄與外部研究資料,最後判斷這次勝負能支持多大的結論。最值得帶走的,不是「舊模型打敗新模型」,而是分類準確率與安全分流需要分開驗收。
皮膚癌 AI 比較:同一批病灶,兩種問題
Lynch 是臨床皮膚科醫師,任職醫院的介紹也列出他的皮膚癌診斷、手術與相關研究背景。這使他的題目設計值得重視,但臨床資歷本身不能取代對測試方法與結果的檢查。
依原文,樣本來自 MILK10k,作者按組別抽出 200 個經組織病理確認的病灶:100 個被列為不宜離院,包括 30 個黑色素瘤、25 個基底細胞癌、25 個鱗狀細胞癌及 20 個日光性角化症;另 100 個為良性痣與脂漏性角化症,各 50 個。不宜離院的 100 個,不等於 100 個癌症。
每個病灶有一般近照與皮膚鏡影像。前者像平常拍下的局部照片,後者則透過專用放大與照明設備呈現細節。ISIC 官方的 MILK10k 說明確認這種成對影像設計,也列出官方基準的 11 個診斷類別;Lynch 這次挑選的六分類、200 病灶實驗,是他另行設計的子集,不能當成官方完整榜單。
作者給兩個語言模型相同的醫師情境提示,要求第一診斷、信心、第二選項,以及能否在不治療、不切片、不追蹤的情況下離院。原文與下載紀錄將模型標為 GPT-6 Astra、Claude Fable 5.1;每個病例各跑一次。這裡的結果綁定作者公開的這組模型標籤、提示與紀錄,不能擴張成所有聊天介面或後續版本的成績。
專用 CNN 贏在哪裡?先看訓練,再看分數
The CNN is deliberately not state of the art.
中文:作者刻意選擇的 CNN,並不是當前最先進的模型。
Magnus Lynch/Lynch Lab
Inception v3 是卷積神經網路(CNN),可把它想成專門從影像紋理與形狀學習分類規則的系統。其相關論文預印本於 2015 年 12 月公開,正式會議版本則收錄於 CVPR 2016。這裡比較的是較早的架構經過新的專項訓練,不是把十年前的原始權重直接拿來看病。
Lynch 自述,他在單張 H100 上,用 68,011 張 ISIC 影像微調全部網路層,耗時約 20 分鐘;測試病灶及相同病人、相同病灶的其他照片,事先從訓練與驗證資料排除。這些訓練時間與排除流程屬作者的方法說明,本文未在其訓練環境重現。CNN 同樣使用兩張圖,融合時較重視皮膚鏡影像。

原文報告,CNN 第一診斷答對 125/200,兩個語言模型則為 84/200、85/200。以分數重新換算,是 62.5%、42.0%、42.5%;原文以整數百分比呈現。把第二選項也算進來,三者依序為 173、134、138。這證明的範圍是作者這批資料與規則下的分類表現。
第一診斷正確的黑色素瘤數,CNN 為 13/30,GPT-6 Astra 為 8/30,Claude Fable 5.1 為 11/30。CNN 也不是每類都贏:原圖中,日光性角化症答對數落後兩個語言模型。總分會把不同種類的錯誤加在一起,不能代替逐類檢查。
皮膚癌 AI 的安全反差:答對 125 題,仍可能漏放 18 個黑色素瘤
同一份原文裡,最需要和分類分數一起讀的,是離院結果。以下所有 CNN 數字保留為作者報告;語言模型數字則另以公開回覆重新計數核對。
| 指標 | GPT-6 Astra | Claude Fable 5.1 | CNN(作者報告) |
|---|---|---|---|
| 第一診斷答對/200 | 84 | 85 | 125 |
| 黑色素瘤第一診斷答對/30 | 8 | 11 | 13 |
| 不宜離院者被留住/100 | 97 | 96 | 77(預設門檻) |
| 良性病灶可離院/100 | 32 | 22 | 76(預設門檻) |
| 黑色素瘤被判可離院/30 | 3 | 4 | 18(預設門檻) |
分類問題問「最像哪一種病」,分流問題問「能不能安全地停止後續處理」。答錯診斷但仍安排進一步檢查,與把黑色素瘤判成可以離院,後果不同。在這組測試中,兩個語言模型留住較多不宜離院的病灶,同時也讓較多良性病灶留下;CNN 的預設門檻則放行較多良性病灶,也放行更多黑色素瘤。
第一診斷與離院是分開評分的輸出;不能用「30 減去診斷答對數」推算漏放數。作者另稱,若調整 CNN 門檻到與語言模型較接近的運作位置,可留住 98 或 99 個不宜離院病灶,漏放的黑色素瘤降至 2 或 1 個。這是另外的門檻結果,不能和預設門檻放行 76 個良性病灶的數字拼成同一套表現。要判斷實際效益,還需要同一門檻下成對列出安全與轉診負擔,並在獨立資料驗證。
這就像一道門:把門收緊,可能少放走需要檢查的人,也讓更多原本可放心的人留下。選門檻不是把總分調漂亮,而是先說清楚能接受哪種錯誤、誰承擔代價,再驗證這個選擇。
哪些證據可以核對?哪些仍是作者自述?
公開紀錄的加總,與重新執行模型要分開
AlphaLab 下載了原文連結的病例、提示與回覆資料包,另寫計數程式,從兩份醫師情境 JSONL 回覆核對:第一診斷 84、85;前兩選項 134、138;黑色素瘤第一診斷 8、11;漏放黑色素瘤 3、4;不宜離院者留住 97、96;良性病灶離院 32、22。這些加總與原文一致。我們核對的是作者提供的紀錄,沒有重新呼叫模型,也沒有獨立確認每張影像的病理。
截至 2026 年 10 月 27 日檢視,這份下載包列出的模型逐筆結果是兩個語言模型;CNN 的 125、18 及調整門檻結果,在本文中依然是作者自述,未由同等逐筆輸出獨立核算。原文的訓練排除聲明,也不等於已完成外部資料洩漏稽核。作者的示範頁方法說明另列依影像類型計算的門檻與單圖結果,不能與本文這組雙圖融合比較直接互換。
小樣本與病例選法,會改變你能推論的事
這 200 個病灶連良性組都曾做切片,與一般人隨手拍下的日常皮膚問題不同。作者指出它們較難判斷;更根本的限制是,這批病例的種類比例與就醫場景已被選定。從這個 50/50 的「宜留/可離院」分組,不能直接推算一般人收到放心答覆後的患病機率。
黑色素瘤只有 30 個,多一個錯誤就改變約 3.3 個百分點。每例只跑一次,也無法由此讀出重複執行的波動。若要比較接近的成績,應看病例層級的配對結果、重複測試與不確定區間,而不是拿一兩題差距宣判長期排名。
MILK10k 的公開性同時讓查核更容易,也提出訓練資料污染的問題。作者承認語言模型可能見過影像;本文無法由公開回覆確認是否真的見過,更不能替污染方向與影響大小下定論。對下一輪研究,獨立、封存、未用於選門檻的測試資料,比再換一句更驚人的標題更有價值。
病人問法測到的是另一種行為
原文另報告,在只給一般近照、以病人方式詢問的額外 100 個黑色素瘤中,兩個語言模型分別對 99、98 個建議就醫。這不是前面 30 個黑色素瘤的同一項指標,也不是診斷正確率。幾乎所有人都被勸去看醫師,可以降低部分漏放,卻不能單憑這點證明模型已能有效區分誰需要轉診。病人問法的自由文字回覆還要經過編碼與臨床判讀;資料包說明也記載作者調整過個別自動評分,因此這組 99/98 是作者報告的判讀結果,不能當成只數原始分類標籤就能得到的數字。
作者也交代自己設計測試並作臨床判定,分析與初稿使用 Claude Code。這種工具關係值得知道,但既不會自動推翻結果,也不會使結果更可信;真正能提高信心的,是公開紀錄、獨立重算與外部重現。
AlphaLab 的判讀:專項訓練值得重視,安全仍要另外交卷
一、舊架構可以是好基準,但這不是架構的公平淘汰賽
我同意作者最有價值的提醒:處理窄而明確的影像任務時,應把專用模型放進候選,而不是從通用能力名聲直接推算專業準確率。這個案例把「任務相關資料與訓練」的重要性具體化了。可是 CNN 做了專項微調,語言模型走的是通用提示路徑;這場比較同時改變訓練方式與架構,無法把差距全歸因於 CNN 天生優於語言模型。
類似問題也可對照 Jev 專用模型與開源重製解析:一個窄任務的成績,可以支持選擇更合適的模型,卻不會自動證明整個系統在所有場景都可靠。
二、醫療分流的目標,應先寫成可接受的錯誤
這份比較中,CNN 預設門檻的 18/30 漏放,是不能被總分蓋過的具體訊號。相對地,把幾乎所有病灶都留下,也需要計算額外評估量與醫療容量。較好的下一輪比較,是先固定漏診風險目標,再比較能減少多少不必要轉診;同時保留不同膚色、拍攝設備與場域的分組結果。
外部臨床導入也採條件式思考。英國 NICE 的 HTG746 建議允許 DERM 在證據生成期、符合指定條件時,用於 NHS 成人疑似皮膚癌轉診路徑的評估與分流;並要求監測表現,對黑色或棕色皮膚者安排醫療專業人員複核。這不是對 Lynch 模型的認可,而是說明臨床採用會把適用人群、監測與後續責任一起納入。
三、我同意專項基準的挑戰,也存疑全面勝出的說法
我同意:作者讓一個容易重複的假設接受檢驗——通用前沿模型未必是每個專業影像任務的最佳起點。我存疑:把這批六分類成績寫成「CNN 已證明更安全」,或把它變成病人自行判斷可否不就醫的依據。前者忽略原文自己的分流反差,後者把選定資料上的回溯比較,跨成真實照護決策。
想繼續練習這種分辨,可讀 Microsoft-Decision-1 的評分與校準分析:高分、信心與採取行動的門檻,應各自有可以檢查的證據。
下一步:讀到醫療 AI 跑分,先問這四件事
第一,病例從哪裡來,和實際使用的人是否相似?第二,評分是在認病名、判斷轉診,還是在量病人最後的結果?第三,門檻在測試前是否固定,同一門檻的漏放與額外轉診是否一起報告?第四,結果是否有逐筆紀錄與獨立驗證?這四個問題,比只問模型大不大、新不新,更接近能否採用。
如果你是因為自己身上的斑點而看到這篇比較,請把注意力放回變化本身。美國皮膚科醫學會的就醫指引建議,斑點或腫塊若持續變大、出血或出現變化,應讓皮膚科醫師檢查。可以記錄何時開始、如何改變,帶到就診時說明;不要因聊天答覆或這篇實驗的某個排名而取消檢查。
接著閱讀
左右滑動查看更多推薦






