由企業(yè)大模型專家、AI算法工程師、醫(yī)院信息部門和臨床醫(yī)生組建聯(lián)合研發(fā)團(tuán)隊，在醫(yī)院場景中直接開發(fā)、測試和應(yīng)用大模型，實施研發(fā)應(yīng)用一體化策略，加速大模型落地應(yīng)用。基于多模態(tài)影像、通用文本、病歷文書等語料，構(gòu)建醫(yī)療影像-文本大模型和醫(yī)療文本大模型。前者突破傳統(tǒng)AI影像的單病種、單器官的研發(fā)范式，充分利用大語言模型的文本理解能力，自動挖掘醫(yī)學(xué)影像和診斷報告的相關(guān)性，實現(xiàn)大規(guī)模數(shù)據(jù)快速標(biāo)注，融合語言生成和圖像處理兩種技術(shù)，構(gòu)建圖文混合模態(tài)的生成大模型，從醫(yī)學(xué)影像直接生成診斷報告，實現(xiàn)一掃多查。后者通過學(xué)習(xí)大量專業(yè)語料和臨床病歷，輔助醫(yī)生書寫病歷和進(jìn)行質(zhì)控，減輕醫(yī)生工作量，提升書寫質(zhì)量和效率。

當(dāng)前，醫(yī)學(xué)影像AI已有不少落地場景，但大部分長于計算分析，尚不能直接產(chǎn)生報告，且對每個應(yīng)用都要訓(xùn)練特定模型，訓(xùn)練時需要人工/半人工標(biāo)注數(shù)據(jù)，標(biāo)注工作耗時費力。因此，能夠快速自動標(biāo)注數(shù)據(jù)、實現(xiàn)多病同查、直接生成最終報告的影像AI更為符合臨床需要。

結(jié)構(gòu)化、內(nèi)容完整、數(shù)據(jù)準(zhǔn)確、撰寫及時的高質(zhì)量病歷是醫(yī)療安全和質(zhì)量的重要保證，涉及醫(yī)保支付和醫(yī)院評價。完整病歷包括入院記錄、首程記錄、鑒別診斷、手術(shù)計劃、執(zhí)行手術(shù)、手術(shù)記錄、出院記錄、術(shù)后隨訪等豐富內(nèi)容，需要醫(yī)生記錄客觀數(shù)據(jù)并進(jìn)行大量推理，大大增加了醫(yī)生負(fù)擔(dān)。病歷質(zhì)控、結(jié)構(gòu)化和輔助信息推斷臨床需求較大。

本項目主要基于自研的影智醫(yī)療大模型，直接采用“研發(fā)應(yīng)用一體化”策略，組建由大模型專家、信息部門、算法工程師和臨床專家的混合團(tuán)隊，在復(fù)旦大學(xué)附屬中山醫(yī)院內(nèi)開展模型的訓(xùn)練、測試和應(yīng)用。一是在影像科，開發(fā)落地醫(yī)療影像-文本大模型產(chǎn)品，突破傳統(tǒng)的醫(yī)療影像AI模型的研發(fā)范式，實現(xiàn)從影像到完整報告的自動生成。二是在臨床科室（心外和呼吸內(nèi)科），開發(fā)落地醫(yī)療文本大模型產(chǎn)品，實現(xiàn)臨床輔助診斷和電子病歷輔助結(jié)構(gòu)化書寫。

醫(yī)生根據(jù)影像書寫報告的過程本質(zhì)就是對影像進(jìn)行專業(yè)的文本描述，我們基于這一點設(shè)計“圖像-文本大模型”。“圖像-文本大模型”具有顯著的優(yōu)勢，不僅可以充分利用大語言模型LLM的語言理解能力，自動挖掘文本報告和醫(yī)學(xué)影像內(nèi)容的相關(guān)性，跳過繁瑣的精細(xì)標(biāo)注步驟，還可以打破單病種/單器官逐一攻克的研發(fā)范式，同時學(xué)習(xí)到多種器官、病灶的影像特征。

在中山醫(yī)院影像科的開發(fā)工作中，我們重點針對冠狀動脈CT血管造影 (CCTA)、乳腺鉬靶（FFDM)、胸部CT、腦部MR等多模態(tài)影像數(shù)據(jù)進(jìn)行自動分析，目標(biāo)是基于病人信息和醫(yī)學(xué)影像快速生成放射影像報告。目前已經(jīng)實現(xiàn)第一步目標(biāo)——開發(fā)出一種通用的醫(yī)學(xué)圖像分割大模型gMIS，該大模型可以只使用少量新樣本，就能快速拓展到新的器官或者病灶，如在大模型學(xué)習(xí)腎動脈血管分割任務(wù)時，僅需10個腎動脈訓(xùn)練數(shù)據(jù)就可以達(dá)到傳統(tǒng)小模型需要使用200+個數(shù)據(jù)才能達(dá)到的性能水平，顯著提升了醫(yī)療AI的研發(fā)效率。

影智文本大模型是基于100B token的中英文醫(yī)學(xué)語料庫訓(xùn)練而成，涵蓋醫(yī)學(xué)論文、教科書和診斷指南，確保了模型的專業(yè)性和準(zhǔn)確性。該模型能根據(jù)住院病人的病歷記錄和醫(yī)患對話信息，自動生成患者住院期間全流程不同階段的結(jié)構(gòu)化病歷，如首次病程錄、手術(shù)記錄、單病種上報文件及出院小結(jié)等。同時，模型還能根據(jù)病史輔助生成診斷建議，供醫(yī)生選擇使用。此外，醫(yī)生可利用本模型輕松完成臨床文本數(shù)據(jù)的導(dǎo)入與管理。該產(chǎn)品在嚴(yán)格標(biāo)準(zhǔn)下的診斷準(zhǔn)確率已達(dá)80%以上。在推理階段，模型的處理速度高達(dá)50 token/s，USMLE 考試分?jǐn)?shù)為74分（超過ChatGPT3.5得分），表明其專業(yè)水平符合醫(yī)療執(zhí)業(yè)標(biāo)準(zhǔn)。此外，我們整合了RAG（檢索增強(qiáng)的生成）技術(shù)，使模型在生成文本時能進(jìn)行動態(tài)檢索，提高生成內(nèi)容的準(zhǔn)確性和相關(guān)性，進(jìn)一步提升醫(yī)療文本處理的效率和質(zhì)量。

我們的模型能夠在影像分析中自動完成復(fù)雜的數(shù)據(jù)處理，顯著提升工作效率，減輕醫(yī)務(wù)人員負(fù)擔(dān)。此外，通過提供輔助診斷功能，模型能夠為醫(yī)生提供準(zhǔn)確的診斷建議，幫助他們更快更精準(zhǔn)地作出決策，從而提高醫(yī)療服務(wù)質(zhì)量。

目前影智大模型已經(jīng)在中山醫(yī)院的幾個科室落地使用。未來將通過知識服務(wù)收費和個人知識庫嵌入為醫(yī)生提供一個平臺，使其能夠根據(jù)個人需求進(jìn)行自主創(chuàng)新，同時利用用戶反饋進(jìn)行模型的持續(xù)迭代。除了通過入院模式與醫(yī)院進(jìn)行合作外，也基于移動APP平臺，吸引普通用戶和醫(yī)生用戶參與。此外，我們也在構(gòu)建算力生態(tài)和語料生態(tài)，以支持模型的廣泛應(yīng)用和持續(xù)發(fā)展。

本項目形成的技術(shù)可以平移到其他醫(yī)院，從而構(gòu)建一個開放和持續(xù)進(jìn)步的商業(yè)模式。