近日,中科院軟件所與瑞金醫院聯合研究的《外科腹腔鏡手術動作分析數據集》成功發表于國際頂級學術期刊Nature(《Scientific Data》IF 5.8;JCR Q1)。
該研究由上海交通大學醫學院瑞金醫院陸灣分院普外科、中國科學院大學杭州高級研究院、中國科學技術大學網絡空間與技術學院、中國科學院軟件研究所、廣西華醫人工智能醫療科技有限公司研發中心等聯合完成。
梵晨博生醫藥集團旗下華醫MedAI精準醫療(廣西華醫智能醫用軟件有限公司),是與中科院軟件所、瑞金醫院盧灣分院和多家頂尖臨床醫療機構聯合出品的AI醫療平臺,從事AI大模型三維醫用軟件的研發與運營。為數據集構建提供了關鍵技術支撐,標志著集團在AI醫療-腹腔臟器全自動智能識別技術板塊的實力獲得了全球頂尖學術機構的權威認證。
研究中文摘要:
腹腔鏡手術因其微創和快速恢復的優點,在各個外科領域得到了廣泛的應用。然而,這需要外科醫生具備高水平的技術專長。雖然計算機視覺和深度學習的進步對手術動作識別做出了重大貢獻,但這些技術的有效性受到現有公開數據集的局限性的阻礙,例如它們的規模小、同質性高、標注質量不一致。為了解決上述問題,我們開發了SLAM數據集(腹腔鏡手術運動),其中包括各種手術類型,如腹腔鏡膽囊切除術和闌尾切除術。該數據集包括七個關鍵動作的注釋:腹腔進入、使用夾子、鉤切、縫合、全景視圖、局部全景視圖和吸引??偣灿?097個視頻片段,每個片段都標有相應的動作類別。此外,我們使用ViViT模型對數據集進行了全面驗證,實驗結果表明,該數據集在腹腔鏡手術動作識別方面表現出卓越的訓練和測試能力,分類準確率最高為85.90%。作為公開可用的基準資源,SLAM數據集旨在促進腹腔鏡手術動作識別和人工智能驅動手術的發展,支持智能手術機器人和手術自動化。
文章引用:Ye, Z., Zhou, R., Deng, Z. et al. A Comprehensive Video Dataset for Surgical Laparoscopic Action Analysis. Sci Data 12, 862 (2025).
該數據集具備三大突破性價值:
多樣性:整合數十例患者手術視頻,涵蓋多種術式,突破傳統數據集同質化局限。
高質量標注:由資深外科醫師雙盲標注及高年資醫師復核,標注一致性達99%。
兼容性強:提供標準化視頻片段及訓練-驗證-測試劃分方案,支持高效模型開發 數據集已通過Figshare平臺開源(DOI:10.6084/m9.figshare.28104782),為手術機器人智能決策、術者技能評估、手術流程優化提供關鍵基礎,推動人工智能驅動的手術自動化進入新階段。
未來,將進一步擴大數據集的規模,提高數據多樣性;引入更多的客觀評價指標和方法,提高評估結果的準確性和可靠性;拓展測評數據集的應用場景,為腹腔鏡領域大模型發展做出更多貢獻。(來源:瑞金醫院盧灣分院)
腹腔臟器全自動智能識別技術的價值
在外科手術領域,精準識別手術視頻中的關鍵步驟并評估操作規范性,是提升手術質量與安全性的核心需求。傳統手術技能評估依賴專家主觀評分,存在耗時、易受主觀偏差影響等局限。隨著人工智能技術的發展,基于手術視頻的自動化分析成為突破方向。
所謂腹腔鏡手術,就是在腹部的不同部位做數個直徑5~12毫米的小切口,通過這些小切口插入攝像鏡頭以及各種特殊的手術器械,將插入腹腔內的攝像頭所拍攝的腹腔內各種臟器的圖像傳輸到顯示屏幕上,外科醫生通過觀察圖像,用各種手術器械在體外進行操作來完成手術。
隨著電子科學的發展,近數十年來,腹腔鏡顯示屏已基本完成由模擬信號向數字化、高清化的轉型,這也為圖像數字處理創造了條件。近年來,AI已經在革新醫學圖像分析的領域中展示出前所未有的潛力,腹腔鏡圖像中器官自動識別是日后全自動手術的前提。
未來,該類系統有望成為術中實時質量控制的核心工具,推動外科手術從“經驗驅動”向“數據驅動”轉型。結合多模態數據融合與AI分析技術,深化AI與臨床醫學交叉合作,拓展智能手術系統在多科室的應用,實現跨學科融合。也能為臨床教育賦能,利用AI輔助系統,加速年輕醫生手術技能培養,縮短學習曲線,提升整體醫療隊伍的專業水平。
申請創業報道,分享創業好點子。點擊此處,共同探討創業新機遇!