新研究創新多模態聯邦學習框架

記者5月4日從天津理工大學獲悉，該校計算機科學與工程學院副教授亓帆及其研究生李帥，針對多模態聯邦學習中常見的模態不兼容問題展開深入研究，提出了一種創新的自適應超圖聚合的多模態聯邦學習框架。近日，該成果論文被計算機視覺和人工智能領域國際公認的頂級會議CVPR?2024錄用。

據介紹，現有聯邦學習方法只會傳輸模型參數或梯度，不會傳輸每個客戶端的隱私數據，這有助于保護用戶隱私。然而，大多數現有聯邦學習方法在訓練時仍然使用單模態數據。隨著邊緣計算不斷發展，多模態數據越來越多。基于此，研究多模態聯邦學習十分必要。

該框架通過結構化設計客戶模型、全局共識原型增強器及自適應超圖聚合協作圖三大關鍵模塊，可自適應地完成多模態客戶端之間模型的聚合，實現跨模態數據客戶端之間的聯邦協同訓練，解決了模態不兼容和統計異質性挑戰。