學者開源物理傳熱啟發的視覺表征模型vHeat

近日，鵬城實驗室網絡智能研究部視覺智能研究所與中國科學院大學電子電氣與通信工程學院共同合作，分別在GitHub和OpenI啟智社區開源了物理傳熱啟發的高效視覺表征模型vHeat。

vHeat與ViT核心算子計算復雜度對比。研究團隊供圖

研究團隊認為，CNN和ViT的卷積算子與自注意力算子都是特征內部的像素傳播過程，分別是一種信息傳遞的形式，從而聯想到物理領域的熱傳導，因此提出了基于熱傳導的視覺表征模型vHeat。vHeat將圖片特征塊視為熱源，通過預測熱擴散率，以物理學熱傳導原理來提取圖像特征。

相比基于Attention機制的視覺模型，vHeat同時兼顧了低計算復雜度、全局感受野、物理可解釋性等特性，計算復雜度降低為1.5次方。

HCO與HCO Layer示意圖。研究團隊供圖

研究團隊根據熱傳導方程，將視覺語義的空間傳播和物理熱傳導建立聯系，根據傅里葉變換求得通解，并依據通解進行離散化和通道維度擴展，提出了一種1.5次方計算復雜度的視覺熱傳導算子（Heat Conduction Operator，HCO）。

此外，團隊認為不同圖像內容對應不同的熱擴散率，提出了頻率值編碼（Frequency Value Embeddings，FVEs)來表示頻率信息，并采用FVEs來預測熱擴散率，使得HCO可進行非均勻、自適應的傳導。

用FVEs預測熱擴散率，形成非均勻、自適應的傳導。研究團隊供圖

實驗證明，vHeat在各種視覺任務中表現優秀。例如vHeat-T在ImageNet-1K上分類準確率達到82.2%，比Swin-T高0.9%，比Vim-S高1.7%。除性能優勢之外，vHeat還擁有高推理速度、低GPU顯存占用和低FLOPs等優點。在輸入圖像分辨率較高時，相比于Swin，base規模的vHeat模型達到3倍吞吐量，同時GPU顯存占用為其1/4倍，FLOPs為其3/4倍。

vHeat這一創新性研究成果為視覺模型的發展提供了新的方向和思路。未來，研究團隊將繼續推進新型視覺模型研究，為模型在各行業、多領域的人工智能發展和應用貢獻力量。