Nature子刊：基于Transformer的單細胞可解釋注釋方法

　　近年來得益于單細胞測序技術的發展，我們可以以單細胞分辨率去理解生物學過程，包括發育，衰老和疾病等。細胞類型注釋在單細胞數據分析過程中非常關鍵，傳統的注釋方法是將細胞降維到去除批次效應的低維空間，再進行一輪或多輪不同分辨率的聚類，最后根據不同細胞簇的標記基因人工的標注細胞類型。這一過程缺乏公認的標準，很大程度上受到研究人員偏好的影響。此外，移除批次效應的同時保留生物學差異也是單細胞研究的難點。幸而，隨著技術進步，越來越多大規模單細胞圖譜產生并公開發表，為后續研究提供了重要參考，但同時也產生了開發能夠高效處理大規模數據的計算工具的需求。所以，統一標準的，高效的，生物學可解釋的細胞類型標注工具對于單細胞分析結果的可重復性和科學研究的持續發展至關重要。

　　近日，北京大學韓敬東課題組在 Nature Communications 期刊發表題為：Transformer for One Stop Interpretable Cell type Annotation 的研究論文。

　　該研究開創性的提出了基于多頭自注意力機制的深度學習方法TOSICA，實現了無需任何批次信息輸入，使用個人電腦，在數十分鐘內對百萬級單細胞數據的細胞類型注釋，并建立多層次可解釋性的，批次不敏感的，高分辨率的細胞低維表示。

　　與基于特征基因或相關性的機器學習方法相比，深度學習方法往往更適合處理大數據，更高效，更自動化。目前已經有大量基于自編碼器（Autoencoder，AE）及其各種變體的細胞類型注釋方法被開發，但受限于AE模型結構本身帶來的弊端，此類方法大多伴隨著特征提取過程中的信息損失，需要額外批次信息的輔助去除批次效應，以及無法在不犧牲模型深度或能力的情況下賦予隱空間生物學可解釋性等問題。

　　Transformer是一種先進的，基于多頭自注意力（Multi-head self-attention）機制的深度學習模型，擁有強大的全局信息集成能力和可解釋性，它在自然語言處理（NLP）和計算機視覺（CV）等領域都取得了突破性進展。受這些優良特性的鼓舞，TOSICA 開創性的將Transformer計算單元運用到scRNA-seq數據分析領域。該模型首先將細胞中基因的表達信息轉化成基因集特征（Gene set token）并添加一維用于分類的分類頭（Class token），由于基因集間的離散特性，相對于傳統Transformer模型，TOSICA無需位置信息編碼（position embedding）而直接進入多頭自注意力層進行特征集成，最后僅將class token接入分類器中得到細胞分類結果。

　　研究團隊在多種不同的數據集中對模型的準確性進行了試驗，包括疾病數據集，細胞類型不平衡數據集，發育數據集，復雜批次數據集，小鼠全組織圖譜數據集。在橫向比較的19種細胞類型注釋器中，TOSICA綜合準確性排名第一，運行時間隨細胞數增加呈線性增加。值得注意的是，在規模大且細胞類型多的小鼠全組織圖譜數據集和細胞類型不平衡數據集中，TOSICA的準確性分別領先第二名2%和6%。TOSICA還具有準確識別不同的新細胞類型，高靈敏鑒定過渡狀態細胞，重構細胞動態軌跡，以及無需批次信息的批次效應去除等優秀特質。

　　隨后研究團隊在泛癌浸潤T細胞數據集，泛癌浸潤髓系細胞數據集，COVID19疾病數據集，紅斑狼瘡（SLE）數據集中驗證了TOSICA在解決實際科學問題中的優勢和潛力。實現了疾病相關可解釋動態軌跡重構，鑒定隨年齡，疾病狀態，癌癥類型變化而活化的通路，細分功能的細胞亞群鑒定，以及跨不同疾病模型的細胞類型遷移。