隨著人工智能的發展，構建更加自然的人機交互系統(human machine interaction (HMI) systems)躍升為一大研究熱點。受心理學的啟發，Prendinger、Martinovski和Traum等研究者指出，關注對話主體或對話系統中的情感信息可以有效提升對話滿意度，同時減少對話系統出現崩潰的情況。
因此，作為人機交互領域的重要研究方向，情感識別吸引了越來越多的目光，而面部表情識別因具有很大的應用價值，更是備受矚目。例如，不同用戶每天都會上傳大量圖像，這些圖像中所呈現的情感狀態對于完善推薦系統非常有用，可決定是否向用戶推薦相關產品信息。為了自動識別面部圖像的情感狀態，面部表情識別技術是關鍵。
過去識別面部表情包含多個步驟，需借助手工提取的面部特征、分類器和融合方法。通常，面部特征可以分為兩部分：外觀特征和幾何特征。外觀特征研究廣泛，包含了方向梯度直方圖、局部二值模式、局部相位量化以及尺度不變特征變換。幾何特征考慮了頭部姿勢與人臉關鍵點坐標。
然而，多步預測方法中各步的目標不一致，同時學界對于情感識別中提取特征的標準也沒有達成一致。為了正確應對這些問題，端到端方法取代了多步法，并成為解決諸如圖像分類、機器翻譯、場景分類、圖片標題生成以及語音合成等眾多問題時所能采取的最先進的方法。在端對端面部表情識別系統中，將標準大小的原始圖片作為輸入的數據，情感標簽作為輸出的結果。端對端圖像分類器，包括AlexNet、VGG、GoogLeNet、ResNet、DenseNet以及模型的其他變化形式，在經過訓練后，能根據輸入圖片得出對應的情感預測結果。
盡管研究者們在提升面部表情識別的性能方面做出了很大努力，但當前研究仍然面臨諸多挑戰。現實生活中，研究者很難得到不受其他物體遮擋的面部圖像。此外，人們的面部也并非時刻保持正向，光照并非時刻達到最佳。因此，在表情識別任務中，獲取沒有任何干擾的正面人臉成為一大難題。
鑒于前人相關研究存在很多局限性，中國科學院自動化研究所陶建華研究組集中討論了真實場景中，由不同區域人臉數據生成的情感預測結果的真實性。例如，當只能獲取嘴部區域數據時，表情分類器的預測結果為“快樂”，但如何計算預測結果的可信值呢？這一問題可以轉換成：有多少關于“快樂”的信息可以通過嘴部表達出來？
該研究將整個面部劃分為六個子區域：鼻部、嘴部、眼部、鼻子至嘴之間、鼻子至眼睛之間，以及嘴巴至眼睛之間。此外，研究者還分析了在現實場景中，不同面部區域對表達不同表情所起到的作用。借助CAM技術，進行情感識別時，面部相關區域得以視覺化。為取得更有說服力的結果，實驗分別在三個不同數據庫中開展：FER+、RAF-DB 以及ExpW數據集。
該研究與Busso的研究有相似之處，他把人臉分為前額、眉毛、眼睛下部、右臉頰、左臉頰五個部分，而后每個區域均由單獨的分類器進行表情分類。但是他的實驗在可控制條件的實驗室環境中進行，而本研究的實驗均在真實場景中開展，同時，還將面部劃分為更小的區域，評價方法也更多樣。
該研究成果可以與心理學相結合，對于研究人的行為具有重要作用，而且還可拓展至情感表達的理解當中。研究成果發表于International Journal of Automation and Computing。
自動化所提出基于真實環境的面部表情分析方法