近紅外光譜分析中的光譜預處理方法（一）

　　在近紅外光譜分析中，多元校正是必不可少的方法，除此之外還有一個內容也經常用到化學計量學，即光譜數據預處理，它包括光譜處理和波長選擇。

　　可用于近紅外光譜測量的樣品多種多樣，性質各異，所測定的光譜除了與樣品的化學成分信息相關以外，還可能受樣品狀態、檢測環境和測量條件這些物理因素有關。通常，近紅外光譜分析利用的是樣本的化學信息，而物理信息往往是干擾因素，對建模不利，應該予以消除或降低，這就是進行光譜預處理的目標。本講在介紹常見光譜預處理方法的基礎上，還嘗試對各種方法的本質進行描述。雖然，近紅外光譜分析過程中，通常都是“嘗試地”使用預處理方法，再根據建模結果選擇方法，但如果能更深入地理解這些方法的內涵，則有望讀者能根據各種預處理方法的特點，以及樣品的實際特點，更科學地、理性地使用這些方法。

　　目前常用的預處理方法有平滑、基線校正、求導、多元散射校正、標準正態變換、正交信號分解、小波變換濾波、傅里葉變換濾波等。波長選擇也屬于光譜預處理方法，但不是本文討論的范疇，這里推薦一篇最近發表的綜述供大家參考：Yun Yong-Huan et al., An overview of variable selection methods in multivariate calibration of near infrared spectroscopy，TRENDS IN ANALYTICAL CHEMISTRY, 113(2019), 102-115。在近紅外光譜分析中經常使用的方法包括平滑、求導、多元散射校正、標準正態變換等，本文只介紹這幾種方法，其他方法請參考相關資料。

　　1、光譜數據中心化

　　從數學原理來講，為了保證能獲得優異的回歸性能，如PLS、PCA及MLR這些多元校正方法都需要對數據進行中心化處理，然后再進行多元校正。如果y和X是指標參數（如濃度）向量和NIR光譜矩陣，多元校正應該用如下模型

X_j=a₀+a₁j+a₂j²+...+a_pj^p

該式就是對y和X進行了中心化處理。一般人們都默認使用了中心化的y和X，所以模型依然用y = Xβ + e的形式。有時也有用非中心化的y和X建立模型，但嚴格來講還是中心化的模型更可靠。對X按列計算平均值獲得平均光譜圖片，光譜數據中心化是用每一個樣本的光譜減去平均光譜。如圖1所示，中心化的光譜以零值為中心分布在其上下，其和等于零。

　　對y和X分別中心化后建立模型，實際上就是用y的變化量與X的變化量建立多元校正模型，使得模型中的截距項為零，簡化了模型。與其他光譜分析方法不同，建模樣品（即標準樣品）的近紅外光譜通常都是在一個高背景情況下疊加一個較小吸光度組成的，中心化相當于去除了高背景的影響，有利于建模，也符合Lambert-Beer定律所描述的吸光度與濃度的關系。

　　2、光譜數據的平滑

　　數據平滑是常用的測量信號處理方法，近紅外光譜平滑是為了減小儀器噪聲對光譜的影響，提高信噪比。有多種平滑方法，近紅外光譜分析中應用最廣的是Savitzky-Golay平滑法（S-G平滑法），也稱為窗口移動多項式擬合平滑法。

　　曲線平滑的目的就是把含有噪聲的“毛刺”信號去除而獲得“平滑”的真實曲線信號。數學上定義平滑曲線為連續可導的曲線，可以用一個適當的函數進行描述。但用一個固定函數形式的，又不太復雜（為了易于擬合）的連續可導函數在整個波長范圍來表示一條近紅外光譜幾乎是不可能的。Savitzky和Golay提出一個巧妙的解決方法，即S-G平滑法。將整個光譜范圍分解為多個局部小段，在每個小段用某個比較簡單的函數進行擬合得到函數的解析式，這樣做使得整段復雜的光譜曲線可以用局部的簡單函數分別處理來解決，而且用窗口移動的形式從整個光譜的開始到結尾獲得多個局部小段，分別擬合得到多個擬合函數來計算平滑曲線；每個局部小段均含有奇數個波長點，用擬合后的函數只計算中心波長的估計值作為該波長的平滑結果，移動窗口的策略可收集所有局部小段中心波長平滑值，正好獲得整個光譜的平滑曲線（光譜兩端有（w-1）/2個波長點缺少平滑值，w為局部小段的波長數目，稱為窗口大小）；擬合用的函數用多項式函數（只用較小階數，常用1或2階），該函數性質優良（比如可導，導數連續，具有線性加和形式），又符合任何函數都可用泰勒級數展開的數學規律。

　　S-G平滑以及將要介紹的S-G求導方法都是常用的曲線數據處理方法，其具體計算過程容易從書籍中得到（可參看杜一平等，《化學計量學應用》，化學工業出版社，2008.5），在此不過多介紹，只給出重要的公式，以便讀者深入理解。

　　窗口移動得到的每個局部小段包含w=2n+1個波長，稱為窗口大小，多項式函數為：圖片 ，p為階次，通常為1、2等，x為光譜，j表示波長點，它有w個取值。用該多項式對w個j值和對應的圖片值進行最小二乘擬合，獲得參數a0，a1，a2，圖片ap，用參數計算中心點的x，就是平滑值。容易推導，平滑值就是光譜測量值的加權平均值。

　　值得指出的是，在S-G平滑時要對窗口大小做合適的選擇，如果窗口太小，噪聲不易去除，窗口太大則導致平滑過度，使峰寬較小的精細信號丟失。

　　3、光譜數據的求導

　　求導也是常用的近紅外光譜預處理方法，它可以消除基線漂移、提高光譜分辨率。從微積分知識我們知道，一階導數可以去除常數基線，二階導數可消除一次函數基線（線性函數），三階導數能去除二次函數基線，等等。所以，光譜求導是去除基線漂移的有效手段，對復雜的基線即使不能完全消除，也可以一定程度地去除。導數光譜另一個優良性質是它能提高光譜分辨率。我們知道，一個峰形曲線的一階導數有2個峰（正峰和倒峰都是峰），二階導數為3個峰，三階導數則有4個峰。在出峰范圍內峰數量增加，則不完全重疊的兩個峰分開的程度自然就增加了，進而提高了分辨率。在近紅外光譜分析中求導能提高光譜分辨率，使得重疊峰分開程度增加，可有效降低光譜的干擾，對建立模型有利。但光譜求導也能增加噪聲水平，降低光譜信噪比，對建模有害。導數階數越高信噪比降低越嚴重，所以，近紅外光譜分析中導數光譜一般只使用一階或二階，偶爾用到三階，再高階的導數光譜基本不用。

　　一條光譜難以用適當的函數式子寫出，當然不能用解析式來計算導數光譜。有多種求導算法，如差分法、窗口移動多項式擬合法（Savitzky-Golay求導法）、小波變換法等。近紅外光譜分析中廣泛使用Savitzky-Golay求導法，簡稱S-G求導法。該方法的基本思想與S-G平滑法一樣，即，用窗口移動的形式從整個光譜的開始到結尾獲得多個局部小段，對每個小段用多項式函數進行擬合得到多項式參數，對擬合后的函數求導，計算中心波長點的導數值，移動窗口的策略可收集所有局部小段中心波長導數值，正好獲得整個光譜的導數曲線（同樣缺少光譜兩端（w-1）/2個波長點的導數值）。與S-G平滑法的結果類似，S-G求導法計算的導數同樣也是光譜測量值的加權平均值，當然兩種方法的權值是不一樣的。一階和二階導數光譜如圖1所示。可以看出：導數光譜向中心（零值位置）發生偏移，正峰和倒峰分布于零值位置上下，而且二階比一階偏移的更明顯；光譜峰數增加了（包括正峰和倒峰），而且二階比一階增加的更多；注意導數光譜的縱坐標，其數值明顯變小了，信噪比也明顯降低，而且二階比一階降低的更甚。

　　與平滑相似，S-G求導時要對求導窗口大小做合適的選擇，窗口太小會擴大噪聲，而窗口太大平滑過度，導致精細信息丟失。

　　光譜導數計算的具體方法可以參考一些書籍，比如：杜一平等，《化學計量學應用》，化學工業出版社，2008.5。

　　另外，如果給出合適的定義，還可以計算分數階導數，如0.5階、1.1階、2.8階等。感興趣的讀者可參考：Kai-Yi Zheng, et al, Pretreating near infrared spectra with fractional order Savitzky–Golay differentiation (FOSGD)，Chinese Chemical Letters，26（2015）, 293-296。

作者簡介

杜一平，華東理工大學教授，博士生導師。研究方向包括化學計量學，分子光譜新型分析方法開發等。現任中國化學會計算機化學專業委員會委員，中國儀器儀表學會近紅外光譜分會副理事長，中國光學會光譜專業委員會常務理事，上海市化學化工學會理事等社會兼職。