X射線熒光光譜儀主要由激發、色散、探測、記錄及數據處理等單元組成。激發單元的作用是產生初級X射線。它由高壓發生器和X光管組成。后者功率較大，用水和油同時冷卻。色散單元的作用是分出想要波長的X射線。它由樣品室、狹縫、測角儀、分析晶體等部分組成。通過測角器以1∶2速度轉動分析晶體和探測器，可在不同的布拉格角位置上測得不同波長的X射線而作元素的定性分析。探測器的作用是將X射線光子能量轉化為電能，常用的有蓋格計數管、正比計數管、閃爍計數管、半導體探測器等。記錄單元由放大器、脈沖幅度分析器、顯示部分組成。通過定標器的脈沖分析信號可以直接輸入計算機，進行聯機處理而得到被測元素的含量。
X射線熒光能譜儀沒有復雜的分光系統，結構簡單。X射線激發源可用X射線發生器，也可用放射性同位素。X射線激發源由X光機電源和X射線管組成。能量色散用脈沖幅度分析器 。探測器和記錄等與X射線熒光光譜儀相同。