離子探針主要由三部分組成：一次離子發射系統、質譜儀、二次離子的記錄和顯示系統。前兩者處于壓強〈10-7Pa的真空室內。其結構原理如圖所示。
① 一次離子發射系統
一次離子發射系統由離子源（或稱離子槍）和透鏡組成。離子源是發射一次離子的裝置，通常是用幾百伏特的電子束轟擊氣體分子（如惰性氣體氦、氖、氬等），使氣體分子電離，產生一次離子。在電壓作用下，離子從離子槍內射出，再經過幾個電磁透鏡使離子束聚焦，照射在樣品表面上激發二次離子。用一個電壓約為1KV的引出電極將二次離子引入質譜儀。
② 質譜儀
質譜儀由扇形電場和扇形磁場組成。二次離子首先進入一個扇形電場，稱為靜電分析器。在電場內，離子沿半徑為r的圓形軌道運動，由電場產生的力等于向心力。
運動軌道半徑r等于mv2/eE，與離子的能量成正比。所以扇形電場能使能量相同的離子作相同程度的偏轉。由電場偏轉后的二次離子再進入扇形磁場（磁分析器）進行第二次聚焦。由磁通產生的洛侖茲力等于向心力。
不同質荷比的離子聚焦在成像面的不同點上。如果C狹縫固定不動，聯系改變扇形磁場的強度，便有不同質量的離子通過C狹縫進入探測器。B狹縫稱為能量狹縫，改變狹縫的寬度可選擇不同能量的二次離子進入磁場。
③ 離子探測系統
離子探測器是二次電子倍增管，內是彎曲的電極，各電極之間施加100-300V的電壓，以便逐級加速電子。二次離子通過質譜儀后直接與電子倍增管的初級電極相碰撞，產生二次電子發射。二次電子被第二級電極吸引并加速，在其上轟擊出更多的二次電子，這樣逐級倍增，最后進入記錄和觀察系統。
二次離子的記錄和觀察系統與電子探針相似，可在陰極射線管上顯示二次離子像，給出某元素的面分布圖，或在記錄儀上畫出所有元素的二次離子質譜圖。