显微硬度计分为的两部分，分别有自己的功能，其显微镜是用来观察显微组织，确定测试部位，测定压痕对角线的长度；而硬度测试装置则是将一事实上的载荷加在一事实上的压并没有上，压入所确定的测试部位。整体说来，是由支架部分、截物台、负荷机构、显微镜系统等四大部件组成。
1、支架部分。
与其他维氏硬度计一样，主要由底座和主柱组成。但是因为加置了显微镜，就增加了调节螺母用来升降。一般情况下，借助调节螺母可升降托架，使显微镜整体上下移动。
2、加载荷重机构。
它是显微硬度计的重要组成部分，荷重机构安装在臂架上，与物镜相对称。立柱1由两片弹簧(3与4)支持着，在它的下端装入压头8，荷重砝码套在立柱中部，立柱平时由托板托住。加载荷时，借手柄7逆时针方向旋转而使托盘离开，立柱随之下降，载荷就通过压头加到磨面上。
3、 截物台。
硬度计的截物台由三个螺钉固定在底座上，其中两个螺钉控制其前后左右移动。载物台移动的最大行程为10mm，旋转手柄可使载物台作180°回转运动，使显微镜观察到的组织，恰好能转到显微硬度计压头下面，然后加载，得到一个显微硬度压痕。当载物台回转到原来位置以后，压痕对角线长度可由显微镜测量出来。载物台不需要转动时可用固定螺钉使载物台固定。
4、 显微镜部分。
由镜筒物镜和目镜组、机械调节及照明装置组成。显微镜用粗调和微调旋钮调节焦距，在微调旋钮上刻有刻度，指示显微镜上下调节的距离，每小格相当于0.002mm。镜筒上装有倾斜的观察镜筒及15×的螺旋式测微目镜。在显微摄影时可换用直射摄影镜筒和15×的摄影目镜。照相暗盒就固定在直射镜筒上。通常，显微镜配有两个物镜及F23.2)和一个目镜。用来在明场和暗场下观察。其照明方式的改变通过旋转手柄来实现。
显微镜硬度计因为显微镜的部分，必须要固定在某个位置，不能随便搬运或携带，并且显微镜头需要日常好好保养，其使用环境的温度有非常高的要求，通常要求在温度20℃±8℃范围内，湿度应保持在≤70%范围内，严禁在滴水或者尘土的环境中使用，更不能在腐蚀气体和辐射的环境中使用。尽管环境要求苛刻，但并不影响其实际功能应用性。另外显微镜在细微部分进行精密定位的多点测量，让它的应用范围广泛，包括各种金属、表面加工层、热处理和相对塑料较硬的非金属材质等。
