玖玖骨科

文章来源：中华老年骨科与康复电子杂志

作者:张爱民1;方艳伟1;张英泽2

作者单位：医院急诊外科1；医院骨科2

关键词:成像;三维;用户计算机接口;图像处理;计算机辅助;创伤与损伤;治疗应用

摘要增强现实技术对创伤骨科的术前规划、术中引导和术后康复具有重要的意义，已逐渐成为当今研究热点。本文从配准、跟踪、显示和交互四个方面详细介绍了增强现实技术的概念，对其在国内外创伤骨科的研究现状进行了分类综述，并对发展方向和存在问题进行了初步探讨。

增强现实技术（augmentedreality，AR）是在虚拟现实（virtualreality，VR）技术基础上发展起来的图形学领域新技术，可以将依托计算机建立的虚拟模型与使用者肉眼所见到的真实场景相融合，即将虚拟场景、模型或系统信息与真实场景相叠加，从而凭借从虚拟场景中所获得的视觉系统无法获取的额外信息增强对真实场景的认识和感知[1]。AR以注册、跟踪、显示和交互为技术支撑，具有真实场景和虚拟场景的信息集成、实时交互和三维注册等三个突出特点。AR技术广泛应用于军事、医疗、教育、建筑等领域，在外科领域，AR技术利用VR技术将X线、CT、MR、PET等多模态影像三维重建后融合于患者相应的脏器位置，外科医生可以获得肉眼无法看到的脏器内部情况和与相邻器官的空间信息，强化手术的精确性和真实感，对于术前计划制定、术中引导和提高手术质量等方面均具有较大的应用价值[2]。由于解剖的复杂性和创伤的不可预见性，创伤骨科的手术难度和风险较高，AR技术在创伤骨科的有效应用将极大地提高手术成功率，但目前仍处于探索阶段，本文对AR技术在国内创伤骨科领域的应用进行了分类综述。

1一、AR的技术原理

AR技术是在VR技术基础上发展起来的，VR技术利用计算机产生虚拟场景，强调虚拟场景给人感观效果上的沉浸感，使用者可以及时、全方位地观察三维空间内的情况，以自然的方式与虚拟对象进行交互沟通，例如利用CT或MR的三维重建技术模拟真实病灶的情况，测量病变的实际大小和形状。而AR则利用图形技术、可视化技术和传感技术，将虚拟的场景准确地呈现在真实环境中，是对真实场景的补充，不改变使用者在真实场景中的客观感受，使用者通过各种方式与虚拟对象进行交互沟通[3]。AR技术可帮助骨科医生制定详细的术前计划，设计手术入路、骨窗范围和螺钉进入角度，如图1～3。

AR技术硬件要求相对较低，关键技术是配准的精确度和显示技术的真实感。在创伤骨科领域的基本操作步骤为：通过X线、CT或MR等采集骨折处的解剖信息，利用VR技术形成虚拟模型图像，将虚拟图像与内固定器材等真实图像精确配准，并在手术过程中实时跟踪显示。本文从配准、跟踪、显示和交互等四个支撑技术方面对其原理进行介绍。

（一）配准技术

要实现虚拟和真实物体的精确重叠，需将虚拟物体重现在真实物体的准确位置，即配准技术[4]。如果缺乏准确地配准技术，虚拟场景可能会漂浮在真实场景之外，因此配准对AR技术至关重要，见图4～6。采用基准点配准法，通过对肢体的DR图像灰度对比度的调整，得到清晰的皮肤和骨骼边缘线，利用三点决定一个平面的原理进行配准，将两幅图像中的皮肤和骨髂边缘线用一系列的蓝点和红点标注出来，利用专用的计算软件使合成后的图像蓝点线和红点线重合，即将光学图像的皮肤边缘和X线影像的皮肤边缘匹配。

（二）跟踪技术

跟踪技术主要是实时显示病变部位和手术器械位置变化情况，要求范围大、精确度高，目前主要是通过机械式、磁力式、超声式和光学式位置传感器完成[5]。但这些传感器各有不足，尚不能完全满足AR技术的要求。今后的发展方向为混合式跟踪技术，相互弥补各传感器的不足从而提高跟踪效率。

（三）显示技术

AR的显示技术分为基于计算机屏幕和基于头盔式显示器，基于计算机屏幕的显示方式在医学中最为常用，可以3D形式显示场景图像，方便使用者戴立体眼镜进行观看。头盔式显示器分为视频透视式和光学透视式，视频透视式通过安装在使用者头部的摄像机获取真实影像，并通过计算机将虚拟图像叠加在视频信号上。光学透视式则通过安装在眼前的半透半反光学合成器，看到真实场景及增强图像。但由于影响手术医师的操作及聚焦虚实影像共同平面的困难度，目前在外科领域应用极少。

（四）交互技术

利用手势识别、语音识别、力反馈设备、六自由度鼠标、数据手套及特定标志等工具，在系统中预先设定对应的动作，以便在系统识别后进行相应操作，实现术者与计算机系统之间的沟通对话，从而在复杂结构区域的手术中发挥重要作用。

2二、AR技术在创伤骨科领域应用的必要性

在创伤骨科领域，由于脊柱、骨盆和胫骨近端等部位解剖结构的复杂性，加之骨折损伤的不可预见性，手术操作中易导致神经和血管的损伤，利用AR技术进行个体化内固定物设计、模拟复位和固定效果，结合生物学内固定的理念，指导手术过程中钢板的塑形和固定螺钉的精准置放，评估手术治疗的效果，可有效提升骨折手术的安全性和精确性，缩短手术时间[6]。在脊柱手术中，AR技术可帮助手术医师完善立体概念，利用数字化技术、三维建模技术和术中导航技术，制定个体化的术前计划，降低手术的难度和风险，减少医患双方放射线的暴露[7]，在关节外科可根据关节的三维形态学信息，通过运动范围模拟、术中定位和跟踪，对选择手术入路、提高定位的精度意义重大，可结合材料学设计个性化关节假体，更符合患者的生物力学特点和运动功能，提高假体的质量和使用寿命[8]。在骨折后的康复治疗中，AR技术可以日常常规动作为基础，为康复训练提供可重复进行的目的性主动运动，有效唤醒神经元的残余功能，促使大脑对动作质量进行修正，最终恢复原有的功能并建立新的代偿，实现功能重塑从而改善肢体功能，将学习到的运动技能转移到真实环境中[9]，同时可辅助骨科教学[10-11]。

3三、AR技术在创伤骨科中的应用现状

（一）、在脊柱骨折中的应用

陈宣煌等[12]采用Mimics软件三维重建设计结合3D打印技术，设计了腰椎椎弓根螺钉置钉道和支撑柱，在手术中进行数字化导航置钉，准确率达97%，优良率达95%。樊勇等[13]采用术前计算机软件设计了截骨区域、范围，术中采用三维导航技术进行精确截骨矫形，可提高矫正胸腰椎段骨折术后继发角状后凸畸形手术的安全性，有效提高复杂脊柱畸形的治疗效果。谭海涛等[14]采用了CT连续扫描重建颈椎三维模型，设计与颈椎椎板吻合的反向模板，模拟最佳螺钉进钉通道，采用导航模板辅助置入椎弓根螺钉枚，未发现相关动脉、神经损伤并发症，认为数字化导航模板可提高颈椎置钉的准确性，增加手术的安全性。

（二）、在关节骨折中的应用

Zemirline等[15]以增强现实为基础的导航系统与腕关节镜相结合清晰显示腕关节骨折情况、位置关系和移位情况，在复杂性腕关节骨折治疗中准确提供切口位置及定位距离，手术成功率明显高于传统手术方式。张进等[16]利用薄层CT扫描进行三维建模，导入GeomagicStudio和GeomagicSpark进行反求及正向设计，用3D打印技术制作出经皮导板，精准定位后对肩关节伤病患者进行穿刺活检，实现了肩关节周围的精准穿刺。章莹等[17]采用CT三维重建、快速成形、三维模拟手术和个体化预手术的基础上辅助实施肩关节骨折手术治疗，认为可缩短骨折复位固定时间，提高手术的精确度。

（三）、在骨盆骨折中的应用

庄岩等[18]针对髋臼后柱解剖结构个体差异大的特点，依据正常侧髋臼CT数据进行三维重建，测量股骨头直径、髋臼后壁、近端和远端3段曲率半径，基于此结果设计出3种解剖型接骨板，较传统接骨板设计更为合理。张元智等[19]利用CT三维重建和逆向工程技术，对志愿者标准骶骨前后位进行多层剖分，确定经皮横向骶髂关节螺钉最优钉道，治疗骶骨纵行骨折患者12例，未发生血管、神经损伤和螺钉松动等并发症。韦葛堇等[20]对复杂骨盆骨折患者行CT扫描重建骨折数字化模型，模拟骨折复位，与螺钉、钢板等内固定器材拟合，建立数字化骨盆虚拟手术设计系统，个体化设计复杂骨盆骨折手术方案，使内固定器材的植入更加准确和直观。

（四）、在长骨骨折中的应用

屠永刚等[21]对胫骨骨折处及对应健侧骨骼处采用CT薄层扫描获得原始数据，采用镜像技术、成型技术和数控模具工程技术，根据患者骨骼及骨折的个体化差异设计出数字化接骨板，治疗胫骨干骺端合并胫骨干复杂骨折10例，患者踝关节和膝关节功能恢复满意。童德迪等[22]采用术中即时三维计算机导航辅助吻合血管的腓骨移植术治疗股骨头缺血坏死，用注册过的磨钻清除囊变病灶及硬化骨，磨除过程在计算机显示屏实时监控下完成，可彻底、精确地清除病灶，为保留关节提供了新的术式。林海滨等[23]对股骨远端骨折患者予以三维重建、骨折复位，3D打印后进行现实骨骼模型内固定，然后导航放置接骨板及螺钉，结果显示术前设计与现实手术实施效果相似度极高，可以精确地指导接骨板放置和螺钉固定。

4四、AR技术的发展与局限性

AR技术在骨科领域的最终目标是将计算机生成的虚拟场景与术者所处的真实场景进行有机结合，通过软硬件系统的协调作用，使术者以自然的方式在虚拟和真实场景中进行三维交互，术者能够精准地计划与模拟手术步骤，使手术更加精准、微创，降低手术对全身内环境的干扰和造成的局部创伤，减少术中医患双方接受的放射剂量，提高手术治疗的效果，使骨科手术的治疗效果呈现质的飞跃，AR技术代表了今后骨科的发展方向，必将对骨科的发展产生深远的影响，是精准骨科不可或缺的基础条件。

创伤骨科中由于创伤的不可预见性及复合伤的复杂性，使AR技术的应用显得尤为重要，目前的研究多列入国家和省部级科学基金项目，充分说明国家对AR技术的重视与大力投入。在国内创伤骨科领域，目前研究多集中于利用CT、MR影像进行虚拟现实的三维重建，然后利用AR技术进行3D打印模型的创建，或先打印出实际骨折部位，利用AR技术进行模拟手术操作，从而获得更加真实的手术感受，可大幅降低手术风险。但目前研究多集中于虚实配准和可视化两部分，在跟踪和交互部分涉及较少，研究问题相对单一，涉及面较窄。此外，AR技术在创伤骨科仍处于研究发展阶段，远不能满足临床需求，需进一步完善软硬件性能，虚实场景之间配准误差、骨折复位时移位跟踪问题、术者与系统之间的交互问题仍旧困扰着临床和科研工作者。总之，AR技术在创伤骨科具有广阔的发展前景，但仍有漫长的道路需要前行。