人体解剖虚拟仿真系统的设计开发研究虚拟现实技术应用在医学领域已经得到越来越多的关注2016年,全球知名市场研究公司(TMR)关于《医疗市场中的虚拟现实(VR)》的调查报告指出[1],医疗行业对VR技术的认识显著提高,患者治疗和医疗服务方法的维度变化正推动医疗市场采用虚拟现实工具近年来,随着虚拟现实设备功能的不断完善和技术手段的不断发展,VR与医疗行业结合形成的虚拟仿真系统越来越多,其应用在虚拟手术、医疗教学等方面具有一定优势,以VR推动医疗产业变革升级的浪潮不断兴起但国内已有研究和开发的案例普遍存在器官内部结构不完整、沉浸性不足等问题因此,开发高沉浸性的人体解剖虚拟仿真系统具有较强的学术价值和实践价值1、人体解剖虚拟仿真系统的设计人体解剖虚拟仿真系统经过精心设计,内容设置紧贴系统解剖学教学大纲,是一款针对医学生学习人体系统解剖的辅助教学软件系统利用VR技术开发系统[2],对医学对象进行三维模型设计与构建,创设虚拟学习情境,辅以文字、图片等补充信息,使系统预设的学习内容可以高精细度呈现,再结合人机交互设备,学生可以轻松、自由地漫游在系统的虚拟场景中,全方位的沉浸在学习内容中,高效完成既定的学习目标。
1.1硬件环境搭建方案人体解剖虚拟仿真系统在PC端运行,将VR头盔与PC端显示器连接,打开系统软件,进入虚拟解剖实验室,实现交互式学习该系统主要由计算机、输入、输出设备等构成学习者若要进入虚拟医疗世界,必须以计算机为中心,通过输入、输出设备实现与软件系统的交互,如图1所示图1硬件系统搭建方案虚拟现实医疗解剖是将现代医学知识与虚拟人体相结合,在VR场景中实现沉浸效果的过程VR头盔与PC端相连,可以接收实时数据,通过控制手柄来进行所需操作,不仅可以细致观察,而且会有详细的文字解释在虚拟场景中操控人体,进行解剖,给人身临其境之感1.2模块及功能设计该系统主要由4个模块构成,分别是人体结构展示系统、典型案例实训系统、典型案例展示系统和自主解剖学习系统(如图2所示)人体结构展示系统即人体八大系统的详细结构展示,在每个系统下,具体器官、骨骼等通过控制手柄,均可详细观察在典型案例实训系统下,用户通过反复实训,直到能够熟练完成一项手术,最终运用于现实手术典型案例展示系统通过展示有风险、有难度、难以理解的典型手术案例,直观地将手术全过程展示给使用者,让使用者在手术前做好充分的准备自主解剖学习系统让用户自主练习,获得理性感知,体验手术和解剖全过程。
图2“人体解剖系统”模块设计1.3用户界面设计1.3.1系统图标设计系统图标以蓝色为主题色,给人以强大的视觉冲击力图标上的人体头骨是人体解剖学的典型代表,用户可以明确系统开发的直接目的从深蓝色背景到浅蓝色头骨,色彩层层递进,十分具有立体感如图3所示图3系统图标设计1.3.2主界面设计系统主界面以蓝色系为主色调,与系统图标相对应医师形象和各种医学标志为背景并辅以虚化,表现医学主题,突出系统的意义界面中央即系统名称,白色字体凸显医学的庄重,加以字体发光,吸引用户注意力鼠标点击“进入学习”按钮进入系统此时会有一段时间的缓冲,在头盔中,学习者便进入虚拟实验室界面设计如图4所示图4人体解剖虚拟仿真系统主界面设计1.3.3虚拟场景设计虚拟实验室是以现实世界中真实的实验室环境为基础搭建,用户可缓慢转动头部进行四周环境的观察场景中有一套真实人体模型,用户旋转手柄即可看到人体全貌在右侧操作台用操作手柄点击不同按钮,会有人体骨骼模型、肌肉模型、各器官模型等展现在眼前,即可观察人体八大系统在具体模型上,用户可通过手柄任意角度旋转仔细观察虚拟场景真实地还原了学习场景,营造学习氛围,深入虚拟的人体内部进行观察,有利于学生深刻记忆人体结构。
1.4系统特色人体解剖虚拟仿真系统应用硬件系统和穿戴设备,结合VR特性,建立全三维的医疗虚拟环境在系统中导入完整的3D人体结构后,手持终端者可在完全的虚拟场景中通过动作控制器对人体模型进行拾取、旋转、隐藏和复原等交互操作在虚拟解剖实验室中,从学习者的使用角度,可以看到一个完整的虚拟人体,且360°任意视角观察当观察内部组织时,学习者利用控制手柄根据个人需要,逐块拆分人体组织,使组织下的每一条神经、血管都可以暴露出来,便于学习者观察与学习;还可以将拆分出的器官移至学习者眼前,观察完毕后,一键复位,器官就会回到原来的位置2、人体解剖虚拟仿真系统的开发2.1模型构建该系统的展现需以模型来填充三维模型主要利用次世代3D建模技术进行前期制作,使用次世代3D建模技术,具有精确度高、真实性强的特点首先根据二维原画设定制作中模,导进雕刻软件ZBrush进行高模雕刻,再进行拓补低模(即医学模型);其次展分模型的纹理贴图坐标,利用烘焙软件xnormal进行烘焙,即将高模细节烘焙到低模上面;最后绘制贴图,并在引擎中调整;最终学习者在场景中能感受到最逼真的效果2.2功能实现人体解剖虚拟仿真系统使用Unity3D进行开发。
在系统进行设计和模型的构建后,需要与以下的设备和技术相结合,完成功能的具体实现2.2.1HTCVive平台HTC与Valve联合开发了一款VR头显产品—HTCVive[3],在技术和先进设备的支持下,用户在平台上可以体验虚拟现实游戏人体解剖虚拟仿真系统应用该设备,使学习者通过佩戴VR头显,进入虚拟手术室观察人体各个器官、神经元、心脏、大脑等,并进行相关临床试验[4]2.2.23D渲染技术在医学教学中,学生反复地揣摩标本是人体解剖教学实习中最为重要的一步,学习和教学过程中不可或缺的就是实物标本和图谱但图谱显示是二维结构,不能较好地展示人体器官结构的空间位置和毗邻关系而3D渲染技术的实时性与逼真度可以完美展现人体结构,用户体验感极佳使用者在对虚拟人体结构进行隐藏、透明、彩块、拆解、拆分、放大、缩小、切面观察等操作时,该技术可以迅速、及时地渲染图像,不会出现图像与操作不同步或卡顿的现象2.2.3其他技术人体解剖虚拟仿真系统还运用到真实感实时绘制技术以及人机交互技术真实感”主要体现在几何、行为和光照真实感三方面实时”即对运动对象的位置和姿态能实时捕捉人机交互技术则是通过控制手柄和眼动跟踪定位人体器官,从而将人体器官的知识点呈现出来,以达到学习的目的。
3、系统应用评价在完成人体解剖虚拟仿真系统设计与开发的基础上,项目组搭建了基于HTCVive的软、硬件运行环境来测试系统运行质量硬件方面,将两个定位器、VR眼镜和操作手柄按照安装步骤进行配置安装,满足进入学习的基本硬件需求;软件方面,首先,在PC端安装Steam软件并注册,下载软件内部的SteamVR进行安装;其次,将assetstore中的SteamVRPlugins插件导入unity中,设置playersettings中VirtualRea-litySupported可选,并添加VirtualRealitySDKs为OpenVR;最后,运行系统项目,查看VR眼镜中是否可见内容、定位器是否正确、手柄是否可用等,并测试系统运行的流畅性为了验证该系统的设计与开发质量,项目组开展了为期2个月的系统使用评价研究:①邀请了6名领域专家和教育技术专家参与专家评价;②以徐州医科大学临床医学专业80名学生为研究对象,进行教学应用及效果评价3.1专家评价该研究邀请1名教育技术专家、2名医学教育专家、3名高校医学专业教师,对该系统的内容、形式和价值进行评价在专家对系统进行相关的了解以及实际操作后,填写“人体解剖虚拟仿真系统专家评价表”。
该表主要采用李克特三点量表计分,即“良”记5分,“中”记3分,“低”记1分专家评价结果显示,该系统的整体评分为(4.57±0.25),其中系统内容得分为(4.20±0.42),专家认为该系统与教材内容紧密贴合,内容比较丰富,科学性强,对于可操作性内容设置精细,有利于学习效果提升系统形式得分为(5.00±0.00),专家认为采用三维立体化形式的教学材料能够培养学生的抽象思维,这比仅仅依靠平面化的书本形式更加吸引学生系统价值得分为(4.60±0.13),专家认为该系统一方面能够有效支撑医学教学,拓展学生的视野、丰富知识;另一方面有助于提升学生的动手能力,对于学生以后的真实实际操作十分有必要3.2学生评价该研究邀请了80名临床医学专业在校本科生参与试用学生首先学习HTCVive虚拟仿真硬件和软件系统的运行原理;然后佩戴头盔,运用操作手柄进行体验;进入系统开始正式学习;学习完毕后,采用问卷调查法对学生进行满意度调查问卷内容包括系统的“有用性”“易用性”“满意度”三个方面,调查学生对该系统的应用反馈问卷采用李克特四点量表计分:设置选项A表示非常同意,计4分;选项B表示同意,计3分;选项C表示不同意,计2分;选项D表示非常不同意,计1分。
调查结束后,又随机选取了5名学生,进行1对1的访谈调查结果显示,学生认为该系统具有极强的应用价值(3.41±0.61):①有用性得分为(3.64±0.61),学生认为虚拟场景中的三维立体模型有利于新知识的学习,使学习内容更加容易理解,比教师在课堂上依据书本讲授更加有趣如李学生说:戴上头盔进入场景就不再受到外界干扰,沉浸性很强,里面的模型也很真实,有些甚至在课堂上教师都没有提过②易用性得分为(2.98±0.75),学生认为进入虚拟环境需要戴上头盔有些不便尤其是佩戴眼镜的学生感觉戴上头盔后有些不适如孙学生说:学习的前期步骤比较多,如需戴上头盔,拿着手柄虽然进入场景后十分有趣,但是对于第一次使用这些设备还是不太适应的③满意度得分为(3.52±0.49),学生对立体化的学习模型的使用比较满意,认为和书本教材相比,立体化形式更具有趣味性、更贴近真实生活如赵学生认为,立体化模型丰富、真实,他想继续使用,希望学校也会有这种系统来帮助自己和学生掌握更多知识与此同时,专家和学生也针对系统提出了一些改进建议:目前的内容模块并未涵盖医学解剖知识所有体系,需要进一步扩展知识内容,完善系统功能;部分内容和呈现方式还需要进一步细致、优化,互动效果也有待提升。
4、结束语人体解剖虚拟仿真系统操作简单,不仅能观察人体的宏观结构,如骨骼、器官等,也能观察血管、神经、淋巴等微观结构虚拟现实技术应用于医学生临床教学具有十分重要的作用当然,人体解剖虚拟仿真系统还处于发展阶段,在互动效果、模型逼真程度等方面仍存在不足,需要在后期的研究及制作中进一步完善参考文献：[1]莫人英.TMR发布VR医疗市场报告:医疗服务变化推动虚拟现实工具的应用[EB/OL].[2]邓晓军,秦向阳,高鹏,等.虚拟现实技术在医学教育中的应用[J].重庆医学,2017,46(18):2582-2584[3]杨亮.迎来一个新世界HTCViveVR开发版头盔[EB/OL].[4]郑毅刚.ZOL北京线下初体验HTC虚拟现实ViveVR[EB/OL].钱静,朱清懿,耿云,胡永斌.人体解剖虚拟仿真系统的设计与开发[J].中国医学教育技术,2020,34(03):318-321.基金:江苏省大学生创新创业训练计划重点项目“人体虚拟解剖系统的设计与开发研究”(201810320084Z).。