时间:2023-09-25 11:40:15
序论:写作是一种深度的自我表达。它要求我们深入探索自己的思想和情感,挖掘那些隐藏在内心深处的真相,好投稿为您带来了七篇医学图像诊断范文,愿它们成为您写作过程中的灵感催化剂,助力您的创作。
中图分类号:TP319 文献标识码:A 文章编号:1009-3044(2015)27-0135-01
1引言
近年来,医学影像技术已成为医疗技术中发展最快的领域之一,图像拼接(Image Mosaic)是指将多幅具有重叠区域的序列图像通过图像预处理、图像变换、图像配准、图像融合等处理后,形成一幅包含各个图像序列内容的宽视角全景图像的技术。图像拼接技术是图像处理的重要研究领域,被广泛应用于卫星遥感、图像识别、医学图像分析及无人机监视和搜索、虚拟现实等方面。Shmuel Peleg等人在图像拼接理论和图像拼接方法上做了大量工作,为图像拼接在工程技术上的应用奠定了理论基础。Masanobu Shimada等人将图像拼接技术应用于雷达图像处理领域,用于监控森林植被的变化情况。国外Mustafa Suphi Erden课题组研制了针式共聚焦显微腹腔镜,在微创手术中截取部分视频图像,拼接成全景图像指导医生诊断治疗。国内的严壮志课题组提出基于特征检测、特征匹配、空间坐标转换和图像融合等方法的图像拼接技术,实现了连续X光片拼接的医学全景成像。
现有的传统医学成像设备,特别是显微成像设备,基本都是对组织的某一较小视野进行成像,设备最后采集到的是不同组织部位的多帧医学图像,需要医生对这些图像进行观察分析,根据自身医学知识与医疗经验来做出诊断。图像拼接技术的应用,能将多幅具有重叠区域的医学图像,通过图像变换、图像配准、图像融合等方法,自动拼接为大视野的清晰图像。该图像包含完整的医学病理信息,有助于医生全面了解病人病情。同时,系统能够自动追踪图像中的感兴趣区域,做出标记和注释,为医生提供诊断辅助。
2主要研究内容及关键技术
2.1主要研究内容
本系统的研究是通过研发基于实时自动图像拼接技术的医学图像分析系统,为医学实践中,实现显微镜、眼科设备、内窥镜等设备的数字化图像采集、图像自动分析处理,从而对医生的诊断、治疗起到辅助作用。
本系统的主要研究内容有基于CMOS的图像采集、实时自动图像拼接技术。
(1) 基于CMOS的图像采集
基于CMOS的高清图像采集系统的研发,包括图像和视频采集、图像的编码技术。兼顾红外光和可见光,实现图像的多波段自适应采集。具体功能还包括自动对焦、自动识别拍照功能,以及图像采集模块在各种医疗设备使用的适应性研究。
(2) 实时自动图像拼接技术
研究图像灰度处理、图像变换、图像配准、图像融合等算法,实现多帧医学图像或视频序列的实时自动图像拼接,输出具有计算机诊断辅助功能的大视野全景医学图像。能够自动跟踪图像中的感兴趣区域并做出标识和注释。
2.2关键技术
图像的拼接技术是本设计的关键,本设计提出对采集的多帧医学图像进行实时自动拼接,提供宽角度全景图像。同时,能够自动跟踪图像中的感兴趣区域并做出标识和注释。
3 系统设计思路
3.1 图像处理模块
图像传感器模块计划采用CMOS传感器为核心做成独立硬件模块,通过高速数据线与图像处理模块连接。这样设计的优点在于模块可以根据不同的应用场合,进行合理布置。
图像编解码和图像处理模块的方案计划采用TI的soc方案。该方案可以完成图像编解码、图像处理功能。
3.2实时自动图像拼接技术研究
图像拼接的核心技术是图像配准,关键在于准确找到相邻图像间重叠区域的位置及范围,进而通过图像融合的方法实现全景图像构建。图像配准通常有三类方法:基于灰度值的图像配准、基于变换域的图像配准和基于特征的图像配准。基于灰度值的图像配准方法实现方便,计算量小,但该方法对图像间的细微差别较敏感,抗干扰能力不强。基于变换域的图像配准可以缓解这个问题,且算法简洁,利于硬件的实现。不过该方法要求两幅图像的重叠区域不能少于50%,如果重叠区域过小,容易造成误配准。为了提高图像配准的精确度和速度,达到实时自动图像拼接的功能,本设计提出将基于灰度的网格配准和基于特征值配准相结合的方法。首先,对输入图像进行粗网格的分块处理,利用基于灰度的配准方法确定相似重叠区域。然后在重叠区域内进行基于SIFT(Scale-invariant feature transform)特征点提取和配准,这样就可以大大提高图像配准的速度。图像拼接算法的流程如图1所示。
4 结论
本文探讨了基于实时自动拼接技术的医学图像处理系统的主要技术和设计思路,有了自动的图像拼接技术,就能将多幅具有重叠区域的医学图像,通过图像处理的方法,自动拼接为大视野的清晰图像,为医生的诊断提供参考。
参考文献:
[1]马玉琨,张志霞. 图像拼接技术在医学诊断中的应用研究[J].软件导刊,2014(5):169-171.
[关键词] 医学图像融合技术;肿瘤;放射治疗
[中图分类号] R730 [文献标识码] A [文章编号] 1674-0742(2015)11(b)-0196-03
[Abstract] Objective To discuss the application effect of medical image fusion technology in cancer radiotherapy by takeing CT-MRI image fusion technology as an example. Methods 50 patients with prostate cancer admitted to this hospital from January 2013 and January 2014 were included. They all underwent CT and MRI scanning. We compared CT image and fusion image in determining the target volume and radiation dose. Results The tumor volume was 72.45cm3 on the CT image and 51.12cm3 on the CT-MRI fusion image, and the area of target tumour cells determined by the CT-MRI fusion image was precise than that determined by CT image. Calculation results of dose of radiation to the bladder and rectum showed that the minimum radiation dose and maximum radiation dose of the fusion image were both smaller than that of the CT image, and the difference was statistically significant,(P
[Key words] Medical image fusion technology; Tumor; Radiotherapy
医学图像融合技术[1]作为当代科技与医学影像相结合的计算机信息融合工程,为临床肿瘤诊断、治疗提供多模态图像,为医学诊断提供了更确切的医学信息。医学图像融合技术最重要的应用领域在于肿瘤的放射治疗,通过各种模态医学图像的融合,准确勾勒出肿瘤靶区轮廓,使肿瘤放射治疗更加精准和有效[2]。该文将通过对该院2013年1月-2014年1月收治的50名前列腺癌症患者,应用CT―MRI融合技术确定前列腺癌强调放疗靶区,综合分析、探讨医学图像融合技术在肿瘤放射治疗中的应用效果,现报道如下。
1 资料与方法
1.1 一般资料
整群选取该院2013年1月-2014年1月收治的前列腺癌症患者50名为研究对象。病例年龄5678岁,平均年龄(65.32.2)岁。所有患者经医学图像及病理学检查符合前列腺癌的临床诊断标准,癌症病程情况为T2bT3a期21例,T3bT4期9例。
1.2 方法
1.2.1 扫描方法 所有患者检查当天清晨保持空腹状态。医学图像扫描前1 h饮用1.5%泛影葡胺水(金陵药业股份有限公司浙江天峰制药厂,生产批号:国药准字H33021004),扫面前15 min肌肉注射15 mg盐酸山莨菪(国药集团容声制药有限公司,生产批号:国药准字H41023400)。由本科专业医师操作行CT扫描,扫描范围从第3腰椎至坐骨结节下缘约 5 cm。患者于第二天CT扫描时间短进行MRI扫描,扫描前1 h喝800 ml温开水,其他操作与CT扫描一致。
1.2.2 放疗靶区勾画 运用图像配准软件对CT扫描及MRI扫描图像进行配准,并将配准图片传入放疗计划系统,根据CT及CT-MRI融合图像勾画患者前列腺、精囊的体积,并勾画出膀胱、直肠、股骨头周围的正常组织。对勾画的肿瘤体积进行化疗,化疗剂量根据照射体积计算。比较患者CT图像与融合图像放疗靶区体积大小,以及各部位的照射剂量。
1.3 统计方法
采用SPSS18.0统计学软件进行数据处理,计量资料采用(x±s)表示,行t检验,P
2 结果
2.1 肿瘤体积勾画体积比较
50例患者采用CT图像勾画的肿瘤体积为(72.45±2.35)mm3,采用CT-MRI融合图像勾画的肿瘤体积为(51.12±2.12)mm3,CT-MRI融合图像确定的肿瘤靶细胞范围更加精准。差异具有统计学意义(t=6.424,P
2.2 放疗照射剂量比较
对膀胱、直肠等部位的照射剂量选择上,CT图像技术的放疗最小照射量为与最大照射量均大于CT-MRI融合图像的放疗照射剂量,(详见表1)。采用CT图像与CT-MR融合技术,两组数据比较:膀胱最小照射剂量,差异有统计学意义(t=5.456,P
3 讨论
3.1 医学图像融合技术的应用讨论
3.1.1 几种主要的医学图像融合技术 目前临床成像设备主要有CT、MRI、SPECT、PET等[3],为临床提供多模态的医学图像。图像融合技术在放疗中的应用主要有:①CT与MRI融合。CT图像应用于肿瘤放疗中对高密度组织比较敏感,图形稳定不易发生变形的优点,但对软组织边界显示不清晰[4]。MRI图像则提供了较高的空间分辨度,对浸润性肿瘤软组织更加敏感,能清晰显示图像的边界。二者的融合对某些特殊部位,如脑部、前列腺要求精度更高的靶区位置时,图像融合就起到了互补作用,可以帮助医师确定肿瘤边界。②CT与MRSI融合[5]。在胶质瘤的放疗中,MRI图像技术对肿瘤的局部控制和复发控制效果不明显。MRSI技术相比于MRI技术能更加清楚显示肿瘤位置及形状,还可以同时显示代谢水平的有关信息。CT与MRSI融合能提高部分肿瘤的控制效果。③ CT与PET融合[6]。肿瘤细胞具有增殖快、转移速度快的特点,PET可以根据失踪化合物在组织内的浓度,对比肿瘤细胞的增殖及代谢水平。PET显示的活性肿瘤区域图像与CT图像图像融合技术可提高图像对肿瘤病灶的敏感性和特异性,有助于指导精确肿瘤化疗区域与化疗药物的剂量控制。
3.1.2 医学图像融合技术操作步骤 第一,预处理。医学图像预处理是对选定的图像信息进行增强对比度、噪声去除、统一图像大小、格式、分辨率,对感兴趣区域进行分割等各项处理[7]。
第二,图像配准。配准首先应选择适合的图像特征量进行图像特征提取;再根据图像的特征量确定几何变换,以相似性测度函数检验所选图像与参考图像的相似程度,并通过改变参数使测度函数值达到最优,最后执行整体变换。
第三,创建融合图像。首先应进行图像数据的融合,以图像为基础的融合是通过各种图像预处理方法使图像最终呈现的效果达到最佳,以像素为基础的融合即尽量提高图像清晰度。完成图像数据融合后,最终通过伪彩色显示法、断层显示法和三维显示法等显示方法使临床医师能够通过直观的图像进行疾病诊断。
3.2 该次研究结果讨论
医学图像融合技术使传统化疗计划的确定摆脱了单一模态数据指引,以不同图像技术的优点弥补不同技术存中在的不足,具有广泛的临床应用价值。医学图像融合技术应用于肿瘤放射治疗,可确定肿瘤分布位置,有效提高诊断准确性与灵活性,对恶性肿瘤的控制与提高患者生存率具有重要意义。
该次研究中采用CT-MRI融合图像确定前列腺癌强调放疗靶区的应用中,可以看到,CT图像勾画的肿瘤体积为(72.45±2.35)mm3,采用CT-MRI融合图像勾画的肿瘤体积为(51.12±2.12)mm3,CT-MRI融合图像确定的肿瘤靶细胞范围更加精准。另外,肿瘤靶细胞区域的体积大小与放疗照射剂量密切相关,放疗区域确定越大,使用的放疗剂量越多,对患者身体造成的危害更大。CT-MRI融合图像放疗剂量明显少于CT图像,化疗的毒副作用更少。该次研究与胡玉兰等[8]关于CT-MRI融合图像确定前列腺癌放疗靶区的结果具有一致性,认为可以利用图形融合技术进行靶区勾勒,以减小误差。
综上所述,医学融合技术在肿瘤放疗中已有广泛应用,各种医学显像技术取长补短,提高了诊断的灵敏度和准确性。
[参考文献]
[1] 李兴波,陈炀,叶岭,等.医学图像融合技术在肿瘤放射治疗中的应用分析[J].中国卫生产业,2013,10(31):105-106.
[2] 赵琦,钱永红,王琨,等.CT、MRI 图像融合技术在头部肿瘤放疗中的应用[J].中国医师杂志,2014(z2):163-164.
[3] 宋永浩,夏海波,周诚忠,等.CT/MRI图像融合在骨转移瘤放射治疗中的应用和价值[J].现代肿瘤医学,2015,23(3):412-144.
[4] 金烁.医学图像配准技术的研究及其在放射治疗PET-CT系统中的应用[D].济南:山东大学,2013.
[5] 李凯,苏中振,郑荣琴,等.三维超声-CT图像融合评价肝癌消融安全边界[J].中华超声影像学杂志,2012,21(8):719-722.
[6] 吕宗烨.常规超声、CT检查及超声/CT融合成像对肾肿瘤诊断价值的对比研究[D].济南:山东大学,2014:21.
[7] 张德智,梁萍.肝脏超声图像融合技术的应用进展[J].中华医学超声杂志:电子版,2014(5):375-377.
医学图像处理技术包括很多方面,本文主要介绍分析图像分割、图像配准和融合以及伪彩色处理技术和纹理分析在医学领域的应用和发展。图像分割就是把图像中具有特殊涵义的不同区域分开来,这些区域使互不相交的每一个区域都满足特定区域的一致性。它是图像处理与图像分析中的一个经典问题。目前针对各种具体问题已经提出了许多不同的图像分割算法,对图像分割的效果也有很好的分析结论。但是由于图像分割问题所面向领域的特殊性,至尽尚未得到圆满的、具有普适性的解决方法[2]。
图像分割技术发展至今,已在灰度阈值分割法、边缘检测分割法、区域跟踪分割法的基础上结合特定的理论工具有了更进一步的发展。比如基于三维可视化系统结合FastMarching算法和Watershed变换的医学图像分割方法,能得到快速、准确的分割结果[3]。图像分割同时又是进行三维重建的基础,分割的效果直接影响到三维重建后模型的精确性,分割可以帮助医生将感兴趣的物体(病变组织等)提取出来,帮助医生能够对病变组织进行定性及定量的分析,从而提高医生诊断的准确性和科学性[4]。
如何使多次成像或多种成像设备的信息得到综合利用,弥补信息不完整、部分信息不准确或不确定引起的缺陷,使临床的诊断治疗、放疗定位、计划设计、外科手术和疗效评估更准确,已成为医学图像处理急需解决的重要课题。医学图像配准是通过寻找某种空间变换,使两幅图像的对应点达到空间位置和解剖结构上的完全一致。要求配准的结构能使两幅图像上所有的解剖点,或至少是所有具有诊断意义以及手术区域的点都达到匹配[5]。目前医学图像配准方法有基于外部特征的图像配准(有框架)和基于图像内部特征的图像配准(无框架)两种方法。后者由于其无创性和可回溯性,已成为配准算法的研究中心。基于互信息的弹性形变模型也逐渐成为研究热点。
互信息是统计两个随机变量相关性的测度,以互信息作为两幅图像相似性测度进行配准基于如下原理:当两幅基于共同的解剖结构的图像达到最佳配准时,它们对应的图像特征的互信息应为最大[6]。图像配准是图像融合的前提,是公认难度较大的图像处理技术,也是决定医学图像融合技术发展的关键技术。近年来国外在图像配准方面研究很多,如几何矩的配准、利用图像的相关系数、样条插值等多项式变换对图像进行配准。国内研究人员也提出了一些相应的算法:对于两幅图像共同来估计其正反变换的一种新的图像配准方法,称为一致图像配准方法;采用金字塔式分割,进行多栅格和多分辨率的图像配准,称为金字塔式多层次图像配准方法;为了提高CT、MRI、PET多模态医学图像的三维配准、融合的精度,还可以采用基于互信息的方法[7]。
在图像配准方面,在努力提高配准精度的同时,目前提出的多种方法都尽量避免人工介入,力求整个过程自动化,其结果导致实现算法的过程复杂而耗费时间,文献[5]已进行研究,试图实现基于人机交互的快速图像配准策略,同时根据图像的不同成像模式选择合适的配准测度也十分重要。不同的医学图像提供了相关脏器的不同信息,图像融合的潜力在于综合处理应用这些成像设备所得信息以获得新的有助于临床诊断的信息。利用可视化软件,对多种模态的图像进行图像融合,可以准确地确定病变体的空间位置、大小、几何形状及它与周围生物组织之间的空间关系,从而及时高效地诊断疾病,也可以用在手术计划的制定、病理变化的跟踪、治疗效果的评价等方面。在放疗中,利用MR图像勾勒画出肿瘤的轮廓线,也就是描述肿瘤的大小;利用CT图像计算出放射剂量的大小以及剂量的分布,以便修正治疗方案。
在制定手术方案时,对病变与周围组织关系的了解是手术成功与否的关键,所以CT与MR图像的融合为外科手术提供有利的佐证,甚至为进一步研究肿瘤的生长发育过程及早期诊断提供新的契机。在CT成像中,由于骨组织对X线有较大的吸收系数,因此对骨组织很敏感;而在MR成像中,骨组织含有较低的质子密度,所以MR对骨组织和钙化点信号较弱,融合后的图像对病变的定性、定位有很大的帮助[8]。由于不同医学成像设备的成像机理不同,其图像质量、空间与时间特性有很大差别。因此,实现医学图像的融合、图像数据转换、图像数据相关、图像数据库和数据理解都是亟待解决的关键技术[9]。对一幅黑白图像,人眼一般只能辨别出4到5比特的灰度级别,而人眼能辨别出上千种不同的颜色。针对这一特点,人们往往将黑白图像经过处理变为彩色图像,充分发挥人眼对彩色的视觉能力,从而使观察者能从图像中取得更多的信息,这就是伪彩色图像处理技术。
医学图像大多是黑白图像,如X、CT、MRI、B超图像等。经过伪彩色处理技术,即密度分割技术,提高了对图像特征的识别。通过临床研究对X线图片、CT图片、MRI图片、B超图片、电镜图片均进行了伪彩色技术的尝试,取得了良好的效果,部分图片经过处理后可以显现隐性病灶。例如对X线图片,在乳腺照影中伪彩色处理能鉴别囊性病、良性和恶性肿瘤,同样,钡餐照影图片和各种X线图片也得到良好的诊断效果[10]。纹理是人类视觉的一个重要组成部分,迄今为止还难以适当地为纹理建模。为此有关专家进行了大量的探索研究,但未能获得有关纹理的分析、分类、分割及其综合的有效解释[11]。
有研究针对肝脏疾病难以根除、危害面广的问题,采用灰度梯度共生矩阵的方法,分别提取纤维化肝组织和正常肝组织的CT图像的纹理特征,提出了基于灰度梯度共生矩阵的小梯度优势、灰度均方差、灰度熵等参数作为图像的纹理特征量。通过选取的纹理参数,可以看到正常组和异常组之间存在显著性差异,为纤维化CT图像临床诊断提供了依据[12]。
2三维医学图像的可视化
三维医学图像的可视化通常是利用人类的视觉特性,通过计算机对二维数字断层图像序列形成的三维体数据进行处理,使其变换为具有直观立体效果的图像来展示人体组织的三维形态。三维医学图像可视化技术通常分为面绘制和体绘制两种方法。体绘制技术的中心思想是为每一个体素指定一个不透明度,并考虑每一个体素对光线的透度、发射和反射作用。医学数据的可视化,已成为数据可视化领域中最为活跃的研究领域之一。实现三维数据可视化的方法很多,空间域方法的典型算法包括:射线投射法、足迹法、剪切-曲变法(目前被认为是一种速度最快的体绘制算法)等;变换域方法的典型算法有频域体绘制法和基于小波的体绘制法,其中小波的体绘制技术显现出较好的前景[13]。
以上可以利用的三维可视化软件有AVS、Analyze、amira、3Dslicer等,其中Analyze是专为生物医学图像的研究而开发的图像可视化软件。利用二维断层数据进行三维重建,可以更为直观地显示人体器官的各个解剖结构的形态及它们之间的毗邻关系,为基础研究和手术规划及手术过程模拟提供参考。鼻部是人体内解剖结构比较复杂的部位之一,可以利用3DSlicer来尝试实现鼻部部分解剖结构的三维可视化,以此为可视化虚拟人体模型的建立探索一种精确的重建方法和显示手段,同时也可为医疗工作者提供更为细致、完全和快捷的观察方案[14]。
随着互联网技术不断发展,跨越空间限制的远程虚拟现实技术已经逐步成为可能。基于虚拟现实技术利用美国国家医学图书馆VHP(VisibleHumanProject)完整数据重建可视人体,综合VTK、VRML、OperGL等可视化平台的优势,采用三维互动、空间电磁定位、立体视觉等虚拟现实技术,实现了全数字可拆装人体骨骼的本地和远程互动学习。三维虚拟现实让“遨游”人体世界成为可能,可以呈现一个物理上并不存在但又实实在在“看得见”、“摸得着”的“真实”人体,使用者可以无数次地“解剖”这个虚拟人以了解人体的结构[15]。在临床方面,提出了一种用AVS/Express开发的基于PC的LeFortI手术模型系统原型。
利用AVS/Express大量预制的可视化编程对象模块,快速构建系统的结构框架和功能模块,生成的原型能对以DICOM(DigitalImagingandCommunicationsinMedicine)格式存储的颅颌面CT序列断层图像进行预处理,并进行三维重建,在交互式操作环境中,显示颅颌面各种组织的解剖结构,进行相应的三维测量,模拟LeFortI手术的截骨头,对截骨段实行任意的平移颌旋转[16]。
在体视化方面一直致力于提高重建速度(实时显示利于交互操作),使重建效果理想,减少冗余信息及存储空间。具体需要考虑:1)不完全数据提出一个足够精确的数据提取方案2)什么算法能够快速准确地实现图像重建。人体器官是一个高精度庞大的结构,所建模型还应考虑临床实用方面的因素以及某些特殊部位的个体差异,针对不同的生理组织应采用不同的分割方法[17]。3针对PACS的图像压缩PACS(PictureArchivingandCommunicationSystem,图像存档及通信系统)是近年来国内外新兴的医学影像信息技术,是专门为医学图像管理而设计的,包括图像获取、处理、存储、显示或打印的软硬件系统,是医学影像、数字化图像技术、计算机技术和网络通信技术相结合的产物。显然,计算机网络是PACS的重要组成部分,它负责提供底层图像传输服务,是PACS的软硬件基础,正是通过各个层次的网络才将PACS中的图像获取、存储显示以及医疗数据的管理等单元连为一体,使之形成一个统一、高性能的系统。
PACS需要解决数据传输和图像存储的问题,如何利用有限的存储空间存储更多的图像,医学图像压缩是关键的技术之一。医学图像数据量是非常惊人的,建立PACS的许多技术困难都与之有关,如图像的存储、传输、显示等。从图像压缩还原的角度出发,图像压缩方法可分为无损压缩和有损压缩两大类,常用的无损压缩方法有差分脉冲预测编码、多级内插方法等。常用的有损压缩方法有离散余弦变换(DCT)、全帧离散余弦变换、重叠正交变换(LOT)、自适应预测编码和神经网络法等,近年来又出现了分形和小波变换编码[18]。如何对医学图像进行压缩,是近年来图像处理技术中的一个重点研究的问题[19]。
医学图像的压缩无疑是减低应用系统成本,提高网络传输效率,减少存储空间的一个重要途径。DICOM作为医学图像与通信的重要标准,加入了对图像压缩算法的支持。目前DICOM正在研究对最新的压缩标准JPEG2000支持的可能性。随着新一代静态图像压缩标准JPEG2000的发展,小波理论在这个领域成为研究的热点,在这方面文献[20]提出了面向任务的医学图像压缩的概念。医学图像是医学诊断和疾病治疗的重要根据,在临床上具有非常重要的应用价值。确保医学图像压缩后的高保真度是医学图像压缩首要考虑的因素,现在医学图像上常常采用无损压缩,因为它能够精确地还原原图像。但是无损图像压缩的压缩比很低,一般为2~4;而有损图像压缩的压缩比可以高达50,甚至更高。
所以将这两种压缩方法在保证使用要求的基础上结合起来,在获取高的压缩质量的前提下提高压缩比。因此,医学图像被人为地划分为两个区域:1)包含重要诊断信息的区域,其错误描述的代价非常高,所以此感兴趣区域(ROIRegionofInterest)需要高重构质量的压缩方案;2)非感兴趣区域则要求达到尽可能高的压缩比,即需要在某一框架下将无损压缩与有损压缩统一起来,这也是目前医学图像研究领域的一个热点。我们的工作就集中在小波理论框架下实现面向任务的医学图像压缩,由于并非所有的小波基都适合于分解图像,所以前期工作的重点在MATLAB的仿真上,考虑到部分所选医学图像的ROI区域和非ROI区域的对比度不很理想的情况,图像分割的最优算法是考虑的一个方面。
压缩比方面在满足一般性的图像条件下针对某些特殊图像也会有相应的考虑,目前的工作是在VC平台下实现面向任务的医学图像压缩。在医学图像压缩方面,许多学者结合模式识别、计算机视觉、神经网络理论、小波变换和分形理论等探索图像编码的新途径,同时人的视觉生理心理特性的研究成果也开拓了人们的视野,给从事图像编码技术研究的学者带来了新的启迪。但随着网络技术在医学领域的广泛应用,更加细致的要求也逐渐被提出来了。
影像融合是大势所趋
“影像融合”是近来被国内医学影像界提及频率很高的一个词,7月19日,由中国医科院主办的“首届医学影像高峰论坛”在北京举行,该会议的主题即为“融合共赢”。复旦大学副校长、中华医学会放射学分会主任委员冯晓源在会议间隙接受《e医疗》专访时说:“影像医学必然要以影像为根本,但这个‘影像’不是CT、核磁等单种技术的图像,而是多种影像的融合。从目前以形态(解剖)为基础的诊断向功能诊断、分子水平诊断的发展过程中,影像融合是必经的阶段。”同样的内容,他在2012年的中华医学会放射学分会年会上也提到过。
中国医科大学附属盛京医院院长郭启勇认为,以内、外科为代表的临床学科对影像检查的依赖性日益增加;以产前诊断为代表的特殊学科对影像检查的需求认识不断加深;综合影像诊断的重要性被临床广泛认知……知识附加值在影像诊断中将日益显现。
诚然,影像对于临床有着非常重要的作用,而影像医学的发展也必须围绕临床进行,因为作为“医技科室”的影像科,其终极目的必然是为“医”提供服务。
影像融合概念的提出,与医学的发展方向有着直接的关系。未来医学的发展将朝着以预测(Predictive)、预防(Preventive)、个性化(Personalized)和参与性(Participatory)为特征的P4医学方向进行,这正在逐渐成为医学界的共识。冯晓源认为,个性化医学将是新医学模式的核心之一,而影像医学检查技术,将可能是个性化医学的核心和基础。改变诊断模式,适应新医学发展的要求,不仅能改变影像医学式微的趋势,更能让其走向具有广阔前景的康庄大道。影像融合,是大势所趋。
随着科学技术的发展,越来越多的影像检查设备开始提供标准DICOM格式的影像数据,从技术上解决了影像融合的问题。而影像学科因细分而导致的碎片化,却在阻碍着影像融合的进行。中国影像医学奠基人之一、中国工程院院士刘玉清教授一直提倡“大影像”,他呼吁所有的影像部门一起工作,把基于不同成像原理组成的图像放在一起,并在此基础上提取有用的信息进行融合。冯晓源认为,影像的融合更应该是学术上的融合,是各学科知识点在融合的图像上的呈现。他说:“影像医学应该从原来提供单纯的影像学信息――主要是形态学信息――向提供生物学信息进行转变。”
事实上,影像融合现在已经不仅仅只是影像医学的愿景,有些医院已经开始了相应的实践,中国医科大学附属盛京医院就是其中的一个先行者。目前,该院已经尝试将不同学科领域(如化学、计算机、生物工程)的人才引入影像学科,企图打造一个全新的融合影像学科。
三维重建与PACS
根据医学图像所提供的信息,可将图像分为解剖结构图像(CT、MRI、B超等)和功能图像(SPECT、PET等)。解剖图像以较高的分辨率提供了脏器的解剖形态信息,但无法反映脏器的功能情况;功能图像分辨率较差,无法提供脏器或病灶的解剖细节,但它提供的脏器功能代谢信息是解剖图像所不能替代的。由于成像原理的不同所造成的图像信息局限性,使单独使用某一类图像的效果并不理想。这就需要对影像进行包括图像融合在内的图像后处理,三维重建是其中的内容之一。
所谓图像后处理,是指对获取的图像进行处理、使之满足各种需要的一系列技术的总称,最典型的技术包括图像分割和三维重建。通过一定的图像分割操作,切除任意不感兴趣的数据集,仅保留要处理的部分。分割技术可以使医生排除无关图像的干扰,看得更清楚,自然得出的诊断结论也更准确。而三维重建则是根据一系列二维的医学图像,经过多重处理,提取不同物体的边界数据,得出物体的三维模型,并允许对模型进行显示、旋转、缩放等操作。三维模型的重构可以为医生提供多角度立体的视角,从而使医生方便、快捷地对病灶进行定量的分析和处理,提高诊疗水平和效率。
三维影像的获取有两种方式:设备获取和PACS获取,设备获取可分为CT、MR等设备自带工作站和专业的三维影像工作站。专业三维影像工作站功能强大,能够提供信息更丰富、品质更精细的三维图像,而另外两种途径获取的图像品质相对较差。
PACS作为一个获取、存储并提供调阅医学图像的综合应用平台,其看图模块能对图像进行各种二维处理,而三维处理功能并不是所有医疗信息化厂家提供的PACS产品都支持的功能。PACS可以集成三维后处理功能,这样就可以进行影像的三维重建。PACS是一个数字运行的平台,是一个更大的概念,重建后的三维影像可以通过PACS进行存储、传输和查看。
融合了三维影像后处理功能的PACS,以所获取的DICOM图像为基础,对其进行重建、分割等处理操作,使医生可以更全面地观察医学影像,从而扩充了PACS看图模块的功能,取得了更理想的诊疗效果。把图像分割和三维重建技术结合起来使用,将最大限度地发挥后处理功能。诊断医生通过医学PACS系统得到患者的图像信息,在看图模块中进行简单的处理之后,如果发现还不足以做出确切的诊断,就可以利用三维影像后处理系统先重建出患者检查部位的三维立体模型,分割操作可以去除不感兴趣的干扰部分,各种旋转平移操作可以给医生更多的信息,最终做出合理的诊断。
综上所述,三维影像后处理系统处理的影像来源主要是PACS,各方面都要得到PACS的良好支持,既可以成为PACS的辅助模块,也可以单独成为一个独立的软件系统。
三维重建的医学应用
三维影像的应用主要体现在临床上,比如在做手术时查看病灶和周围血管及组织之间的关系,帮助临床医生进行手术计划的制订。《中国放射学杂志》编辑部主任高宏说:“3D影像技术在疾病的诊断、治疗和基础研究方面有着广泛的应用,在肿瘤疾病上的应用更为广泛,很多肿瘤的介入治疗和放射治疗都是通过三维成像引导来完成治疗计划的制订的。”
除了高宏提到的肿瘤疾病的治疗,三维影像在骨科、心血管等临床外科的应用也较普遍。北京大学第一医院泌尿外科要求每个肾癌病例都要进行三维重建,有着一套严格的对肾癌进行三维重建的要求:重建哪几个解剖的位置、重建哪些血管和肿瘤的关系等等。该院呼吸内科开创了用呼吸内镜把肺气肿病变切除的手术,该院影像科主任王霄英评价:“内科把外科的活干了,开拓了一个全新的领域。”
不仅仅是在临床,目前三维重建在诊断、教学和科研方面的应用也已经初具规模。郭佑民认为,三维影像在放射科的应用会越来越多,“对于放射科医师而言,除了观察断面图像之外,结合3D技术可以为临床提供更多更丰富的诊断依据。”他说。
并不是所有的影像从业者都认可郭佑民的观点,在采访中部分放射科主任认为,作为诊断工具来讲,三维影像对放射科的帮助并不大。放射科医生一直都是通过二维影像做诊断,经过多年的专业训练之后,他们已经可以透过二维影像在脑海中重建三维结构,此外,三维影像并没有提供更多与诊断相关的信息。倒是对临床医生而言,三维影像更能帮到他们。
青岛大学医学院附属医院副院长董则在科研方面进行了探索,国家“十二五”科技支撑计划课题“小儿肝脏肿瘤手术治疗临床决策系统开发” 就是由他领衔的。董和他的团队希望在国际上首次将中国各年龄阶段儿童和成人肝脏进行数字化虚拟测量,建立中国儿童肝脏数据库和小儿肝脏肿瘤立体模拟手术系统。
在教学方面,郭佑民认为3D影像与2D影像相结合,有利于学生对影像学结构图像的理解和应用。“因为医学生从学习人体解剖课程开始,就逐步地建立了人体组织和结构的空间概念,而对横断面的2D图像理解不够透彻。借助3D图像可以更好地对照和理解每一幅2D图像与3D图像的关系,为后续的学习奠定基础。”他说。
三维重建的发展方向
三维重建在医学上的应用已经较为普遍,其重要性正在越来越多地得到认可。如何充分利用三维影像的优势,更好地为医学服务,学术、临床及产业界都在进行着积极的探索。
影像引导的放射治疗
影像引导的放射治疗(IGRT)是一种前沿技术,通过放疗前以加速器自带的CT进行扫描,采集并重建三维图像,与治疗计划图像配准后再实施治疗。这样可以克服因治疗摆位和肿瘤位置移动所造成的误差,确保在精确照射肿瘤的同时,将对其周围正常组织的损伤降到最低限度,全方位提高效果。它在三维放疗技术的基础上加入了时序的概念,可以说是一种四维技术。
IGRT可从定位、计划到治疗实施和验证等方面创造各种解决方案。它充分考虑了解剖组织在治疗过程中的运动和分次治疗间的位移误差,如呼吸运动、小肠蠕动、膀胱充盈、胸腹水、日常摆位误差、肿瘤增大/缩小等引起放疗剂量分布的变化和对治疗计划的影响等方面的情况,在患者进行治疗前和治疗中利用各种先进的影像设备对肿瘤及正常器官进行实时监控,并能根据器官位置的变化调整治疗条件,使照射野紧紧“追随”靶区,做到真正意义上的精确治疗。
高级影像中心
四川大学附属华西医院目前正在计划建立AVC(Advanced Visualization Centre,高级影像中心,也称3D中心或三维中心)。
西门子大中华区影像和知识管理总经理王峻介绍,AVC模式是以临床需求为中心而设计的影像信息系统,其所有的活动都是围绕着临床的某些诊疗需求而设计的。他说:“AVC改变了传统影像科的工作模式,使其更贴近临床科室的需求。AVC把大量之前只有在放射科才能访问到的高级图像处理软件的浏览权限向临床科室开放,使临床医生大为获益。AVC模式还将改变放射科的报告不受临床科室重视的尴尬状态,使得放射科的检查、处理和报告可以全面地为临床治疗服务,并为临床医生提供大量其需要的辅助信息。相信AVC能为医院诊断和治疗这两个重要的医疗行为找到更好的合作模式。”
华西医院放射科高级工程师王跃介绍,AVC所特有的各种结构化报告,能协助放射科在临床科室的亚专业和放射科的亚专业之间形成对接,这种一对一的沟通和协作,可以为临床中的不同疾病和亚专业提供更准确而有用的个性化、专业化报告,在提高放射科医生诊断报告价值的同时,也能提高放射科报告的利用率和实用性。
王跃说:“AVC的建设不仅能够大大加强放射科与临床科室的互动,使得临床更加需要放射科的工作以便更好地为患者服务,而且能够提升放射科自身的实力和水平。AVC代表了未来的放射科-临床科室工作模式,完全可以称为诊疗模式的一次革命。”
3D医学打印
据《健康报》今年7月报道,北京大学第三医院骨科刘忠军带领的团队在脊柱及关节外科领域研发出了几十个3D打印脊柱外科植入物,其中包括颈椎椎间融合器 、颈椎人工椎体及人工髋关节在内的三个产品已经进入了临床观察阶段。报道称,已经有近40位颈椎病患者和髋关节病患者在签署知情同意之后,植入了3D打印出来的骨骼。
3D打印技术,是以计算机三维设计模型为蓝本,通过软件分层离散和数控成型系统,利用激光束、热熔喷嘴等方式将金属粉末、陶瓷粉末、塑料、细胞组织等特殊材料进行逐层堆积黏结,最终叠加成型,制造出实体产品。3D打印技术又称“增材制造”,长期以来被应用于制造珠宝、电子产品和汽车部件模型,然而如今的工业3D打印机也在造福医疗领域,它们已经可以定制人体肝脏和肾脏的模型,而科学家们也正在研究如何用3D打印机打印胚胎干细胞和活体组织,目标是制造出能够直接移植到受体者身上的人体部位,先进的3D打印机目前已经开始走进医院。
医疗行业(尤其是修复性医学领域)存在大量的定制化需求,难以进行标准化、大批量生产,而这恰是3D打印技术的优势所在。目前,3D打印技术在助听器材制造、牙齿矫正与修复、假肢制造等领域已经得到了成功应用,且应用已经相对比较成熟。
但是,要想走进全球各地成千上万的医院手术室,3D打印技术还面临许多障碍:第一,用于制造器官模型的3D打印机售价在25万美元至50万美元,小医院难以负担;第二,大多数医生不会使用3D打印机,所以医院还需要技术人员来操作3D打印机并把医疗图像转换为可以打印的3D数据。
【摘要】 为弥补解剖结构图像(CT, MRI, B超等)和功能图像(SPECT, PET等)的各自不足,医学图像融合技术应运而生,并且有了较大发展. 本文从三方面综述了近年来有关医学图像融合技术研究的最新进展,认为在医学影像设备的发展中,功能图像和解剖图像的结合是一个发展趋势,在肿瘤的精确定位、早期检测和诊断中将发挥重要的作用.
【关键词】 诊断显像;图像融合
0引言
医学影像学是临床诊断信息的重要来源之一. 根据医学图像所提供的信息内涵,可将医学影像分为两大类: 解剖结构图像(CT, MRI, B超等)和功能图像(SPECT, PET等). 这两类图像各有其优缺点: 功能图像分辨率较差,但它提供的脏器功能代谢信息是解剖图像所不能替代的;解剖图像以高分辨率提供了脏器的解剖形态信息(功能图像无法提供脏器或病灶的解剖细节),但无法反映脏器的功能情况.
目前这两类成像设备的研究都已取得了很大的进步,一方面,双方都在逐步弥补自身弱点,如MR的功能成像开发以拓展其功能,SPECT, PET新型晶体开发以增强自身的空间分辨率;另一方面,双方均在不断地增强自身强项,如MR开发不同新型成像序列,CT的螺旋层数不断增加,PET的晶体数目越来越多. 这使得各自图像的空间分辨率和图像质量有很大的提高,但由于成像原理不同所造成的图像信息局限性,使得单独使用某一类图像的效果并不理想,且进展缓慢,往往事倍功半. 由于上述原因,医学图像融合技术应运而生[1].
1图像融合(image fusion)技术的内涵
图像融合是指将多源信道所采集到的关于同一目标的图像经过一定的图像处理,提取各自信道的信息,最后综合成同一图像以供观察或进一步处理[2]. 简单来说,医学图像融合就是将解剖结构成像与功能成像两种医学成像的优点结合起来,为临床提供更多、更准确的信息. 其最终结果是1+1>2.
20世纪90年代以来,医学图像融合技术随着计算机技术、通讯技术、传感器技术、材料技术等的飞速发展而获得重大发展,经历了异机图像融合和同机图像融合两个阶段.
2异机图像融合
2.1异机图像融合的研究内容在同机融合显像设备没有出现以前,图像融合的研究仅限于异机图像融合. 最初其研究内容仅限于相同或不同成像模式(imaging modality)所得图像经过必要的几何变换,空间分辨率统一和位置匹配后,进行叠加获得互补信息,增加信息量. 而现在,异机图像融合的研究范围包括: 图像对位、融合图像的显示和分析,利用从对应解剖结构图像(MRI, CT)获取的先验信息对发射型数据(SPECT, PET)做有效的衰减校正、数据重建等[3].
2.2异机图像融合的基本方法按图像融合对象的来源可分为同类图像融合(innermodality,如SPECTSPECT, CTCT等等)和异类图像融合(intermodality,如SPECTCT, PETMRI, MRICT, MRB超等). 按图像融合的分析方法可分为同一患者的图像融合、不同患者间的图像融合和患者图像与模板图像融合. 按图像融合对象的获取时间可分为短期图像融合(如跟踪肿瘤的发展情况时在1~3 mo内做的图像进行融合)和长期图像融合(如进行治疗效果评估时进行的治疗后2~3 a的图像与治疗后当时的图像进行融合). 临床工作人员根据自己的研究目的不断设计出更多的融合方式.
2.3异机图像融合的主要技术图像融合的步骤大致为: 特征提取,设计误差评估方法,对图像数据进行处理使误差最小,将变换后的图像数据进行对位和综合显示,分析综合数据. 其中对位技术是图像融合的关键和难点[4].
2.3.1特征提取特征提取可分为内部特征提取和外部特征提取内部特征主要是人体解剖结构特征,如颅骨、脊柱、胸骨、肋骨、关节;膈下软组织,如脾、肝、肾等等. 外部特征是为进行融合处理而特制在两幅图像上均可见的体表标记物. 据文献报道使用的外标志物有进行脑图像融合的头罩、牙环,胸部、腹部图像融合采用的背带,四肢图像融合采用的支架,甚至颅骨嵌入螺钉等等. 采用内部特征的优点是不需要对患者做预处理,可进行多次融合方法分析,缺点是难以实现融合自动化处理,需要人工干预,融合的精确性往往与经验有关. 外部特征的优点是特征明确,易于进行计算机自动处理,缺点是预处理复杂,并且由于而引起的脏器与体表标记之间的位移误差难以避免.
2.3.2误差评估方法常用的有基于相似度的误差评估方法(以相似度最大为最优)和基于距离的误差评估方法(以距离最小为最优).
2.3.3图像处理图像预处理: 对于有条件的图像进行重新断层分层(reslice)以确保图像在空间分辨率和空间方位上的大体接近. 几何变换: 主要包括尺度变换、平移、旋转等.
2.3.4图像的对位将处理好的图像按误差最小的原则进行对位. 按外部特征进行对位的方法以两幅图像上的特征点配准为对位成功. 按内部特征进行图像对位法主要有两种:图像分割配准和像素特征配准[5].
图像分割配准法分为曲线法和表面法,在目前实际应用中较多采用. 因分割算法通常是半自动的,需人为参与,其配准的精度受限于分割的精度. 理论上此法可用于全身各部位的配准,但现在常用于神经系统成像和矫形外科成像. 曲线法是将一些具有几何特征的线条(如脊线)或栅格提取出来进行配准. 但是,曲线法要求图像有较高分辨率,以便提取几何特征. 表面法的代表算法是“头帽法”: 从一幅图中提取一组轮廓点作为“帽子”,从另一幅图中提取表面模型作为“头”,然后使用Powell搜索算法(使帽点和头表面间的距离平均平方和最小)来确定变换关系. 采用表面匹配技术可以对SPECT和PET的心脏图像进行了对位融合.
表面配准算法不仅用于3D刚性(rigid)变换,而且可用于3D弹性(elastic)变换,从而为一些组织器官的配准,如心脏、肝脏、肺等,提供了可能性. 但这种方法与其他基于组织分割的算法一样,配准精度受限于组织分割的精度. 近年来,由于分割算法的复杂程度降低、自动化程度提高以及斜面匹配技术在计算距离变换上的优势,此法被普遍应用. 表面配准法主要应用于PETMR图像的配准,由于SPECT图像的边界模糊,不宜使用此法. 像素特征配准法[6]: 像素特征配准法与其他内部特征配准方法不同之处在于,他是以图像灰度为配准依据,不需要对图像原始数据进行预归纳或预分割,其常用算法有主轴矩配准、全图像信息配准和图谱法配准. 主轴矩配准: 是将图像灰度内容转换为数量和方向的几何表示. 目前大多是从零阶及一阶矩中计算出图像的质心及主轴,再通过平移和旋转使两幅图像的质心和主轴对齐,达到配准目的. 此法对于数据缺失比较敏感,细节丢失或形状的病理性改变均会影响配准结果. 但此法实现了自动化,且十分快捷,易于移植,目前多用于粗配准. 全图像信息配准: 是在配准全过程中使用全部图像信息,使用的算法有区域相似性测量法、最大互信息法、相关法、联合熵法、条件熵法等. 此方法适用性最广,它不象其他内部特征法那样需先进行灰度图像的信息压缩提取,而是在配准过程中利用所有可获得的信息. 图谱法: 用于患者间的图像配准同一解剖结构的形状、大小、位置都会因解剖和生理上的个体差异有很大不同,这就使患者间的图像配准问题成为当今医学图像分析中的最大难题. 因此就要有一个详细标记人体各个解剖位置的标准化图谱. 用图谱法对两个患者的PET或MRI图像进行比较时,首先把二者的图像都映射到一个标准化的图谱空间去,然后在此空间中进行比较. 使用内部特征定位不需外加定位装置,但要求两幅图像要有相似结构或共同特征才可进行匹配. 定位的精确度是由具体的算法来决定的.
2.3.5融合数据的分析以某种算法将融合图像数据综合显示并做定量分析. 有些影像学工作者提出了如融合图像中像素CT值/SPECT计数等数值分析方法,但由于图像融合技术研究时间较短,各种融合数据对临床的指导意义有待进一步检验确定.
融合图像有多种直观的显示方法. 常用的有断层显示法和三维显示法. 融合图像的显示往往以某个图像为基准,该图像用灰度色阶显示,另一个图像迭加在基准图像上,用彩阶显示[7]: ① 断层显示法: 对于某些(得到原始数据)图像融合,可以将融合的三维数据以横断面、冠状面和矢状面断层图像同步地显示,便于观察者进行诊断. 这是融合图像最常用的显示方法. 这种显示要求观察者对于图像三维层面的特征有丰富的经验; ② 三维显示法: 将融合的三维数据以三维图像的形式显示使观察者可更加直观地观察病灶的解剖位置,在外科手术设计和放疗计划制定中有重要的意义.
2.4异机图像融合的现状目前对于刚性组织的对位已基本解决,如脑部异机图像融合[8],而对于非刚性组织(如腹部)的对位有待进一步研究. 因此在图像对位技术上目前尚未找到一种确保完全、通用、有效的方法.
3同机图像融合
同机图像融合是伴随着同机显像设备的发展而发展的. 1991年,Hasegawa等[9,10]人首先提出了同机图像融合设备的设想. 1999年,通用电器公司(GE)推出了全球第一台医用同机图像融合设备Hawkeye,它将XCT球管、探测器及放射性核素探头装在同一旋转机架上,患者可同时进行CT和SPECT检查. 得到的X线图像不仅可以用来与SPECT图像进行融合,还可以通过不同软组织及骨骼对X线与γ光子的不同衰减比例因子,由CT值计算线性衰减系数,进行SPECT的衰减校正. 由于这一台划时代设备的出现,使得图像融合技术发生了根本性的变化.
由于图像融合设备显像过程中,患者同时进行两种不同的检查,其变化由计算机精确控制,且不同显像间的时间间隔非常短暂,从根本上解决了异机图像融合中的最大难题:对位技术的准确性. 在CT与SPECT图像融合的领域内,它具有了所有异机图像融合的优势,而且实现过程更为简单,并广泛应用于临床医学的各个领域[11]. 因此,这一设备从产生之日起,就对影像医学特别是影像核医学产生了革命性的影响. 目前已广泛应用于国内、外影像医学临床诊断.
在Hawkeye之后,GE公司、西门子公司及飞利浦先后推出了第二代图像融合设备: PET/CT[12],其功能在Hawkeye基础上更进一步,定位更加准确,诊断准确性进一步提高. 目前国内有此设备十余台.
相比PET/CT,PET/MR的研究更加令影像医学工作者期待. PET/MR除具有所有PET/CT的优点外,还可以提供更多的软组织信息,其提供的组织信息可应用于高精度的PET图像衰减校正,从而进一步提高图像质量和空间分辨率. 目前,美国将PET晶体置于MR内部,已研制出一种新型的PET/MR,并已获得了大鼠脑部同机融合图像[13],相信PET/MR很快将进入临床.
4展望
总之,在医学影像设备的发展中,功能图像和解剖图像的结合是一个发展趋势,而图像融合的潜力在于综合处理应用这些成像设备所得信息以获得新的有助于临床诊断的信息[14],在肿瘤的精确定位、癌症的早期诊断和治疗中发挥重要的作用. 随着功能成像设备和解剖成像设备杂交技术的出现,图像融合技术将得到进一步的发展,给临床诊断带来一场新的变革.
参考文献
[1] Davide W, Simon R. Combining anatomy and function the pathto image fusion [J]. Eur Radiol, 2001;11:1968-1974.
[2] 蒋长英. 什么是“医学图像融合”[J]? 抗癌,2003;(1):36-37.
[3] 张孝飞,王强. 医学图像融合技术研究综述[J]. 广西科学,2002;9(1):64-68.
[4] 刘敬华,钱宗才. 医学图像融合技术及其应用[J]. 医学信息医学与计算机应用,2002;15(5):258-259.
[5] 俞亚青,田学隆,闫春红. 医学图像配准方法分类及现状[J]. 重庆大学学报(自然科学版),2003;26(8):114-118.
[6] 姜庆娟,谭景信. 像素级图像融合方法与选择[J]. 计算机工程与应用,2003;39(25):116-120.
[7] 唐庆玉,王宇. 医学图像融合显示的几种方法[J]. 中国医疗器械信息,2002;8(3):14-15.
[8] Ferroli P, Franzini A, Marras C, et al. A simple method to assess accuracy of deep brain stimulation electrode placement: Preoperative stereotactic CT + postoperative MR image fusion [J]. Stereotact Funct Neurosurg, 2004;82:14-19.
[9] Hasegawa BH, Stebler B, Butt BK, et al. A prototype highpurity germanium detector system with fast photoncounting circuiry for medical imaging [J]. Med Phys, 1991;18:900-999.
[10] Lang TF, Hasegawa BH, Liew SC, et al. Description of a prototype emissiontransmission computed tomography imaging system [J]. J Nucl Med, 1991;33:1881-1887.
[11] Schillaci O. Functionalanatomical image fusion in neuroendocrine tumors [J]. Cancer Biother Radiopharm, 2004;19:129-134.
[12] Townsend DW, Beyer T, Blodgett TM. PET/CT scanners: A hardware approach to image fusion [J]. Semin Nucl Med, 2003;33:193-204.
基于数据挖掘的医学图像分类方法研究是多媒体数据挖掘的一个重要组成部分。在分析和总结了现有各种特征提取方法的基础上,提出了基于竞争聚类和关联规则的医学图像分类算法和基于关联规则的医学图像分类器框架。该算法先用竞争聚集算法实现医学图像的聚类,利用聚类的结果提取局部特征,基于局部特征用关联规则实现医学图像的分类。实验结果表明,用此方法较好地提高了医学图像分类的准确率,进而为数字化临床诊断提供了有利的证据。
【关键词】 数据挖掘 图像分类 医学图像 数字化诊断
Abstract:The multi-media data mining is the key part of the whole researches about the method of medical images classification. Under the base of the analysis and conclusion about the methods of deriving the various characteristics previously provided by other researchers, this framework of the medical images classification with the association rules and clustering was provided. At first, the clustering algorithm was used for the characteristic in local areas ,and then the medical image classification was realized by the association rules. The results of the experiment showed that the accurate rate could be improved by this method, and better testimony could be provided for digital diagnosis.
Key words:Data mining; Images classification; Medical images; Digital diagnosis
数据挖掘立于数据库系统和数据库应用学科最活跃的前沿。数据挖掘就是从大量的、不完全的、有噪声的数据中,提取新颖的、有效的和潜在有用的信息,发现隐含在其中的模式、特征、规律和知识。其所处理的数据类型很丰富,其应用领域也非常广泛,但针对特定领域(如医学)的复杂数据类型的数据挖掘新方法还有待研究。
医学图像的数据挖掘旨在从海量的图像数据中挖掘出有效的模型、关联、规则、变化、不规则以及普遍的规律,以加速医生决策诊断的过程和提高其决策诊断的准确度。随着医疗数字化设备的快速发展,医学信息数据库中不仅包括病人的结构化的信息,还包括病人大量非结构化的医学图像信息,为医学图像的数据挖掘提供了丰富的数据源。
近年来,随着计算机相关技术及图形图像技术的广泛应用,使医学领域尤其是临床诊断发生了重大的变化,开创了数字诊断新时代。借助于图形、图像技术的有力手段,医学影像的质量和显示方式得到了极大的改善,从而借助于图像处理与分析技术使得诊疗水平大大提高。
本研究将医学图像的处理技术与数据挖掘技术有机结合,研究医学图像数据的特征提取和医学图像数据的分类方法。医学图像分类效果的好坏在很大程度上取决于提取的特征。目前国内外有大量的学者正在进行这方面的研究:Maria - Luiza, Osm[1]提出的关联规则分类器和李丙春等[2]的径向基函数网络分类器都采用了均值、方差、倾斜度和峰度4个特征;韩培友设计的是基于模糊粗糙集、数学形态学和分形特征分类器等[3]。分析这些研究结果可以发现,医学图像数据挖掘的研究是一项复杂的、具有挑战性的和多学科交叉的工作,开展基于医学图像的数据挖掘技术的研究具有重要的理论意义和实用价值。
1 脑部肿瘤图像预处理和特征提取
1.1 图像预处理由于实际数据常常存在不完整性、噪声和不一致性,预处理就变得很重要。有两种数据预处理技术用于图像数据的数据挖掘,即数据清洗和数据变换[3,4]。数据清洗用于清除影响数据挖掘的噪声和孤立点。我们使用的图像包含大量有噪声的背景,有的图像看起来太暗,有的太亮。在预处理阶段,已有的方法都是进行图像的二值化,忽略了图像的最基本元素-像素本身的灰度所具有的意义,而且也没有很好地利用领域知识对图像进行预处理。本研究采用的图像预处理的步骤如下:
1.1.1 利用去噪技术对图像进行处理经过去噪声处理后,可去掉图像中的大多数背景信息和噪声。
1.1.2 图像增强在图像生成、传输和变换过程中,由于多种因素的影响,总会造成图像质量的下降。图像增强的目的是采用一系列技术改造图像的效果或将图像转换成更适合处理的形式。图像的增强处理有两种方法:空域法和频域法。直方图均衡化是在空域中进行的灰度增强算法。一幅对比度较小的图像,其所有灰度级出现的相对频数相同,此时图像的熵最大,图像所包含的信息量最大。本研究采用广泛使用的直方图均衡化技术来实现图像的增强。同时,在此前应该完成去噪声处理,否则噪声也会同时得到增强。
1.2 特征提取原始的脑部医学图像的噪声处理和增强处理后,就可以从这些清晰的图像中抽取与分类相关的图像特征。被抽取的特征组织在一个事物数据库中作为分类系统挖掘的输入。数据库的数据项主要包括:图像编码、图像类型、患者年龄、组织类型、病灶位置等原始病案数据以及从图像中提取出来的多个图像特征。如图像的钙化点,图像的纹理特征:角二阶矩、对比度、方差、逆阶矩、和平均、熵、以及和方差等。在这样的数据集上应用后面讨论的关联规则算法实施数据挖掘操作,从而将脑部肿瘤分类为良性和恶性。
2 利用竞争聚集算法进行数据离散化
为了使用关联规则进行数据挖掘,数量型属性必须离散化。划分区间时,对于某些属性,若医生已经有约定的分割点,我们可以直接采用。但是,对提取出的图像特征属性,没有经验阈值。Agrawal等[4]提出的基于支持度的部分K度完全离散化的方法,扩展了布尔型属性的关联规则算法,并将其应用于数量型属性关联规则的提取。但是这种方法对于一些高偏度的数据存在一些问题,它倾向于将那些尽管具有典型相似性能的相邻数据因具有高支持率而被搁开。而竞争聚集算法[5]综合了分层聚类和划分聚类的优点,它能够有效地体现数据的实际分布情况并得到优化的聚类个数。我们利用竞争聚集算法将数量型属性离散化成若干个优化的区间。对于给定的不同的初始类个数,竞争聚集能随着迭代过程的进展不断改变类的数目,一些竞争力差的类,即类的基数小于给定阈值的类将在迭代过程中不断消失,并最终得到优化的聚类个数。最后,根据模糊集合中的最大隶属原则,将数据集中的元素聚成N个类,并取出类中最小值和最大值分别作为区间的左右端点,这样数据型属性就被离散化成N个优化区间。
3 基于关联规则的医学图像分类器的构造
3.1 关联规则定义如下:
设I={i1,i2,……im}是项的集合。记 D为数据库事务T的集合,并且TI。对应每一个事务有唯一的标识,记做TID。设X是一个I中项的集合,如果XT,那么称事务T包含X。
一个关联规则是形如XY的蕴涵式,这里XI,YI ,并且X∩Y=。规则XY在事务数据库D中的支持度(Support)是事务集中包含X和Y的事务数与所有事务数之比,记为Support(XY),即:
Support(XY) =|{T;X∪YT,T∈D}/|D|
规则XY事务集中的可信度(Confidence)是指包含X和Y的事务数与包含X的事务数之比,记为confidence(XY),即
confidence(XY)=|{T:X∪YT,T∈D}|/|XT,T∈D|
3.2 利用关联规则对脑部肿瘤图像数据进行分类本研究用关联规则挖掘将数字化的脑部肿瘤图像分为正常和异常两类。
利用关联规则挖掘时,首先发现频繁项目集(即支持度不低于最小支持度的项目集),然后从频繁项目集中提取关联规则。本研究用Apriori算法[6]来发现从脑部肿瘤图像提取出的特征和肿瘤图像所属类别的关联规则。我们约束挖掘出的关联规则,使规则的前提为脑部肿瘤图像提取出的特征,规则的结论为图像所属类别。
用关联规则分类的过程分两个阶段:第1阶段为训练阶段,用已知类型的图像训练分类系统,输入数据为经过预处理、特征提取和数据离散化后得到的事务数据库,然后应用改进的Apriori算法来挖掘满足以上约束条件的关联规则;第2阶段为测试阶段,该阶段对未知类型的图像利用发现的关联规则进行分类。
3.3 图像分类器的构造图像分类器的设计框架见图1。
4 结果与结论
我们从185个脑部肿瘤典型病例数据中经图像预处理及特征提取了27个属性特征数据,这些抽取的特征数据被组织在一个数据库中,经过数量型属性离散化等数据预处理,将数量型属性关联规则问题映射成布尔型关联规则问题,X到一个布尔属性的数据库,作为分类系统挖掘的输入,此时通过Aprior算法进行关联规则的数据挖掘。最后分别计算训练样本和测试样本分类的准确率。结果表明对脑部肿瘤典型病例数据分类准确率达到86%,测试准确率达到82%。
本研究在介绍了图像预处理及特征提取和数量型属性离散化的基础上,提出了一个基于关联规则的医学图像分类器。可以看出,该挖掘方法中,数据预处理工作十分重要,会直接影响到分类的准确性。从实验结果看,本文提出的医学图像分类器精确度较高,在数字化临床诊断方面具有很好的实用价值。
参考文献
[1]Maria一Luiza Antonie, Osmar R Zaiane. Associative Classifiers for Medical image[J].Mining Multimedia and Canplex Data,2003,27:9768.
[2]李丙春,耿国华,周明全,等.一个医学图像分类器的设计[J].计算机工程与应用,2004,40(17):230.
[3]韩培友,郝重阳,张先勇,等.基于模糊粗糙集、数学形态学和分形理论的医学图像分类研究[J].计算机应用研究,2004,21(2):241.
[4]Srikant R, Agrawal R. Mining Quantitative Association Rules in Large Relational Tables[J].ACM SIGMOD Issues, 1996, 25(2):1.
[5]Frigui H, Krishnapuram R. Clustering by competitive agglomeration[J]. Pattern Recognition, 1997, 30(7):1109.
医学成像的分类
医学成像是借助于某种介质与人体的相互作用,把人体内部组织、器官的形态结构、密度、功能等以图像的方式表达出来,从而对人体健康状况进行判断的技术。
我们去医院拍片时,会遇到各种各样的术语,如DR、CT、MRI等,它们决定了用什么机器,通过什么方式来对我们的身体进行扫描和成像。
从成像过程来说,医学成像大致由能量发射源、效应组织、探测器、处理和显示设备几部分组成(如图1)。
从成像的目的功能上看,医学图像又可分为结构图像、功能图像和其他类型图像。但比较常见的还是从技术特点上进行分类,这也是我们平时见到的类别。
1.X射线成像(X-ray)
X射线能够穿透人体组织,常用于胸部透视和四肢骨骼检查,是最早应用和使用最普遍的医学影像技术,在临床诊断上价值很高。根据穿透组织后的X射线强度,可以分辨组织厚度及密度差异,显示病变部位形状。采用数字技术,在计算机控制下直接进行数字化X射线摄影的成像技术则称为DR(Digital Radiography),如图2所示。DR成像速度快,X射线辐射低,图像可进行后期处理,并且方便网络传输。
2.计算机X射线断层扫描(CT)
用X射线束对人体某部位一定厚度的层面进行扫描,由探测器接收透过该层面的X射线,转变为可见光后,由光电转换变为电信号,再经过数字化输入计算机处理。断层扫描所得的每个点的信息排列成矩阵,经数字化后转换为灰度像素点,再按矩阵排列CT图像。CT图像是重建图像,可显示被检查部位的断面或立体的图像,发现体内任何部位的细小病变,常用于脑部、胸部扫描。在传统CT的基础上,还诞生了螺旋CT(如下页图3),它采用滑环技术,使X射线管和探测器沿人体长轴连续匀速旋转,扫描床同步匀速递进,扫描轨迹呈螺旋状前进,可快速、不间断地完成容积扫描,得到真正的三维重建图像,并能实时成像。
3.核磁共振成像(MRI)
生物体中的原子核在外加磁场的作用下接受特定射频脉冲时会发生共振现象,把这种共振用图像表达出来,可以反映人体组织中质子状态的差异,揭示组织形态和生理、生化信息。通过磁场的改变,就能获得各种断面的体层图像,如脑和脊髓的立体图像。肌肉、骨骼系统也适于做核磁共振成像(如图4)。
4.核医学成像(RNI)
核医学成像又称放射性核素成像,用图像信号反映体内放射性核素的浓度分布,显示形态学信息和功能信息。这种影像取决于组织的血流、细胞功能和数量、代谢活性、排泄引流情况等因素,而不是组织的密度变化,因而是一种功能性影像,其清晰度取决于脏器或组织的功能状态,可以反映出由病变而引起的形态学改变,具有较高早期诊断价值。
5.超声波成像(USG)
超声波具有良好的指向性和明显的反射、折射、衰减规律及多普勒效应等,因而可通过超声回波反映人体组织的声学特性,信号经处理后可动态显示器官的大小和形状,方便直观地对疾病做出诊断。最常见的是B型超声成像,简称B超,常用于腹部软组织结构显像。
6.多普勒成像(DFI)
声波都具有多普勒效应,当声源与反射体之间有相对运动时,回声的频率有所改变,称之为频移。超声频移诊断法,即D超,包括脉冲多普勒、连续多普勒和彩色多普勒血流图像。彩色多普勒超声(即彩超)一般是用自相关技术进行多普勒信号处理,把获得的血流信号经彩色编码后实时地叠加在黑白B超的二维图像上,形成彩色多普勒超声血流图像。彩超既具有二维超声结构图像的优点,又提供了血流动力学的丰富信息,在临床上可实现“非创伤性血管造影”。
以上这些技术,实际上都归属于四类,即X射线成像、核磁共振成像、核医学成像和超声波成像,它们的应用最为广泛,被称为四大医学成像技术。此外,还有阻抗成像、热成像、微波成像、光学成像、γ闪烁成像、发射体层成像等多种成像技术。
医学成像技术是物理学、电子技术、计算机技术、工程数学、材料科学、网络和通信技术等多种学科和技术相互渗透的结果,在临床应用和数据交换的复杂性上,需要一个统一的标准来进行规范。
DICOM的诞生
说到医学成像,不能不提DICOM。
上述各种医学成像技术,它们所使用的设备、实现原理、成像方法、图像输出方式、数据交换格式、信息传输模式等各不相同,如果没有统一的标准来定义能满足临床需要的可用于数据交换的医学图像格式,在PACS(图像归档和传输系统)和HIS(医院信息系统)等系统中就无法方便地利用,远程会诊和档案调阅更是无法实现。
这个标准,最常见的就是DICOM(Digital Imaging and Communications in Medicine),即医学数字成像和通信,是医学图像和相关信息的国际标准(ISO 12052)。
随着以CT为代表的数字成像诊断设备在临床上的广泛应用,为推动不同制造商的设备间数字图像信息通信标准的建立,为不同诊断设备创建统一的诊断信息数据库并与其他医院信息系统进行交互,美国放射学院(ACR)和国家电气制造协会(NEMA)在1983年成立了一个联合委员会ACR-NEMA,并于1985年了最初DICOM的1.0版本,1988年推出2.0版本。1993年,DICOM标准3.0并沿用至今,成为医学影像信息学领域的国际通用标准。
DICOM标准中涵盖了医学数字图像的采集、归档、通信、显示及查询等几乎所有信息交换的协议,以开放互联的架构和面向对象的方法定义了一套包含各种类型的医学诊断图像及其相关的分析、报告等信息的对象集,定义了用于信息传递、交换的服务类与命令集,以及消息的标准响应,详述了唯一标识各类信息对象的技术,提供了应用于网络环境(OSI或TCP/IP)的服务支持,结构化地定义了制造厂商的兼容性声明(Conformance Statement)。
有了DICOM,昂贵的医疗诊断设备就可以实现一定范围内的共享,诊断图像的输出更为方便,医生能随时随地调阅这些医学图像,实现无胶片诊断,甚至是远程会诊。在RIS(放射学信息系统)和PACS(图像归档和传输系统)的配合下,这些图像数据还能与HIS(医院信息系统)完美对接,形成完善的医疗诊断系统。
DICOM的文件格式
DICOM规范下的医学图像的文件格式一般以“.dcm”为扩展名。要显示和打印DCM文件,就需要读取这种文件的格式。
DCM文件的文件头最前面是128字节的导言,然后是4个字节的4个字符“DICM”,用来表明这是一个DCM文件。后面才是数据元素,多个数据元素一直排到文件的结尾(如图5)。
每段数据元素以4个字节的标识符(tag)开始,类似于数据库的字段定义,可以用来表明元信息长度、标题、文本编码、协议名称、成像时间、检查日期、成像仪器、设备厂商、病人姓名、影像编号、像素采样、图像模式、窗位窗宽、数据起点等多种信息。而值表示法(VR)则用2个字节定义数据类型,数据元素的后部才是数据,由Len来指定它的长度。数据值采用记录每个像素值的方式来描述图像,这有些类似于BMP位图,为程序读取文件中的影像部分提供了便利。
需要注意的是,DCM文件的像素数据部分是用12级灰度来定义的,这么丰富的灰度级别我们一般不能全部用上,而是只取需要的部分,即所谓的“窗宽”,这个范围的上下界就是“窗位”。上界以上的部分全部视为白色,下界以下的部分全部视为黑色,这样根据不同的需要,就可以有不同的窗位窗宽,用8位灰度(256级)就可以表示出来了。当然,由原来全部信息的12位灰度变为部分信息的8位灰度,做一下简单的数学映射即可。
在一般的电脑上,如果要查看DCM文件,可以使用DICOM图像浏览器(如Sante DICOM Viewer、DICOM Medical Image Viewer、ezDICOM等),或者使用DICOM文件格式转换工具(如MRI Convert、 Dicom Digital Jacket、DICOM to Video等),把DCM文件转换成图片或视频格式进行查看。
DCM文件不是一般的图片,信息比较丰富,如果需要更多的功能,如对DICOM格式文件进行编辑,对图像进行转换压缩和处理,或者进行3D重建、窗位变换以及PACS系统定制开发,就需要用到专业的DICOM开发工具包了。
DICOM的网络传输
DICOM定义了DCM格式的文档,用来保存和交换医学成像信息,这些信息需要遵循DICOM协议,实现从医疗设备到数据中心之间的传输。
网络软件的架构有C/S模式(Client/Server,客户端/服务器)和B/S模式(Brower/Server,浏览器/服务器)。B/S模式架构建立在广域网上,适应范围广,只要有操作系统和浏览器就行,对安全的控制能力相对较弱,面向的是不可知的用户群。而C/S模式架构建立在专用网络上,一般是小范围的局域网环境,通过专门的服务器提供连接和数据交换服务,对信息安全的控制能力很强,可用于高度机密的信息系统。DICOM一般建立在医疗机构内部,因此多采用C/S模式进行服务和数据传输,当然它也可以使用B/S模式架构。
在C/S模式下,DICOM中的Server称为SCP(Service Class Provider,服务类提供者),Client称为SCU(Service Class User,服务类用户),连接则称为Association(对应于OSI模型中的Connection)。要建立DICOM连接,客户端SCU会向服务端SCP发送Association连接请求消息,描述此次连接的目的和设置,服务端接收到请求信息后,确认自己是否支持相关服务并给出响应信息(Response Message)。如果服务端支持客户端请求的某些服务,就会发送确认信息(Association Acknowledge),表明此次连接完成,否则就发送拒绝信息(Association Reject),通知客户端连接失败。连接成功建立后,客户端和服务端就可以进行11类信息的交互(如图6)。
例如,门诊医生要查阅相关病人的CT图像,他所使用的电脑和上面安装的相关软件就属于SCU,查阅请求会发送到医院数据中心的服务器上,服务器及其上面的软件和数据库就属于SCP,会响应医生发来的请求,查询到相关信息后反馈到医生的电脑上,在客户端软件的界面上显示出来。这些请求不仅可以是查询、显示请求,也可以是归档、打印输出请求,打印请求一般由DICOM协议的打印服务器软件来协调。
DICOM的打印输出
很多时候DICOM图像还是需要打印输出的,特别是需要病人留存的时候。
医学影像的打印输出可以分为两种:一种是医疗机构的打印,另一种是个人打印方式。部分诊所限于系统功能,也会采用个人打印方式。医院里打印各种图像一般是通过成像设备与打印设备连接,或者成像设备通过DICOM连接到局域网上来进行打印的。
一般大医院里都是DICOM支持下的打印输出,基于RIS或HIS系统,在PACS系统的统一管理下,打印输出只是医疗管理的一部分,在相应的管理软件中都已集成了这些功能。而小型医院的打印,常常是依靠支持DICOM协议的打印机,或者是在DICOM打印服务器的支持下进行。
个人方式的打印,是从电脑上查看和打印DCM文件,完全可以像普通图片那样进行打印输出。