Yuqi-Zest / CEUS-tracking-software

matlab, Contrast Enhanced Ultrasound Dataset Building Software

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

CEUS-tracking-software

matlab, Contrast Enhanced Ultrasound Dataset Building Software

本项目致力于构建一款用户友好的CEUS视频连续勾勒的半自动跟踪软件,以实现在快速精准地在病变区域绘制边界框的目标。基于深度学习在处理CEUS视频数据方面广阔的前景,为了加快使用DL对CEUS数据端到端地自动检测、跟踪和分类任务,设计编写了该应用程序。尽管运动的矫正在DCE-US中应用历史已久,但都基于自主编写的Matlab脚本程序,灵活性很低,不懂Matlab编程的医生无法使用,且当运动的矫正效果不好时,也无法及时更改。大多数情况下,CEUS 数据预处理是为每个包含的帧手动绘制草图,或以短序列手动绘制一个帧,默认情况下,病变的位置在序列中不会更改。这些研究似乎没有意识到运动补偿算法的存在。这种现象反映出,当没有实用的工具,只有理论实验时,即使是聪明的研究者也不能利用这些算法来简化或进一步改进他们的工作。

目前,除了本研究公开的软件外,还没有其他的脚本程序允许交互式的勾画操作。该软件的使用非常简单,用户只需在视频中需要跟踪的位置画一个Bounding box,软件就可以自动跟踪,软件允许用户拖动缩放每一帧的跟踪结果,也可以批量删除一些不好跟踪结果,跟踪长度可以设置。软件除了集成数据导入,工作空间保存,勾画结果导出,视频播放等基本的数据操作接口外,还针对CEUS的图像特性,如双幅显示,加入了镜像功能等自动分析方法。

文档《使用说明》分别介绍运动校正和不同跟踪算法的性能测试,软件搭建,软件使用,本项目的难度在与设计和编写交互式软件,由于没有参考,需要从零开始自行构想一个好用的软件界面和功能,并让软件能够响应多种用户操作,保证数据传递无误和时序不发生混乱。

在CEUS中,有许多研究集中在通过整个序列的自动运动估计方法来补偿观察到的肝脏实质性病变(focal liver lesions, FLLs)运动,这实质上是一个连续帧上特定区域的跟踪任务。运动估计方法分为直接方法和间接方法,直接方法测量图像强度变化来估计运动矢量,对噪声和光照变化敏感,间接方法通过一组稀疏的图像特征进行连续帧的匹配。具体来说,基于点的跟踪技术(point-based registration techniques, PBRTs)非常适用于在CEUS或US序列中跟踪FLLs。

PBRTs主要由两部分组成:(1)图像特征提取,即提取突出区域的特征(2)匹配和利用结果估计几何变换。经典的点描述器有Harris角检测器、利用特征值检测角点的Kanade-Lucas-Tomasi、HOG、SIFT、FAST、SURF、BRISK、ORB、CARD。统计描述符的匹配策略有三种选择:基于阈值的方法、基于最近邻的方法和最近邻距离比。一般的距离指标有欧氏距离、点积和Hamming距离。有时,匹配过程中可以通过估计几何变换来修正,如M-estimator SAmple Consensus,它利用前向和后向误差反复寻找最佳匹配和几何变换矩阵。

软件的跟踪算法的流程为:手动绘制一个边界框进行初始化;提取当前帧和下一帧的点特征;将点匹配后计算变换矩阵;通过M-estimator SAmple Consensus检验跟踪结果,输出更稳健的跟踪点,再重新估计变换矩阵;应用变换矩阵更新边界框的位置。该算法将进入下一帧,并进行相同的程序,直到匹配点数目少于三或达到跟踪长度。在跟踪过程中,由于不断删未匹配的点,可用的点会不断减少,因而每隔10张图像通过刷新点集来重新初始化需要跟踪的点,重新初始化会降低运行速度。 由于CARD逐帧提取图像各个子区域的特征,特征向量个数由图像自身决定,不需要重新初始化。

About

matlab, Contrast Enhanced Ultrasound Dataset Building Software


Languages

Language:MATLAB 100.0%