关键词:
深度学习
卷积神经网络(CNN)
目标检测
图像分类
帧间时序关系
摘要:
目的 超声医师手动探查与采集胎儿心脏切面图像时,常因频繁的手动暂停与截图操作而错失心脏切面最佳获取时机。而单纯采用深层视觉目标检测或分类网络自动获取切面时,因无法确保网络重点关注切面图像中相对较小的心脏区域的细粒度特征,导致高误检率;另外,不同的心脏解剖部件的最佳成像时刻也常常不同步。针对上述问题,提出一种目标检测与分类网络相结合,同时融合关键帧间时序关系的标准四腔心(four-chamber,4CH)切面图像自动获取算法。方法 首先,利用自行构建的胎儿心脏超声切面数据集训练目标检测网络,实现四腔心区域和降主动脉区域的快速准确定位。接着,当检测到在一定时间窗内的视频帧存在降主动脉区域时,将包含四腔心目标的候选区域提取后送入利用自建的标准四腔心区域图像集训练好的分类网络,进一步分类出标准四腔心区域。最后,通过时序关系确定出可靠的降主动脉区域,将可靠降主动脉的检测置信度及同一时间窗内各个切面图像中四腔心区域在分类模型中的输出,加权计算得到标准四腔心切面图像的得分。结果 采用本文构建的数据集训练的YOLOv5x(you only look once version 5 extra large)和Darknet53模型,在四腔心区域和降主动脉区域的检测任务上分别达到94.0%的mAP@0.5和61.1%的mAP@[. 5∶. 95],以及69.5%的recall@0.5-0.95;在四腔心区域标准性分类任务上TOP-1准确率达到92.4%。将检测与分类模块结合后,系统对四腔心区域的误检率降低了29.38%。结论目标检测与分类网络相结合的策略及帧间时序信息的加入能够有效调和错检与漏检间的矛盾,同时大幅降低误检率。另外,所提算法除可自动获取标准的四腔心切面图像外,还可同时给出最佳切面,具有较好的实际应用价值。