关键词:
草莓
点云
采摘机器人
计算机视觉
语义分割
深度相机
摘要:
[目的]针对田间背景噪声干扰、草莓果实体积小且伴随遮挡的难点,本文利用3D视觉技术实现草莓准确识别和定位,为机器人自动采摘提供技术支持。[方法]使用Intel Realsense D435i深度相机采集不同光照、季节和遮挡条件下的草莓点云数据,构建包含3个类别的数据集,分别为无遮挡、低遮挡、高遮挡。结合多阈值统计滤波和ROI提取技术对点云数据进行预处理,过滤噪声;以PointNet++为基础模型,对点云数据直接提取特征,并在PointNet++基础上提出一种针对复杂背景下小尺度目标的语义分割模型SS-PointNet++,利用点云的多种特征信息作为网络输入特征,构建采样层、分组层,并通过PointNet提取局部特征,使用最远点采样法对点云取样并最大程度覆盖到整个点集,针对小尺度目标设计3种不同半径的球查询(ball query)来获取局部特征,改进SA层和FP层的结构,使其能够适应低密度点云。[结果]对未经预处理的点云进行分割时,有0.74%的概率出现离群点的误判问题,而对预处理后的单张点云图像进行语义分割的用时平均减少了3.47 s。点云图像测试结果表明,SS-PointNet++模型的平均准确率达到86.95%,比优化前提升了19.54百分点,平均交并比为0.740。在光照充足且无遮挡的草莓上,该模型的语义分割准确率高达95.36%,而在暗光环境下,该模型的平均准确率也能达到81.34%。[结论]SS-PointNet++模型提升了小尺度目标点云的语义分割效果,对不同光照条件具有较强的鲁棒性,为基于3D点云的小物体和遮挡物体分割提供了一种有效的方法;本文提出的草莓遮挡类型的划分方法,对后续草莓遮挡问题提供了数据分析支持,对其他基于3D点云的小尺度物体的目标检测和遮挡问题也起到借鉴作用。