融合多模态视觉特征的深度学习模型用于鸭体尺与体重估计

【作者】 肖闻博； 韩倩楠； 舒刚； 梁桂萍； 张红燕； 王松； 许志豪； 万伟粲； 李闯； 蒋桂韬； 肖毅；

【机构】 湖南农业大学信息与智能科技学院； 四川农业大学动物科技学院； 湖南省农业科学院畜牧兽医研究所；

【摘要】 为实现家禽体尺和体重的精准、无应激测量,本文提出了一种基于深度学习的多模态融合模型。该模型创新性地融合了多视角二维(2D)彩色图像、深度图像与三维(3D)点云数据,用于对鸭的体尺和体重进行非接触式精准预测。研究构建了一个包含1023只临武鸭、逾5000组样本的专用数据集进行模型训练与验证。该方法采用PointNet++从点云中提取三维关键点并计算几何特征,并将其与卷积神经网络提取的多视图2D图像特征进行融合。随后,引入Transformer编码器以捕捉特征间的长距离依赖关系,从而增强模型预测的鲁棒性。实验结果表明,该模型对7项体尺指标的预测平均绝对百分比误差(MAPE)为5.73%,决定系数(R2)为0.953;对体重的预测MAPE为10.49%,R2为0.952,展现出高度的准确性与稳定性。与传统人工测量相比,本方法实现了高效、精准的自动化估计,显著降低了动物应激。本研究首次将深度学习技术应用于家禽体尺与体重的联合预测,为家禽的智能化育种和精细化养殖管理提供了新的技术范式与理论参考。更多还原