本发明公开了一种基于多模态模型的花菇分级采摘方法及系统，该方法包括以下步骤：获取花菇图像数据，进行预处理以及数据集生成；搭建多模态的花菇分级模型，所述多模态的花菇分级模型包括花菇检测与区域提取模块、图像特征提取模块以及多模态特征融合分级模块；将摄像头、机械臂与多模态分级模型进行关联；通过摄像头采集并实时传输花菇采集数据至多模态分级模型中，生成花菇分级与定位信息；获取机械臂的位置信息，生成采摘运动轨迹信息；根据运动轨迹信息控制机械臂对花菇进行分级采摘。本发明结合花菇级别的评判标准，利用多模态特征融合的方法，实现花菇的图像文本多模态分级检测，并级联摄像头、机械臂等硬件，实现对不同级别花菇的自动分级、定位及采摘，能够保证较好的分级采摘准确性。