自2012年深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）問世以來，植物表型分析與人工智能便緊密相連?；谟嬎銠C視覺和深度學習的圖像分割，是眾多植物表型圖像分析任務(wù)的起點。隨著植物表型研究的重心逐漸向大田環(huán)境轉(zhuǎn)移，對大田作物圖像分割的挑戰(zhàn)愈發(fā)嚴峻。光線、陰影、雜草等諸多因素，都可能影響分割精度。為此，通常需要大量的像素級人工數(shù)據(jù)標注工作，而這些工作往往占據(jù)了分割模型開發(fā)工作量的80%~90%。俗話說，“人工智能是先有人工后有智能”，我們常常關(guān)注到的是“智能”部分，卻容易忽視“人工”環(huán)節(jié)所耗費的巨大精力。

2025年3月21日，《Plant Phenomics》在線發(fā)表了一篇由慧諾瑞德公司韓志國博士、華中科技大學陸昊博士和中國科學院遺傳與發(fā)育生物學研究所胡偉娟博士等共同完成的研究論文——《The Blessing of Depth Anything: An Almost Unsupervised Approach to Crop Segmentation with Depth-Informed Pseudo Labeling》。論文提出一種名為DepthCropSeg的算法，利用Depth Anything V2 (DAM) 這一視覺基礎(chǔ)模型生成的深度圖，構(gòu)建高質(zhì)量的偽掩碼，實現(xiàn)了接近全監(jiān)督水平的幾乎無監(jiān)督作物分割。

圖1 DepthCropSeg算法的技術(shù)流程圖

本研究整合了田間、實驗室和無人機等10個公開數(shù)據(jù)集，這些數(shù)據(jù)集提供了可用的真值掩碼，便于進行定量驗證。DepthCropSeg的技術(shù)流程如圖1所示。該方法首先通過歸一化和梯度引導(dǎo)的直方圖閾值分割技術(shù)，從DAM模型生成的深度圖中獲取初始偽掩碼。然而，部分偽掩碼質(zhì)量較低，無法直接用于訓練。因此，該方法提出了一種由粗到精的人工篩選流程，以剔除存在明顯錯誤的偽掩碼。與傳統(tǒng)的像素級人工標注相比，該方法能夠極其高效地獲得準確的作物偽掩碼（圖2），這也是本論文“近似無監(jiān)督”理念的核心所在。

圖2 Depth Anything V2模型在多種場景下提取高質(zhì)量偽標簽

由粗到精的人工篩選流程如圖3所示。在粗略篩選階段，將偽掩碼的偽彩圖疊加在RGB圖像上，通過縮略圖快速篩查出標注明顯錯誤的區(qū)域（例如，背景被誤標為作物）。僅耗時2小時，便從17199張原始圖像中篩選出3577張較為準確的偽掩碼數(shù)據(jù)集。在精細篩選階段，進一步剔除標注存在細小錯誤的圖像，通過逐一查看每張圖像，排除有一半以上綠色植物未被標注的錯誤掩碼。經(jīng)過約4小時的精細篩選后，最終得到1378張高質(zhì)量的訓練數(shù)據(jù)集。整個篩選流程耗時約6小時，顯著提高了訓練數(shù)據(jù)標注效率，相比傳統(tǒng)像素級手工標注方法，可節(jié)省約兩個月的時間。考慮到偽掩碼仍不可避免地會引入少量標注噪聲，本研究還設(shè)計了基于深度信息的兩階段自監(jiān)督訓練策略，并引入深度引導(dǎo)的雙邊濾波技術(shù)，以提高分割圖預(yù)測的魯棒性。

圖3 由粗到細的人工篩選流程

表1 DepthCropSeg消融實驗結(jié)果

為了驗證技術(shù)流程中各種策略的有效性，通過消融實驗（表1）表明，經(jīng)過本方法四階段處理后的分割結(jié)果可以媲美使用手工標注數(shù)據(jù)訓練的全監(jiān)督模型。通過可視化對比全監(jiān)督訓練和DepthCropSeg訓練的分割結(jié)果，可以看出：不論是在田間、實驗室和無人機的多種場景下（圖3），還是在軌道式高通量植物表型平臺TraitDiscover或手機采集的圖像上（圖4和圖5），DepthCropSeg均實現(xiàn)了接近全監(jiān)督性能的作物分割效果。

圖4 全監(jiān)督和近似無監(jiān)督分割方法的可視化結(jié)果對比

圖5 在軌道式高通量表型平臺TraitDiscover和手機拍攝的圖片上的分割效果可視化

慧諾瑞德公司創(chuàng)始人韓志國博士表示，“2024年6月份，香港大學和字節(jié)跳動聯(lián)合發(fā)表了Depth Anything V2論文預(yù)印本，我們于7月初便關(guān)注到，并開始在作物分割上進行嘗試。7月14日我們得到的初步結(jié)果非常令人振奮，于是迅速成立攻關(guān)小組，進行算法攻關(guān)和文章撰寫，并于9月4日向《Plant Phenomics》投稿。目前，該算法已經(jīng)嵌入到慧諾瑞德各類型植物表型產(chǎn)品的圖像分析環(huán)節(jié)，大大提高了分析效率和魯棒性。初步估計，該算法可以節(jié)省人工數(shù)據(jù)標注環(huán)節(jié)70%~80%的工作量。

華中科技大學人工智能與自動化學院陸昊副教授表示：“本研究的主要價值在于展示了單目深度估計在生成高質(zhì)量作物分割偽掩碼方面的巨大潛力，向植物表型研究領(lǐng)域引入了一種近似無監(jiān)督的作物分割方法。該方法避免了常規(guī)作物分割方法中對手工像素級標注的依賴，極大減少了模型開發(fā)成本，同時在性能上接近全監(jiān)督水平，為植物表型研究提供了新的工具和思路。”

中國科學院遺傳與發(fā)育生物學研究所植物表型組學研究中心胡偉娟博士表示，“我們通過產(chǎn)學研合作的形式，極大縮短了算法從實驗室到業(yè)務(wù)端的周期。我們將DepthCropSeg算法應(yīng)用到先導(dǎo)項目四個基地的數(shù)據(jù)分析中，實踐證明效果非常好，可顯著提高表型圖像自動化分析的效率和成功率。”

論文匿名審稿人表示，“This manuscript is suitable for publication, as it offers a novel and efficient solution to a key challenge in segmentation task, which is efficient label creation. The manuscript is clearly written, with high-quality figures and tables, and it references relevant literature. Through robust comparisons against benchmark methods and ablation studies, the study makes a valuable contribution to the field.”

作者介紹

慧諾瑞德公司實習生/華中科技大學人工智能與自動化學院曹松良和徐冰慧為論文共同第一作者；中國科學院遺傳與發(fā)育生物學研究所胡偉娟博士、慧諾瑞德公司/宏表型實驗室/慧諾云譜公司韓志國博士和華中科技大學陸昊博士為論文共同通訊作者；華中科技大學人工智能與自動化學院周煒和周樂天，慧諾瑞德公司宏表型實驗室算法工程師張佳菲和張勇帥，一起深度參與了算法開發(fā)。本研究得到了中國科學院戰(zhàn)略性先導(dǎo)科技專項（XDA24040201）、中央引導(dǎo)地方項目（2024ZY-CGZY-19）、國家自然科學基金/面上項目（32370435）、國家重點研發(fā)計劃（2023YFF1001502）和長春市市院科技創(chuàng)新合作專項（23SH18）等項目的資助。