近日,權威機構ACM MM’20 Grand Challenge主辦的“大規模復雜場(chǎng)景人體視頻解析”挑戰賽如期舉行,包括 Amazon、騰訊、大華科技、依圖科技、中山大學(xué)等上百支參賽隊伍參與了超過(guò)56000個(gè)復雜事件下的人體行為(包括排隊、打架、俯身、同行、跑動(dòng)、滯留等)解析。來(lái)自中國的依圖科技拿下了“Track-4:行為識別”的第一名。

據了解,ACM是全球最大的計算機領(lǐng)域專(zhuān)業(yè)性學(xué)術(shù)組織,其評選的圖靈獎(A.M.Turing Award)被公認為世界計算機領(lǐng)域的諾貝爾獎。而ACM MM是全球多媒體領(lǐng)域的頂級會(huì )議,屬中國計算機學(xué)會(huì )(CCF)指定的A類(lèi)國際會(huì )議。

如果把人臉識別比作醫院的“普外門(mén)診”,那么行為識別尤其是人類(lèi)的行為識別,其復雜度和識別難度不亞于“心血管內科+神經(jīng)內科”。場(chǎng)景復雜多變、動(dòng)作差異化大、需要捕捉連續動(dòng)作和長(cháng)時(shí)間動(dòng)作,這些對行為識別和分析都有著(zhù)巨大的挑戰,也就需要算法對行為本身有更精準的分析推理能力,甚至還能通過(guò)既定的場(chǎng)景推算未曾見(jiàn)過(guò)的場(chǎng)景。

依圖方面介紹,在比賽中,依圖算法的指標達到了wf-mAP@avg 0.26,將以往學(xué)術(shù)界中的基準算法提升了近3倍。與舉辦了多次的國際競賽不同,這次競賽是首屆,參賽隊伍在賽前也無(wú)法了解識別的類(lèi)別、數據集的大小和識別的具體需求,要在短短一個(gè)多月的時(shí)間內,設計出最優(yōu)的算法。

首先,視頻相較于圖像的行為識別更加復雜,且如何建模、視頻幀之間的相關(guān)性仍是學(xué)術(shù)界一直存在的難題。當應用場(chǎng)景明確后,在已知分析的對象是人體且明確知道要識別的類(lèi)別后,就可以針對性的進(jìn)行算法優(yōu)化,通過(guò)算法定制化來(lái)提升算法性能,解決以往不能很好解決的問(wèn)題。

與此同時(shí),依圖此次創(chuàng )新性地將算法與場(chǎng)景進(jìn)行了深度結合。一方面從視頻中自動(dòng)提取到了準確豐富的場(chǎng)景信息,結合先進(jìn)的行人檢測、行人重識別算法,全面構建了人與人、人與場(chǎng)景、人與物之間在視頻中的關(guān)系;另一方面,借助多年來(lái)的算法積淀和對行業(yè)場(chǎng)景的理解,依圖對比賽中要求的特定的14類(lèi)任務(wù)進(jìn)行了深度算法優(yōu)化。

值得關(guān)注的是,不同于其他參賽隊伍,依圖此次沒(méi)有使用復雜的多模型融合策略,僅用單模型,借助背景提取和分割算法,將行為的解析與場(chǎng)景結合,大大降低了問(wèn)題難度,這也意味著(zhù)仍可以進(jìn)一步通過(guò)融合多個(gè)模型提升算法性能。

您可以復制這個(gè)鏈接分享給其他人:http://www.northchejian.com.cn/node/868