2023年7月,依圖發(fā)布了智能安防領(lǐng)域首個(gè)可實(shí)戰可商用的多模態(tài)大模型—依圖天問(wèn)1.0。發(fā)布至今,依圖天問(wèn)大模型基座已完成了兩次迭代升級,并率先在全國50多個(gè)項目中部署應用。

近日,在第十屆中國(上海)國際技術(shù)進(jìn)出口交易會(huì )上,依圖科技最新版本的“依圖天問(wèn)大模型4.0”正式發(fā)布,以全新的交互體驗、超高的進(jìn)化能力,重新定義了多模態(tài)大模型在智能安防領(lǐng)域的應用邊界。

此次發(fā)布的依圖天問(wèn)大模型4.0實(shí)現了眾多功能的跨越式升級:融合自然語(yǔ)言與視覺(jué)信息,大幅提升視頻內容的模糊檢索能力;支持多條件組合場(chǎng)景布控,實(shí)現精細化布控和風(fēng)險管理;依圖天問(wèn)4.0升級后的預訓練模型支持算法極少樣本冷啟動(dòng),通過(guò)Agent代理輔助訓練,真正實(shí)現了“想法既算法”的智能飛躍。

  • 視頻理解更細微,語(yǔ)義檢索更豐富

語(yǔ)言交互的模糊性來(lái)源于語(yǔ)境的多樣性。依圖天問(wèn)4.0引入多模態(tài)視覺(jué)搜索技術(shù),將自然語(yǔ)言與視覺(jué)信息融合,以“用戶(hù)”為主,深刻理解語(yǔ)境中的細微差別,例如:當需要搜索“騎電動(dòng)車(chē)帶多個(gè)煤氣罐”的視頻內容時(shí),用戶(hù)只需用日常語(yǔ)言描述需求,系統便可呈現出最貼近意圖的搜索結果。同時(shí),還可以針對視頻內容里細小目標做模糊化檢索。這些能力極大地提升了城市管理者日常運營(yíng)和決策調度中的工作效率,降低了溝通成本。

(上圖示例:“前燈破損的汽車(chē)”,系統不僅能理解抽象的描述,還迅速反饋出精確的圖像結果)

  • 全要素理解、多條件布控更全面

高精度的視頻內容理解,解鎖了復雜視頻場(chǎng)景布控的可能。機器可以代替人去看視頻,像人一樣看"懂"視頻,對視頻內容進(jìn)行全場(chǎng)景、全要素的理解,就可以對典型的場(chǎng)景目標和規則進(jìn)行精準布控,提前預警潛在風(fēng)險,科學(xué)高效地輔助決策。依圖天問(wèn)4.0支持多條件組合的場(chǎng)景布控,可幫助管理者進(jìn)行精細化風(fēng)險防控和管理。在城市管理、環(huán)境監測、公共安全等領(lǐng)域,這項技術(shù)展現出極高的實(shí)戰應用價(jià)值。

(上圖示例:城市攝像機對“嚴重積水的涵洞”的歷史事件進(jìn)行搜索的結果)

  • 樣本更少更高效,現場(chǎng)訓練更靈活

智能系統的一大特征是可以根據環(huán)境和需求的變化快速適配。傳統的機器學(xué)習模型面對新的算法任務(wù),需重新收集數據、訓練模型,至少要1-3個(gè)月。依圖天問(wèn)4.0升級了預訓練模型,可實(shí)現1分鐘內對極少樣本的新算法進(jìn)行冷啟動(dòng),1小時(shí)內完成在線(xiàn)標注訓練,1天內快速部署上線(xiàn)。通過(guò)日常工作過(guò)程中快速積累的數據飛輪,操作人員每天花幾分鐘對齊數據、簡(jiǎn)單點(diǎn)擊對錯,幾天時(shí)間就可讓算法達到超過(guò)90%的準確率,展現出前所未有的智能化和靈活性,充分滿(mǎn)足業(yè)務(wù)系統的敏捷性和管理的時(shí)效性。

(上圖示例:排查“烈性犬”,少樣本對齊烈性犬,吉娃娃、拉布拉多、田園犬則極少出現)

  • 想法即算法,Agent輔助更智能

Agent(代理)在多模態(tài)大模型體系里扮演著(zhù)至關(guān)重要的角色。AI Agent能夠基于歷史交互記錄和現有的算法能力,做出更為精準的決策輔助。依圖天問(wèn)4.0可輔助逐步對齊認知,解構重組算法。例如:當我們想訓練一個(gè)“大型倉庫里的小型叉車(chē)”,Agent會(huì )針對“大型倉庫”和“小型叉車(chē)”的語(yǔ)義做對齊,從而使得用戶(hù)的想法可以快速轉化為直觀(guān)的算法,讓用戶(hù)的每一個(gè)想法都能即時(shí)轉化為直觀(guān)的操作指令,實(shí)現“想法即算法”的飛躍,呈現出工作助手、智能體的靈動(dòng)與高效特征。

(上圖示例:訓練“大型倉庫里的小型叉車(chē)”,Agent對“大型倉庫”“小型叉車(chē)”的語(yǔ)義做對齊)

 

AI新時(shí)代,因為看見(jiàn),所以相信!

2019年起,依圖就開(kāi)始了以Transformer為基礎的大模型研究與應用探索。2020年,依圖推出預訓練語(yǔ)言理解模型ConvBERT,通過(guò)全新的注意力模塊,僅用 1/10 的訓練時(shí)間和 1/6 的參數就獲得了與谷歌BERT模型一樣的精度,相比OpenAI的 GPT-3,可用更少時(shí)間去探索語(yǔ)言模型的訓練,也降低了模型在預測時(shí)的計算成本。2023年7月,依圖天問(wèn)多模態(tài)大模型正式發(fā)布,快速在全國項目中部署應用。

依圖天問(wèn)多模態(tài)大模型的工作范式,從傳統深度學(xué)習的像素標注升級到了多模態(tài)大模型的表征對齊,通過(guò)視覺(jué)與語(yǔ)言模型的深度融合,歸一了物理世界和認知世界的底層框架,構建起物理與認知世界的橋梁,實(shí)現了用戶(hù)需求與技術(shù)創(chuàng )新的完美對接。此次發(fā)布的依圖天問(wèn)4.0在類(lèi)人交互、情境理解、認知進(jìn)化等方面再次迭代出新特點(diǎn),提升了多模態(tài)大模型對復雜視頻內容的理解和發(fā)現能力。

依圖求索新十年,在垂直視覺(jué)領(lǐng)域,隨著(zhù)工程化應用逐步落地,內容理解的復雜度不斷提升,目標特征、關(guān)系特征、空間特征、行為特征、統計特征、知識特征、業(yè)務(wù)推理不斷解鎖。而多模態(tài)大模型在理論基礎上的不斷突破,讓我們也看到解鎖更多應用場(chǎng)景的可能。

我們堅信,在智能安防領(lǐng)域,多模態(tài)大模型將發(fā)揮出更大潛能,尤其是在個(gè)性化需求強烈、環(huán)境多變的復雜場(chǎng)景中,將展現出更大的商業(yè)和社會(huì )價(jià)值?;跀祿c算力的智能化運營(yíng)將成為公共安全和城市治理的新常態(tài),各行各業(yè)也必將隨著(zhù)技術(shù)的突破性發(fā)展真正邁入人工智能的新時(shí)代。

您可以復制這個(gè)鏈接分享給其他人:http://www.northchejian.com.cn/node/899