近日，我校未來交通學(xué)院智慧城市智能交通團(tuán)隊在交通運輸領(lǐng)域國際頂級期刊《IEEE Transactions on Intelligent Transportation Systems》（T-ITS）上發(fā)表題為《MAGAE: Multi-level Alignment over Aggregation Semantic Graph with Attribute Enhancement for Text-based Vehicle Retrieval》的研究成果。未來交通學(xué)院2021級本科生張瑞軒、楊喆普分別為論文第一和第二作者，戴濤副教授為通訊作者，長安大學(xué)為第一署名單位和第一通訊單位。這是我校近年首次由本科生為第一作者在該行業(yè)頂級期刊發(fā)表論文。

隨著城市和交通的數(shù)字化程度不斷提高，車輛檢索技術(shù)已成為智能交通系統(tǒng)的重要組成部分。近年來，基于自然語言的車輛檢索以其高靈活性和更廣闊的應(yīng)用價值，受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。為彌合自然語言和車輛圖像之間存在巨大的語義鴻溝，本研究提出了一種新方法，稱為“基于多層次對齊聚合語義圖與屬性增強(qiáng)的自然語言車輛檢索方法（MAGAE）”。

圖1.基于自然語言和基于圖像的車輛檢索方法流程對比

研究采用大型語言模型（LLMs）和預(yù)訓(xùn)練視覺模型提取自然語言和全局視覺的特征嵌入，提出了一種全新用于動態(tài)集成車輛局部和全局特征的F-Encoder架構(gòu)，設(shè)計了一種協(xié)同注意力學(xué)習(xí)機(jī)制，用于提取并增強(qiáng)車輛屬性嵌入的魯棒性；為彌合視覺與自然語言之間的顯著差距，論文引入多層次語義圖對齊模塊，以有效對多模態(tài)數(shù)據(jù)屬性進(jìn)行聚合和交互。最后，為提高神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力，引入學(xué)習(xí)損失函數(shù)，利用多任務(wù)學(xué)習(xí)優(yōu)點有效提升檢索效果，并在國際公開數(shù)據(jù)集CityFlow-NL上驗證了所提出MAGAE算法的有效性。本研究成果為自然語言車輛檢索提供了新的研究視角，有助于推動基于大模型的城市交通管理能力與運行效率提升。

圖2.MAGAE模型架構(gòu)示意圖

圖3.MAGAE自然語言車輛檢索結(jié)果示意圖

長安大學(xué)未來交通學(xué)院是學(xué)校響應(yīng)國家“交通強(qiáng)國”戰(zhàn)略、推進(jìn)交通運輸工程國家“雙一流”學(xué)科建設(shè)和落實教育部“未來技術(shù)學(xué)院”建設(shè)要求而設(shè)立的特色學(xué)院。自成立以來，學(xué)院始終將人才培養(yǎng)放在首位，積極探索“主輔修結(jié)合，培養(yǎng)個性化、學(xué)術(shù)國際化”的本碩博貫通培養(yǎng)模式，致力于全面激發(fā)學(xué)生科研潛能與創(chuàng)造力。此次，本科生張瑞軒以第一作者身份在交通領(lǐng)域頂級學(xué)術(shù)期刊發(fā)表論文，正是學(xué)校和學(xué)院高水平育人成果的詮釋。

圖4.論文已在IEEE Xplore數(shù)據(jù)庫在線開放

注：IEEE T-ITS是國際電氣和電子工程師協(xié)會（IEEE）智能交通系統(tǒng)分會的旗艦期刊，關(guān)注交通系統(tǒng)中信息技術(shù)的設(shè)計、分析和控制，其主題涉及智能交通系統(tǒng)技術(shù)諸多領(lǐng)域。該刊當(dāng)前影響因子為7.9，H-index指數(shù)112，在科睿唯安JCR分區(qū)屬于Q1類Top期刊。

論文鏈接：https://ieeexplore.ieee.org/document/11005612

（審稿：湯穎穎  網(wǎng)絡(luò)編輯：和燕）