三菱電機研發場景感知交互技術 可給駕駛員提供自然直觀的指導

據國外媒體報道，三菱電機近日宣布，開發出世界上首個能夠與人類進行高度自然和直觀交互的技術，該技術基于場景感知能力，可以將多模態感知信息翻譯成自然語言。這項名為場景感知交互的新技術集成了三菱電機專有的Maisart compact AI技術，可以分析多模態感知信息，并通過上下文生成的自然語言實現與人類高度自然直觀的交互。

(圖片來源:三菱電機)該技術基于多模態感知信息，如攝像頭捕捉的圖像和視頻、麥克風記錄的音頻信息和激光雷達測量的定位信息，來識別情境中的物體。為了對這些不同類型的信息進行優先排序，三菱電機開發了注意力多模態融合技術，該技術可以自動對突出顯示的單峰信息進行加權，并選擇合適的詞語來準確描述場景。在使用通用測試集的基準測試中，注意力多模態融合技術使用音頻和視覺信息獲得基于共識的圖像描述評估(CIDEr)評分，比僅使用視覺信息的高29%。三菱電機將注意力多模態融合與場景理解技術和基于情境的自然語言生成技術相結合，實現了強大的端到端場景感知交互系統，可以在不同場景下與用戶實現高度直觀的交互。

(圖片來源:三菱電機)場景感知交互技術可用于汽車導航應用，為駕駛員提供直觀的路線導航。例如，系統不再指示駕駛員“50米內右轉”，而是提供場景感知引導，如“郵箱前右轉”或“灰色汽車后右轉”。此外，系統還會在預測到附近物體的行駛路徑與車輛的行駛路徑相交時產生語音報警，比如“行人正在過馬路”。為了實現這個功能，系統會對場景進行分析，識別場景中隱藏的視覺地標和動態元素，然后利用這些東西識別物體和事件，生成直觀的句子引導進行導航。

(圖片來源:三菱電機)最近，使用深度神經網絡的物體識別、視頻描述、自然語言生成和口語對話等技術取得了許多進展，可以使機器更好地理解周圍環境，更自然、更直觀地與人類進行交互。場景感知交互技術有望具有廣泛的適用性，包括用于車載信息娛樂系統的人機界面、與建筑物和工廠自動化系統中的機器人的交互、用于監控人類健康的系統、用于為人類解釋復雜場景的監控系統、用于鼓勵社交距離的系統、用于支持公共場所中的無觸摸操作設備的系統等等。據國外媒體報道，三菱電機近日宣布，開發出世界上首個能夠與人類進行高度自然和直觀交互的技術，該技術基于場景感知能力，可以將多模態感知信息翻譯成自然語言。這項名為場景感知交互的新技術集成了三菱電機專有的Maisart compact AI技術，可以分析多模態感知信息，并通過上下文生成的自然語言實現與人類高度自然直觀的交互。

(圖片來源:三菱電機)該技術基于多模態感知信息，如攝像頭捕捉的圖像和視頻、麥克風記錄的音頻信息和激光雷達測量的定位信息，來識別情境中的物體。為了對這些不同類型的信息進行優先排序，三菱電機開發了注意力多模態融合技術，該技術可以自動對突出顯示的單峰信息進行加權，并選擇合適的詞語來準確描述場景。在使用通用測試集的基準測試中，att……tion多模態融合技術利用音頻和視覺信息獲得基于共識的圖像描述評估(CIDEr)評分，比僅利用視覺信息的評分提高了29%。三菱電機將注意力多模態融合與場景理解技術和基于情境的自然語言生成技術相結合，實現了強大的端到端場景感知交互系統，可以在不同場景下與用戶實現高度直觀的交互。

(圖片來源:三菱電機)場景感知交互技術可用于汽車導航應用，為駕駛員提供直觀的路線導航。例如，系統不再指示駕駛員“50米內右轉”，而是提供場景感知引導，如“郵箱前右轉”或“灰色汽車后右轉”。此外，系統還會在預測到附近物體的行駛路徑與車輛的行駛路徑相交時產生語音報警，比如“行人正在過馬路”。為了實現這個功能，系統會對場景進行分析，識別場景中隱藏的視覺地標和動態元素，然后利用這些東西識別物體和事件，生成直觀的句子引導進行導航。

(圖片來源:三菱電機)最近，使用深度神經網絡的物體識別、視頻描述、自然語言生成和口語對話等技術取得了許多進展，可以使機器更好地理解周圍環境，更自然、更直觀地與人類進行交互。場景感知交互技術有望具有廣泛的適用性，包括用于車載信息娛樂系統的人機界面、與建筑物和工廠自動化系統中的機器人的交互、用于監控人類健康的系統、用于為人類解釋復雜場景的監控系統、用于鼓勵社交距離的系統、用于支持公共場所中的無觸摸操作設備的系統等等。

標簽：三菱發現

汽車資訊熱門資訊