福瑞泰克中央計算平臺360度感知系統解決NOA量產背后的挑戰

隨著高級自動駕駛時代的到來，數據驅動的深度學習技術提高了智能駕駛的可靠性和功能范圍，更加集成的智能駕駛輔助駕駛功能NOA逐漸成為更多車型的標準功能。

智能輔助駕駛與高精地圖的完美結合，NOA可以讓車輛在行駛過程中自動變道、超車、避讓大車等操作，無需人工干預，還可以自動進出高速公路匝道或立交橋岔口。進一步提高了智能駕駛的自動化水平，為用戶的智能駕駛帶來了全新的體驗。

基于ADC中央計算平臺，Fretek為客戶提供不同場景下的一體化NOA停車方案，包括ADC20(支持L2.9)、ADC25(支持城市場景)、ADC30(支持L3-L4)三個版本，可支持高速場景下匝道、自動變道、城市道路堵車自動跟車、低速場景下自動停車等功能。

Fretek ADC中央計算平臺植根于技術創新，通過停車和駕駛功能的整合以及360度感知技術，實現L2+增強感知，將整體功能體驗和性能提升到新的高度。Fretek的360°感知技術支持客戶基于場景的重建，針對不同車輛制造商的需求，幫助他們解決在城市道路、高速公路和農村道路的差異化場景中感知需求的挑戰。

# 01實現360度周圍感知

Fretek ADC20的域控制器通過獨創的6V5R架構完美支持NOA功能，性價比極高。域控制器的傳感器由6個攝像頭、5個毫米波雷達和12個超聲波雷達組成，實現360°全方位感知，并輔以高精度地圖，實現超視距靜態道路環境感知。通過多個傳感器的傳感冗余，保證至少兩個傳感器系統覆蓋每個方向，從而更大程度上保證傳感精度。

ADC20域控制系統的一大特點是讓全景攝像機扮演多種角色。在停車場景中，全景攝像頭為APA停車功能提供停車位和障礙物感知功能。在駕駛場景中，可以提供車輛、行人、車道線等感知功能，彌補前視和毫米波雷達的盲區，提高駕駛安全性。兩種場景的功能以30KPH的速度自動無縫切換，兼容不同場景的感知需求，更重要的是不增加任何硬件成本。

基于360度感知的高階自動駕駛解決方案，Fretek在量產開發過程中不斷探索不同場景下傳感器的性能邊界，針對場景開發不同的多傳感器融合策略，充分發揮各自的優勢，揚長避短。融合感知為功能決策提供更可靠的依據，評估傳感器的狀態和感知置信度，可以在困難場景下及時提醒駕駛員，從而避免危險的自動駕駛策略。

# 02數據閉環，工具鏈

智能駕駛的智能化程度越高，對數據的依賴就越大，這是業內普遍的共識。智能駕駛面臨的數據問題是典型的數據分布長尾問題，即極端案例場景少但極其重要和困難。因此，業內提出了數據閉環的概念，通過建立完整的工具鏈，可以自動或半自動完成從數據采集、數據挖掘到算法訓練、驗證、車端升級應用的完整閉環。長尾數據的收集和處理效率決定了算法能力和迭代速度。基于對客戶需求和場景數據的理解，Fretek構建了一個數據閉環系統，支持產品開發階段和產品應用階段不同的應用策略，并持續……在客戶項目和產品開發期間進行優化和升級。

Fretek在車端的ADC20域控制器中部署了影子模式和OTA在線升級模塊。影子模式是基于對量產車上的推理判斷，可以實時識別特殊功能的場景信息，自動記錄感興趣的感知信息和駕駛信息。根據算法要求，在ADC20中設置了多種不同的觸發條件，如駕駛員接管、自動/手動駕駛條件下的緊急制動、自動變道功能失效等。當滿足一定的觸發條件時，會自動記錄事件前后的相關信息。為了節省數據的內存空間，對觸發事件進行分類，重要性較高的數據優先存儲。數據在適當的時候通過4G/5G無線網絡上傳到數據中心，上傳前對數據進行脫敏處理。

在后端數據中心，對數據進行預處理、挖掘、清洗和標記，然后用于算法模型訓練、驗證和部署，最后通過OTA升級到車載端。從而形成數據閉環，提高產品迭代效率。在后端數據處理的不同階段，Fretek開發了多種工具鏈，如有趣的數據挖掘工具、自動數據清洗工具、便捷的數據可視化工具、反饋駕駛環境的性能評價指標統計工具等。

在產品和項目開發階段，Fretek收集了數百萬公里的實際道路數據，用于算法開發和充電驗證。對于視覺感知算法的開發，從海量數據中快速篩選出有效數據對于算法的快速迭代非常重要。我們通過客觀評估算法的性能來定義數據挖掘策略，快速篩選出高價值的數據。借助超大規模網絡、時間序列信息和后期處理跟蹤分析，離線數據挖掘工具可以有效挖掘角落案例場景，提高數據有效性。

# 03全景攝像機在駕駛中的應用

市面上一般的全景攝像頭主要利用的是泊車功能，而福瑞泰克將全景攝像頭重新用于駕駛環境的感知，在不增加成本的情況下，補充其他傳感器在超近距離的盲區，從而增加駕駛條件下的感知可靠性。由于攝像機的魚眼成像特性，可以看到超近距離車輛的車輪和行人的腳，因此在識別目標位置方面，特別是在提供NOA變道時相鄰目標車輛的位置和姿態方面，比其他攝像機具有明顯的優勢。左右駕駛可以同時檢測車輛、行人、兩輪車、車道線、道路邊界等動態和靜態目標。為了達到高精度、低耗時的算法效果，我們采用了幾種技術方法。

4向環視的數據量很大，對計算平臺的計算能力要求很高。如果對每幅圖像分別處理，會明顯增加計算量和感知延遲。為了節省計算能力，我們先將四幅圖像進行合并，然后再進行計算。對于目標檢測網絡，直接將原始圖像拼接成網格作為網絡的輸入，對于車道線檢測網絡，拼接俯視圖，并對圖像進行適當的下采樣。這樣可以明顯降低神經網絡的時間消耗，提高處理的并行性。

對于目標檢測功能，Fretek的檢測方案與其他攝像機方案類似，即檢測目標邊框和接地點，然后根據攝像機內外參數將圖像坐標投影到車輛坐標系。同時利用BEV對四個目標進行融合，從而獲得穩定的目標輸出。對于車道線檢測功能，首先根據攝像機內外參數將圖像拼接成俯視圖，然后直接回歸車道線的三次曲線方程。與傳統的分割方法相比，t……省略車道線的后處理擬合過程。

# 04視覺感知算法的應用優化

感知算法是整個自動駕駛系統的基礎，需要為功能決策提供豐富可靠的信息。車載傳感算法的性能直接體現在能否快速準確地識別周圍障礙物和一系列道路地面信息，如車道線、路緣石、地面標志、停車線等。為了獲得良好的感知效果，往往會使用較大的神經網絡模型，但較大的網絡模型會消耗更多的計算資源。為了給客戶提供高性價比的產品，提高產品的競爭力，福瑞泰克選擇了成本適中的硬件平臺，這對算法部署提出了更高的要求，所以我們更注重低計算能力平臺上的算法部署。

為了解決芯片功耗和計算能力的限制，小規模網絡模型是必然的選擇，但是模型的訓練比較困難。弗雷特克探索了各種訓練技術來提高模型的準確性。知識蒸餾技術在學術界和工業界已經得到了廣泛的研究和應用，Furuitek在這方面也做了大量的驗證工作。我們選擇使用結構較大的模型作為教師網絡，并在訓練時在教師網絡和現有網絡之間建立一個損耗。通過減少損耗，現有網絡具有與教師網絡相似的性能。在傳統的網絡訓練中，通常使用人工標記的標簽(即一次性編碼標簽)來訓練網絡。這些標簽可以讓網絡知道圖像中的目標內容。但這種標簽的缺點是目標的分類只能是單一的，目標是某個類別的概率只能是100%。在現實世界中，可能會出現目標重疊或者類似的情況。在蒸餾過程中，教師網會輸出軟目標標簽，這是教師模型預測的每個類別的概率，更符合真實的概率分布。使用軟目標作為模型標簽可以提高模型捕捉相似性的能力。

模型的訓練一般采用浮點精度，而嵌入式平臺的部署一般是8位量化甚至更低。模型從32位浮點到8位量化的變化過程，必然會帶來更大的精度損失，尤其是當模型規模很小時，無法滿足智能駕駛對感知精度的要求。量化再訓練QAT是減少精度損失的好方法。在分析了計算平臺的計算過程后，我們在訓練框架中設計了量化規則，并在正常的訓練過程中加入了量化模擬，從而減少了部署過程中的精度損失。

Transformer最早在NLP領域大放異彩，近年來在視覺感知領域也表現出了優越的性能，也成為了視覺感知算法的研究熱點。但是Transformer的特殊算子對目前主流的計算平臺并不友好，計算時間會明顯增加，Transformer在實際應用中并未能獲得明顯的優勢。面對這種情況，Fretek選擇簡化Transformer的結構，在一些網絡結構中使用Transformer的關鍵特性，以達到性能和時間消耗的平衡。我們在車道線分割網絡中局部使用該技術，提高了網絡的全局感知能力，提高了車道線交叉、遠程車道線檢測和惡劣環境下車道線檢測的性能。我們也在嘗試Transformer的其他用途，比如在蒸餾的老師模型中使用這個模塊來提高網絡精度。

隨著高級自動駕駛時代的到來，數據驅動的深度學習技術提高了智能駕駛的可靠性和功能范圍，更加集成的智能駕駛輔助駕駛功能NOA逐漸成為更多車型的標準功能。

智能輔助駕駛與高精地圖的完美結合，NOA可以讓車輛擁有……在行駛過程中能自動變道、超車、避讓大車等操作，無需人工干預，還能自動進出高速公路匝道或立交橋岔道。進一步提高了智能駕駛的自動化水平，為用戶的智能駕駛帶來了全新的體驗。

基于ADC中央計算平臺，Fretek為客戶提供不同場景下的一體化NOA停車方案，包括ADC20(支持L2.9)、ADC25(支持城市場景)、ADC30(支持L3-L4)三個版本，可支持高速場景下匝道、自動變道、城市道路堵車自動跟車、低速場景下自動停車等功能。

Fretek ADC中央計算平臺植根于技術創新，通過停車和駕駛功能的整合以及360度感知技術，實現L2+增強感知，將整體功能體驗和性能提升到新的高度。Fretek的360°感知技術支持客戶基于場景的重建，針對不同車輛制造商的需求，幫助他們解決在城市道路、高速公路和農村道路的差異化場景中感知需求的挑戰。

# 01實現360度周圍感知

Fretek ADC20的域控制器通過獨創的6V5R架構完美支持NOA功能，性價比極高。域控制器的傳感器由6個攝像頭、5個毫米波雷達和12個超聲波雷達組成，實現360°全方位感知，并輔以高精度地圖，實現超視距靜態道路環境感知。通過多個傳感器的傳感冗余，保證至少兩個傳感器系統覆蓋每個方向，從而更大程度上保證傳感精度。

ADC20域控制系統的一大特點是讓全景攝像機扮演多種角色。在停車場景中，全景攝像頭為APA停車功能提供停車位和障礙物感知功能。在駕駛場景中，可以提供車輛、行人、車道線等感知功能，彌補前視和毫米波雷達的盲區，提高駕駛安全性。兩種場景的功能以30KPH的速度自動無縫切換，兼容不同場景的感知需求，更重要的是不增加任何硬件成本。

基于360度感知的高階自動駕駛解決方案，Fretek在量產開發過程中不斷探索不同場景下傳感器的性能邊界，針對場景開發不同的多傳感器融合策略，充分發揮各自的優勢，揚長避短。融合感知為功能決策提供更可靠的依據，評估傳感器的狀態和感知置信度，可以在困難場景下及時提醒駕駛員，從而避免危險的自動駕駛策略。

# 02數據閉環，工具鏈

智能駕駛的智能化程度越高，對數據的依賴就越大，這是業內普遍的共識。智能駕駛面臨的數據問題是典型的數據分布長尾問題，即極端案例場景少但極其重要和困難。因此，業內提出了數據閉環的概念，通過建立完整的工具鏈，可以自動或半自動完成從數據采集、數據挖掘到算法訓練、驗證、車端升級應用的完整閉環。長尾數據的收集和處理效率決定了算法能力和迭代速度。基于對客戶需求和場景數據的理解，Fretek構建了數據閉環系統，在產品開發階段和產品應用階段支持不同的應用策略，在客戶項目和產品開發過程中不斷優化升級。

Fretek在車端的ADC20域控制器中部署了影子模式和OTA在線升級模塊。影子模式基于對量產車上的推理判斷，可以實時識別特殊功能的場景信息，自動記錄感興趣的感知信息和dr……ing信息。根據算法要求，在ADC20中設置了多種不同的觸發條件，如駕駛員接管、自動/手動駕駛條件下的緊急制動、自動變道功能失效等。當滿足一定的觸發條件時，會自動記錄事件前后的相關信息。為了節省數據的內存空間，對觸發事件進行分類，重要性較高的數據優先存儲。數據在適當的時候通過4G/5G無線網絡上傳到數據中心，上傳前對數據進行脫敏處理。

在后端數據中心，對數據進行預處理、挖掘、清洗和標記，然后用于算法模型訓練、驗證和部署，最后通過OTA升級到車載端。從而形成數據閉環，提高產品迭代效率。在后端數據處理的不同階段，Fretek開發了多種工具鏈，如有趣的數據挖掘工具、自動數據清洗工具、便捷的數據可視化工具、反饋駕駛環境的性能評價指標統計工具等。

在產品和項目開發階段，Fretek收集了數百萬公里的實際道路數據，用于算法開發和充電驗證。對于視覺感知算法的開發，從海量數據中快速篩選出有效數據對于算法的快速迭代非常重要。我們通過客觀評估算法的性能來定義數據挖掘策略，快速篩選出高價值的數據。借助超大規模網絡、時間序列信息和后期處理跟蹤分析，離線數據挖掘工具可以有效挖掘角落案例場景，提高數據有效性。

# 03全景攝像機在駕駛中的應用

市面上一般的全景攝像頭主要利用的是泊車功能，而福瑞泰克將全景攝像頭重新用于駕駛環境的感知，在不增加成本的情況下，補充其他傳感器在超近距離的盲區，從而增加駕駛條件下的感知可靠性。由于攝像機的魚眼成像特性，可以看到超近距離車輛的車輪和行人的腳，因此在識別目標位置方面，特別是在提供NOA變道時相鄰目標車輛的位置和姿態方面，比其他攝像機具有明顯的優勢。左右駕駛可以同時檢測車輛、行人、兩輪車、車道線、道路邊界等動態和靜態目標。為了達到高精度、低耗時的算法效果，我們采用了幾種技術方法。

4向環視的數據量很大，對計算平臺的計算能力要求很高。如果對每幅圖像分別處理，會明顯增加計算量和感知延遲。為了節省計算能力，我們先將四幅圖像進行合并，然后再進行計算。對于目標檢測網絡，直接將原始圖像拼接成網格作為網絡的輸入，對于車道線檢測網絡，拼接俯視圖，并對圖像進行適當的下采樣。這樣可以明顯降低神經網絡的時間消耗，提高處理的并行性。

對于目標檢測功能，Fretek的檢測方案與其他攝像機方案類似，即檢測目標邊框和接地點，然后根據攝像機內外參數將圖像坐標投影到車輛坐標系。同時利用BEV對四個目標進行融合，從而獲得穩定的目標輸出。對于車道線檢測功能，首先根據攝像機內外參數將圖像拼接成俯視圖，然后直接回歸車道線的三次曲線方程。與傳統的分割方法相比，省略了車道線的后處理擬合過程。

# 04視覺感知算法的應用優化

感知算法是整個自動駕駛系統的基礎，需要為功能決策提供豐富可靠的信息。車載傳感算法的性能直接體現在能否快速準確地識別周圍障礙物和一系列道路地面信息，如車道線、ke……s，地面標志，停止線等等。為了獲得良好的感知效果，往往會使用較大的神經網絡模型，但較大的網絡模型會消耗更多的計算資源。為了給客戶提供高性價比的產品，提高產品的競爭力，福瑞泰克選擇了成本適中的硬件平臺，這對算法部署提出了更高的要求，所以我們更注重低計算能力平臺上的算法部署。

為了解決芯片功耗和計算能力的限制，小規模網絡模型是必然的選擇，但是模型的訓練比較困難。弗雷特克探索了各種訓練技術來提高模型的準確性。知識蒸餾技術在學術界和工業界已經得到了廣泛的研究和應用，Furuitek在這方面也做了大量的驗證工作。我們選擇使用結構較大的模型作為教師網絡，并在訓練時在教師網絡和現有網絡之間建立一個損耗。通過減少損耗，現有網絡具有與教師網絡相似的性能。在傳統的網絡訓練中，通常使用人工標記的標簽(即一次性編碼標簽)來訓練網絡。這些標簽可以讓網絡知道圖像中的目標內容。但這種標簽的缺點是目標的分類只能是單一的，目標是某個類別的概率只能是100%。在現實世界中，可能會出現目標重疊或者類似的情況。在蒸餾過程中，教師網會輸出軟目標標簽，這是教師模型預測的每個類別的概率，更符合真實的概率分布。使用軟目標作為模型標簽可以提高模型捕捉相似性的能力。

模型的訓練一般采用浮點精度，而嵌入式平臺的部署一般是8位量化甚至更低。模型從32位浮點到8位量化的變化過程，必然會帶來更大的精度損失，尤其是當模型規模很小時，無法滿足智能駕駛對感知精度的要求。量化再訓練QAT是減少精度損失的好方法。在分析了計算平臺的計算過程后，我們在訓練框架中設計了量化規則，并在正常的訓練過程中加入了量化模擬，從而減少了部署過程中的精度損失。

Transformer最早在NLP領域大放異彩，近年來在視覺感知領域也表現出了優越的性能，也成為了視覺感知算法的研究熱點。但是Transformer的特殊算子對目前主流的計算平臺并不友好，計算時間會明顯增加，Transformer在實際應用中并未能獲得明顯的優勢。面對這種情況，Fretek選擇簡化Transformer的結構，在一些網絡結構中使用Transformer的關鍵特性，以達到性能和時間消耗的平衡。我們在車道線分割網絡中局部使用該技術，提高了網絡的全局感知能力，提高了車道線交叉、遠程車道線檢測和惡劣環境下車道線檢測的性能。我們也在嘗試Transformer的其他用途，比如在蒸餾的老師模型中使用這個模塊來提高網絡精度。

標簽：優越

汽車資訊熱門資訊