蔚來NADP+NVIDIA Triton 搭建穩定高效的推理平臺

在最近舉行的GTC大會上，蔚來AI平臺負責人白玉麗帶來了非常寶貴的份額。他首次披露了蔚來全套自動駕駛系統（NAD）的部署和開發，也將蔚來自動駕駛研發平臺（NADP）神秘的“Peta工廠”帶到了公眾視野中。據了解，NADP是一個服務于NIO自動駕駛核心業務方向的研發平臺，用于開發NAD功能。之所以命名為“Peta”，是因為每輛車每天可以生成55 PB的數據（1 PB=10^6 GB=10^9兆=10^15位），而NADP是所有流程、工作流程、數據以及底層軟件和硬件的組合。NADP可以通過一站式平臺管理大量復雜的人工智能應用，并將模型開發效率提高20倍，從而縮短自動駕駛汽車的營銷周期，開發出更新更快的架構。在模型訓練、測試和部署過程中，NADP需要執行100000項推理任務，包括數據挖掘、模擬和回歸測試，以確保新的改進能夠有效地解決相應的問題，而不會引起任何新的問題。在對眾多解決方案進行比較和篩選后，NIO選擇NVIDIA Triton推理服務器作為核心組件，為NADP構建高性能推理服務。NVIDIA Triton推理服務器是NVIDIA AI平臺的一部分。這是一款開源推理服務軟件，可以幫助部署和執行標準化模型，并在生產環境中提供快速、可擴展的人工智能。Triton推理服務器可以幫助團隊在任何基于GPU或CPU的基礎設施上部署、運行和擴展在任何框架中訓練的人工智能模型，從而簡化人工智能推理。與此同時，人工智能研究人員和數據科學家可以在不影響生產部署的情況下為他們的項目自由選擇合適的框架。它還幫助開發人員跨云、本地、邊緣和嵌入式設備提供高性能推理。正如白玉麗在分享中提到的那樣， “我們基于NVIDIA Triton推理服務器構建了一個高性能推理服務。該服務非常適合NADP，可以輕松集成模型倉庫、工作流、Jupyter、Prometheus和許多其他組件，以簡化人工智能推理。Triton使編排和擴展更容易，還可以將推理速度提高到六倍，并可以節省24%的資源NIO的inf基于NVIDIA Triton的會議服務平臺在數據挖掘業務場景中，通過服務器端模型預處理和多模型DAG編排，平均節省24%的GPU資源；

在一些核心管道上，吞吐量增加了5倍，總體延遲減少了原來的1/6。在設計之初，Triton采用了云原生設計方法，為圍繞Triton逐步構建完整的基于云原生平臺的推理解決方案提供了極大的便利。作為NADP推理平臺的核心組件，Triton和NADP的各種組件構成了一個完整的一站式推理解決方案。從集成效率、高性能、易用性和高可用性四個方面為NADP推理平臺提供幫助。目前，NADP數據挖掘業務下的所有相關模型預測服務都已遷移到Triton推理服務器，為數百個模型提供了高通量預測能力。同時，在某些任務的基礎上，通過自實現預處理算子、面向服務的預處理和BLS級聯模型，將一些模型任務進行合并，大大提高了處理效率。NVIDIA Triton推理服務器支持所有主要的模型框架（TensorFlow、PyTorch、TensorRT、XGBoost、ONNX、OpenVINO、Python等），可用于在x86和Arm CPU、NVIDIA GPU和AWS Inferentia上運行模型。目前，NVIDIA Triton正被世界各地各行各業的數千家組織用于應對人工智能推理的挑戰。包括：阿里云、亞馬遜彈性Kubernetes服務（EKS）、亞馬遜彈性容器服務（ECS）、亞馬遜SageMaker、谷歌Kubernete引擎（GKE）、谷歌頂點人工智能、HPE Ezmerial、微軟Azure Kubernets服務（AKS）和Azure機器學習都在使用NVIDIA Triton進行人工智能推理和模型部署。有關更多詳細信息，請參閱NVIDIA開發者博客，以了解題為“使用NADP+Triton構建穩定高效的推理平臺”的完整案例介紹。自1993年成立以來，NVIDIA（納斯達克股票代碼：NVDA）一直是加速計算領域的先驅。NVIDIA于1999年發明的GPU推動了PC游戲市場的增長，并重新定義了現代計算機圖形，開創了現代人工智能時代。NVIDIA現在是一家全棧計算公司，其數據中心規模的產品正在重塑整個行業。

標簽：蔚來現代

汽車資訊熱門資訊