蔚来NADP+NVIDIA Triton 搭建稳定高效的推理平台

在最近举行的GTC大会上，蔚来AI平台负责人白玉丽带来了非常宝贵的份额。他首次披露了蔚来全套自动驾驶系统（NAD）的部署和开发，也将蔚来自动驾驶研发平台（NADP）神秘的“Peta工厂”带到了公众视野中。据了解，NADP是一个服务于NIO自动驾驶核心业务方向的研发平台，用于开发NAD功能。之所以命名为“Peta”，是因为每辆车每天可以生成55 PB的数据（1 PB=10^6 GB=10^9兆=10^15位），而NADP是所有流程、工作流程、数据以及底层软件和硬件的组合。NADP可以通过一站式平台管理大量复杂的人工智能应用，并将模型开发效率提高20倍，从而缩短自动驾驶汽车的营销周期，开发出更新更快的架构。在模型训练、测试和部署过程中，NADP需要执行100000项推理任务，包括数据挖掘、模拟和回归测试，以确保新的改进能够有效地解决相应的问题，而不会引起任何新的问题。在对众多解决方案进行比较和筛选后，NIO选择NVIDIA Triton推理服务器作为核心组件，为NADP构建高性能推理服务。NVIDIA Triton推理服务器是NVIDIA AI平台的一部分。这是一款开源推理服务软件，可以帮助部署和执行标准化模型，并在生产环境中提供快速、可扩展的人工智能。Triton推理服务器可以帮助团队在任何基于GPU或CPU的基础设施上部署、运行和扩展在任何框架中训练的人工智能模型，从而简化人工智能推理。与此同时，人工智能研究人员和数据科学家可以在不影响生产部署的情况下为他们的项目自由选择合适的框架。它还帮助开发人员跨云、本地、边缘和嵌入式设备提供高性能推理。正如白玉丽在分享中提到的那样， “我们基于NVIDIA Triton推理服务器构建了一个高性能推理服务。该服务非常适合NADP，可以轻松集成模型仓库、工作流、Jupyter、Prometheus和许多其他组件，以简化人工智能推理。Triton使编排和扩展更容易，还可以将推理速度提高到六倍，并可以节省24%的资源NIO的inf基于NVIDIA Triton的会议服务平台在数据挖掘业务场景中，通过服务器端模型预处理和多模型DAG编排，平均节省24%的GPU资源；

在一些核心管道上，吞吐量增加了5倍，总体延迟减少了原来的1/6。在设计之初，Triton采用了云原生设计方法，为围绕Triton逐步构建完整的基于云原生平台的推理解决方案提供了极大的便利。作为NADP推理平台的核心组件，Triton和NADP的各种组件构成了一个完整的一站式推理解决方案。从集成效率、高性能、易用性和高可用性四个方面为NADP推理平台提供帮助。目前，NADP数据挖掘业务下的所有相关模型预测服务都已迁移到Triton推理服务器，为数百个模型提供了高通量预测能力。同时，在某些任务的基础上，通过自实现预处理算子、面向服务的预处理和BLS级联模型，将一些模型任务进行合并，大大提高了处理效率。NVIDIA Triton推理服务器支持所有主要的模型框架（TensorFlow、PyTorch、TensorRT、XGBoost、ONNX、OpenVINO、Python等），可用于在x86和Arm CPU、NVIDIA GPU和AWS Inferentia上运行模型。目前，NVIDIA Triton正被世界各地各行各业的数千家组织用于应对人工智能推理的挑战。包括：阿里云、亚马逊弹性Kubernetes服务（EKS）、亚马逊弹性容器服务（ECS）、亚马逊SageMaker、谷歌Kubernete引擎（GKE）、谷歌顶点人工智能、HPE Ezmerial、微软Azure Kubernets服务（AKS）和Azure机器学习都在使用NVIDIA Triton进行人工智能推理和模型部署。有关更多详细信息，请参阅NVIDIA开发者博客，以了解题为“使用NADP+Triton构建稳定高效的推理平台”的完整案例介绍。自1993年成立以来，NVIDIA（纳斯达克股票代码：NVDA）一直是加速计算领域的先驱。NVIDIA于1999年发明的GPU推动了PC游戏市场的增长，并重新定义了现代计算机图形，开创了现代人工智能时代。NVIDIA现在是一家全栈计算公司，其数据中心规模的产品正在重塑整个行业。

标签：蔚来现代

汽车资讯热门资讯