将大语言模型推理能力提升数倍,英伟达推出NVIDIA TensorRT-LLM

添加书签

专注AIGC领域的专业社区,关注OpenAI、百度文心一言等大语言模型(LLM)的发展和应用落地,关注LLM的基准评测和市场研究,欢迎关注!

9月9日,全球人工智能领导者英伟达(NVIDIA)在官网宣布,推出NVIDIA TensorRT-LLM用于提升大语言模型的推理能力。

据悉,TensorRT-LLM由TensorRT深度学习编译器组成,包括优化的内核、预处理和后处理,以及用于在NVIDIA GPU上实现突破性的多GPU/多节点通信。

这使开发人员能以最高性能和快速自定义功能,而无需深入了解C++或NVIDIA CUDA快速尝试不同的大语言模型。

目前,TensorRT-LLM处于测试阶段,未来几周内会正式发布并开源。(申请地址:https://developer.nvidia.com/tensorrt-llm-early-access

将大语言模型推理能力提升数倍,英伟达推出NVIDIA TensorRT-LLM插图

ChatGPT等大语言模型展示出了前所未有的强大功能,能生成各种文本、提取摘要、分析数据等。但功能越强大参数就越高,例如,GPT-3.5达到1750亿参数,开发者需要耗费大量算力才能投入使用。

因此,英伟达推出TensorRT-LLM,帮助开发者加速和优化大语言模型的推理能力,以最少的算力资源开发更强大的生成式AI产品。

TensorRT-LLM性能评测

自动生成摘是大语言模型常用功能之一,在此测试中,TensorRT-LLM 在最新 NVIDIA Hopper 架构上实现了性能突破。

例如,H100在TensorRT-LLM的加持下,将GPT-J 6B大模型的推理能力提升了8倍。

将大语言模型推理能力提升数倍,英伟达推出NVIDIA TensorRT-LLM插图1

在Meta发布的Llama 2 700亿参数大预言模型上,TensorRT-LLM可以将推理性能比 A100 GPU提高 4.6倍。

将大语言模型推理能力提升数倍,英伟达推出NVIDIA TensorRT-LLM插图2

运行方法和适配模型

目前,大语言模型正处于高速发展阶段,一些最大、最先进的语言模型,比如Meta的700亿参数的Llama 2,需要多个GPU配合工作才能达到最佳效果。因此,开发者必须重写并手动将AI模型分割成片段,并在GPU之间协调工作。

TensorRT-LLM采用了张量并行性的方法,其中单个权重矩阵在设备之间分割。这使得可以在大规模上实现高效推理,模型可在通过NVLink连接的多个GPU以及多个服务器之间并行运行,而无需开发者干预或更改模型。

目前,TensorRT-LLM已完全优化好,无需任何修改即可投入使用的模型包括:Meta的 Llama 2,OpenAI 的GPT-2和GPT-3,Falcon,Mosaic MPT,BLOOM等十多种主流大语言模型。

未来,TensorRT-LLM还会持续扩大对大语言模型的支持范围,使得开发人员能以低能效、高效率快速开发属于自己的产品以满足业务需求。

本文素材来源英伟达官网,如有侵权请联系删除

END

将大语言模型推理能力提升数倍,英伟达推出NVIDIA TensorRT-LLM插图3