原标题：NVIDIA宣布推出TensorRT 6     来源：人工智能媒体平台      

链接：http://www.atyun.com/44435.html

NVIDIA TensorRT是一个高性能深度学习计算平台。它包括深度学习计算优化器和运行加速器，可以为深度学习计算应用程序提供低延迟和高精度的计算。在TensorRT平台上建立的应用程序比CPU平台的应用程序运算速度快40倍。使用TensorRT，你可以优化在所有主框架中培训的神经网络模型，最后部署到超大规模数据中心或汽车产品平台。

TensorRT构建于NVIDIA的编程模型CUDA之上，使您能够利用CUDA-X AI中的库开发工具和技术，为人工智能，机器学习，高性能计算和图形处理提供基于所有深度学习框架的计算。

这次推出的TensorRT 6添加了许多新的功能，如AI会话智能应用、语音识别、医学应用的3D图像分割以及工业自动化中基于图像的处理等。

随着新TensorRT 6的发布，Tensorrt将继续深入拓展其优化层集，为会话式AI应用程序增加其他的功能，支持与框架更紧密集成，为在NVIDIA GPU上部署应用程序铺平道路。

以Transformers（BERT）为基础的双向编码器表在企业生产过程中得到了广泛应用，因为它能够实现高精度的跨应用程序工作。在TensorRT 4中，完成一次Bert-Large计算需要5.8毫秒，而最新发布的TensorRT 6只需要2毫秒就可以完成。

如果像BERT这样的自然语言理解模型能够以极高的速度运行，意味着使用者可以在保证任务质量的同时尽可能的缩短任务时间，提高工作效率，给客户带来更良好的体验。所以对于企业来说，使用了TensorRT 6的同时就代表着可以提高利润。

NVIDIA的研究人员还在TensorRT开源REOP中发布了几个新的工具，以便于加速语言（opennmt、bert、jasper）、图像（mask-rcnn、faster-rcnn）和带有TensorRT的推荐程序（ncf）。最新版本的nsight系统工具可用于进一步优化深度学习应用程序。

Tensorrt 6亮点：

在NVIDIA GPU上，通过新的优化，仅需2ms就可以实现精确的bert-large计算。

使用新的API和动态输入形式，轻松加速AI会话智能应用、语音和图像分割应用程序。

通过对动态输入批量大小的支持，有效地加速具有波动计算需求（如在线服务）的应用程序。

通过新的三维卷积层，医疗应用中图像分割的计算速度比CPU快5倍。

通过优化2du-net实现工业自动加速应用。

TensorRT 6可从TensorRT产品页下载。

一THE END一

免责声明：本文来自互联网新闻客户端自媒体，不代表本网的观点和立场。

合作及投稿邮箱：E-mail:editor@tusaishared.com