NVIDIA发布全新数据中心推理平台，驱动新一轮AI服务发展
发布时间：2021-10-11 18:11:26 所属栏目：云计算 来源：互联网
导读：Tesla T4 GPU及全新TensorRT软件可助力实现智能语音、视频、图像和推荐服务 东京GTC Japan2018年9月13日NVIDIA今日推出全新人工智能数据中心平台，为语音、视频、图像和推荐服务提供业界最先进的推理加速，从而推动全球AI服务的发展。 NVIDIA发布全新数据中
|
Tesla T4 GPU及全新TensorRT软件可助力实现智能语音、视频、图像和推荐服务
东京—GTC Japan—2018年9月13日—NVIDIA今日推出全新人工智能数据中心平台，为语音、视频、图像和推荐服务提供业界最先进的推理加速，从而推动全球AI服务的发展。
NVIDIA发布全新数据中心推理平台，推进新一轮AI服务发展
NVIDIA TensorRT超大规模推理平台采用基于突破性的NVIDIA Turing架构的NVIDIA Tesla T4 GPU，以及一整套完整的新推理软件。
该平台可为端到端应用提供最快性能和更低延迟，助力超大规模数据中心提供全新服务，例如增强型自然语言交互，以及对搜索查询的给出直接答案而非模糊匹配的一系列结果。
NVIDIA副总裁兼加速业务总经理Ian Buck表示：“未来人工智能将触及每种产品和服务并为之带来改进，我们的客户正在朝此方向发展。NVIDIA TensorRT超大规模平台的设计旨在实现这一目标，即比以往设想的更快、更高效。”
每天，大规模数据中心都会处理数以亿计的语音查询、翻译、图像、视频、推荐和社交媒体交互。所有这些应用的处理过程都需要在位于服务器上不同类型的神经网络进行。
为优化数据中心以实现最高吞吐量和服务器利用率，NVIDIA TensorRT超大规模平台包括实时推理软件和Tesla T4 GPU，处理查询的速度比仅采用CPU时快40倍。
NVIDIA预计AI推理行业有望在未来五年内平稳增长至200亿美元的市场。
业界最先进的AI推理平台
NVIDIA TensorRT超大规模平台包括一整套硬件和软件产品，这些产品针对强大、高效的推理进行了优化。关键要素包括：
NVIDIA Tesla T4 GPU——搭载320个Turing Tensor Core和2560个CUDA Core，这款全新GPU具有突破性的性能，以及灵活的多精度功能，从FP32到FP16再到INT8及INT4。它采用高能效的75瓦小型PCIe封装，可轻松适用于大多数服务器。FP16的峰值性能为65 teraflops，INT8为130 teraflops，INT4为260 teraflops。
NVIDIA TensorRT 5——推理优化器和运行时引擎，NVIDIA TensorRT 5支持Turing Tensor Core，并对适用于多精度工作负载的神经网络优化集进行了扩展。
NVIDIA TensorRT推理服务器——这一容器化的微服务软件使应用能够在数据中心生产中采用AI模型。其在NVIDIA GPU Cloud容器注册中免费提供，可实现数据中心吞吐量和GPU利用率的最大化，支持所有常用AI模型和框架，并集成了Kubernetes和Docker。
 （编辑：信阳站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
