大众彩票官网

NVIDIA GPU再创壮举,距真正会话AI又进一步!

墨记 来源:电子发烧友网 作者:张慧娟 2019-08-15 07:55 次阅读

会话 AI 服务已经存在多年,但不论是聊天机器人,还是智能个人助理或搜索引擎,其理解能力很难达到与人类相当的水平。主要瓶颈则在于超大型AI模型的实施部署无法实现。正因如此,不论是Google、crosoft、Facebook,还是阿里巴巴、百度等,都在模型的部署方面孜孜以求。

NVIDIA于太平洋时间8月13日宣布重大突破:BERT训练时间实现创纪录的53分钟,推理时间缩短至2毫秒,并构建了迄今为止同类型中最大的语言模型,使得实时会话 AI与用户进行互动时更为自然。

超大模型面前,GPU再证强大可扩展性

BERT(Bidirectional Encoder Representations from Transformers)是世界上最先进的AI语言模型之一,Google于去年发布不久就刷爆AI业界。作为一种新型的语言模型,它只需一个额外的输出层对预训练BERT进行微调就可以满足各种任务,而无需再对模型进行修改,实现了在11项NLP任务上取得突破进展。

在对BERT模型进行训练时,NVIDIA使用搭载了92台 NVIDIA DGX-2H系统的 NVIDIA DGX SuperPOD运行该模型的大型版本,凭借1472个NVIDIA V100 GPU的强大性能,NVIDIA将BERT-Large的典型训练时间从几天缩短至仅仅 53 分钟

此外,NVIDIA还在单独一台NVIDIA DGX-2系统上执行了BERT-Large 模型的训练任务,用时也仅为 2.8天,充分体现了GPU在会话 AI 方面的可扩展性。

推理方面,借助于运行了NVIDIA TensorRT的NVIDIA T4 GPU,NVIDIA 执行 BERT-Base SQuAD数据集的推理任务,用时仅为2.2毫秒,远低于许多实时应用程序所需的10毫秒处理阈值;与使用高度优化的CPU代码时所测得的40多毫秒相比,有着显著改进。

对此,NVIDIA 深度学习应用研究副总裁 Bryan Catanzaro 表示,“对于适用于自然语言的AI而言,大型语言模型正在为其带来革新。NVIDIA 所取得的突破性工作成果加速了这些模型的创建,它们能够帮助解决那些最为棘手的语言问题,让我们距离实现真正的会话 AI 更进了一步

NVIDIA BERT推理解决方案Faster Transformer宣布开源

开发者们对于更大模型的需求正在日益增长,NVIDIA 研究团队基于Transformer构建并训练了世界上最大的语言模型。Transformer是BERT的技术构件,正被越来越多的其他自然语言AI模型所使用。NVIDIA定制的模型包含83亿个参数是BERT-Large的24 倍

2017年12月Google在论文“Attention is All You Need”中首次提出了Transformer,将其作为一种通用高效的特征抽取器。至今,Transformer已经被多种NLP模型采用,比如BERT以及上月发布重刷其记录的XLNet,这些模型在多项NLP任务中都有突出表现。在NLP之外,TTS、ASR等领域也在逐步采用Transformer。可以预见,Transformer这个简洁有效的网络结构会像CNN和RNN一样被广泛采用。

不过,虽然Transformer在多种场景下都有优秀表现,但是在推理部署阶段,其计算性能却受到了巨大的挑战:以BERT为原型的多层Transformer模型,其性能常常难以满足在线业务对于低延迟(保证服务质量)和高吞吐(考虑成本)的要求。以BERT-BASE为例,超过90%的计算时间消耗在12层Transformer的前向计算上。因此,一个高效的Transformer 前向计算方案,既可以为在线业务带来降本增效的作用,也有利于以Transformer结构为核心的各类网络在更多实际工业场景中落地。

NVIDIA GPU计算专家团队针对Transformer推理提出的性能优化方案Faster Transformer宣布开源,其底层基于CUDA和cuBLAS,是一个BERT Transformer 单层前向计算的高效实现,其代码简洁明了,后续可以通过简单修改支持多种Transformer结构。目前优化集中在编码器(encoder)的前向计算(解码器decoder开发在后续特性规划中),能够助力于多种BERT的应用场景。Faster Transformer对外提供C++++ API,TensorFlow OP ,以及TensorRT插件,并提供了相应的示例,用以支持用户将其集成到不同的线上应用代码中。

2021年15%的客服互动将通过AI完成

预计未来几年,基于自然语言理解的 AI 服务将呈指数级增长。根据Juniper Research 的研究表明,在未来4年中,仅数字语音助手的数量就将有望从25 亿攀升到 80 亿。此外,据Gartner预计,到 2021 年,15%的客服互动都将通过AI完成,相比2017年将增长4倍。

当前,全球数以百计的开发者都使用 NVIDIA 的 AI 平台,来推进他们自己的语言理解研究并创建新的服务。

Microsoft Bing正在通过先进的 AI 模型和计算平台,为客户提供更好的搜索体验。通过与 NVIDIA 密切合作,Bing 使用 NVIDIA GPU(Azure AI 基础设施的一部分)进一步优化了热门自然语言模型 BERT 的推理功能,从而大幅提升了 Bing 于去年部署的排名搜索的搜索质量。与基于 CPU 的平台相比,使用 Azure NVIDIA GPU 进行推理,延迟降低了一半,吞吐量提升了5倍。

多家初创公司(例如Clinc、Passage AI 和Recordsure等)正在使用 NVIDIA的AI平台为银行、汽车制造商、零售商、医疗服务提供商、旅行社和酒店等客户构建先进的会话 AI 服务。据悉,中国市场也有相应的合作伙伴,日后将进一步公开。

会话AI才是真正意义上的人工智能的基本特征,不论是语言模型还是训练、推理,底层技术的逐步强大,才是实现这一切的基础。距离我们所期望的人工智能虽然还很遥远,但技术上的每一次突破都值得记载。
 

收藏 人收藏
分享:

评论

相关推荐

曝Intel已从今年8月份开始订购用于7nmEUV工艺节点的材料和设备 数据中心GPU或首发

Intel 10nm处理器已经量产发售,明年预计会在市场上井喷,推出桌面CPU等产品。
的头像 半导体动态 发表于 09-21 11:27 483次 阅读

笔记本选机有门道 为您精选CPU与GPU的黄金组合

显卡(GPU)作为电脑主机里的一个重要部件,承担着一切图形图像处理,输出显示图形的任务。
发表于 09-20 16:55 146次 阅读

NVIDIA或推RTX2060Ti显卡

随着RTX 20 Super系列显卡的发布,NVIDIA今年在RTX产品线上的布局差不多完工,现在传....
发表于 09-20 14:26 116次 阅读
NVIDIA或推RTX2060Ti显卡

Nvidia将要推出一款新的嵌入式计算机

根据首席执行官Jensen Huang的说法,Nvidia正在为其Jetson产品系列推出一款新的嵌....
发表于 09-18 11:39 30次 阅读
Nvidia将要推出一款新的嵌入式计算机

大家好, 今天要來介紹一下S32V234 平台上的 GPU 驅動要怎麼製作及使用。首先, S32V234 2平台的 GPU 驅動名稱為 g...
发表于 09-18 09:05 44次 阅读

大家好, S32V234 上的 GPU 核心使用的是 Vivante 這家公司的 IP ,今天要來說明一下,如何在 Windows 系統上搭建 V...
发表于 09-18 09:05 22次 阅读

GPU为机器视觉可以带来些什么

随着图像捕获系统的分辨率增加,机器视觉的可能性也增加,因为可用于评估的细节以相应的速率增加。
发表于 09-16 16:40 78次 阅读
GPU为机器视觉可以带来些什么

芯片驱动着每一次的科技革命,与此同时,新的时代也将给芯片行业带来新的增长点。如今,AI热潮正在推动AI芯片市场快速增长。...
发表于 09-16 10:36 25次 阅读

关于FPGA与GPU分析介绍

FPGA 是一堆晶体管,你可以把它们连接(wire up)起来做出任何你想要的电路。它就像一个纳米级....
发表于 09-15 11:42 52次 阅读
关于FPGA与GPU分析介绍

为什么学习深度学习需要使用PyTorch和TensorFlow框架

如果你需要深度学习模型,那么 PyTorch 和 TensorFlow 都是不错的选择。 并非每个....
发表于 09-14 10:57 335次 阅读

实践经验:在深度学习中喂饱GPU

先说下跑 cifar 的时候,如果只是用 torchvision 的 dataloader (用最常....
的头像 新智元 发表于 09-13 17:07 353次 阅读

“Super”或取代“Ti”成为NVIDIA显卡新的增强版型号后缀

消息称,NVIDIA正密谋两款显卡新品,分别是GTX 1660 Super和GTX 1650 Sup....
的头像 39度创意研究所 发表于 09-12 16:27 271次 阅读

NVIDIA表态无意进入高性能CPU市场跟Intel竞争

根据Intel的说法,2020年该公司就会进军高性能GPU市场,推出Xe架构、10nm工艺的游戏显卡....
发表于 09-12 08:57 157次 阅读
NVIDIA表态无意进入高性能CPU市场跟Intel竞争

FPGA是什么它有什么优势和劣势

如果需要计算一些数据,最常用的方法是针对CPU或GPU这样基于指令的架构编写计算所需的软件。或者采取....
发表于 09-09 17:23 209次 阅读
FPGA是什么它有什么优势和劣势

Intel表示GPU显卡的地位在Intel心目中是仅次于CPU的

提到Intel,大家都知道这是全球最大的高性能处理器公司,旗下有酷睿及至强等CPU品牌,占据了全球8....
发表于 09-08 09:51 187次 阅读
Intel表示GPU显卡的地位在Intel心目中是仅次于CPU的

万能的FPGA真的能取代CPU和GPU吗

FPGA相对于CPU和GPU,在进行感知处理等简单重复的任务的时候的优势很明显,按照现在的趋势发展下....
发表于 09-06 17:48 227次 阅读
万能的FPGA真的能取代CPU和GPU吗

刀法犀利!GTX1660Super和GTX1650Ti正在规划之中

Super系列显卡陆续发布之后,NVIDIA图灵家族产品线已经相当丰满,但是根据快科技得到的独家曝料....
发表于 09-06 10:10 622次 阅读
刀法犀利!GTX1660Super和GTX1650Ti正在规划之中

云端芯片的现状是GPU领先而FPGA紧随其后

AI芯片在云端基于大数据,核心负责“训练”。云端的特征就是“大数据+云计算”,用户依靠大数据可进行充....
发表于 09-05 17:57 129次 阅读
云端芯片的现状是GPU领先而FPGA紧随其后

     为了满足行动手机、汽车和视讯产品的高性能和高功效成像需求,嵌入式视觉演算法正持续快速发展,并在数...
发表于 09-04 06:25 96次 阅读

关于FPGA在AI芯片中的重要性

人工智能的三大支撑是硬件、算法和数据,其中硬件指的是运行 AI 算法的芯片与相对应的计算平台。在硬件....
发表于 09-03 17:55 119次 阅读
关于FPGA在AI芯片中的重要性

数据中心领域的FPGA芯片竞争将愈发激烈

随着数据中心市场的快速增长,围绕着数据中心领域的芯片竞争也变得愈发激烈。为了将数据转化成有对用户价值....
发表于 09-03 17:47 63次 阅读
数据中心领域的FPGA芯片竞争将愈发激烈

德勤:2025年全球人工智能市场规模将超6万亿美元,复合增长率达30%

德勤预测未来2025年世界人工智能市场规模将超过6万亿美元,2017年-2025年复合增长率达30%....
发表于 09-01 22:51 4497次 阅读

曝GTX1650Ti最快9月底推出 延续GDDR5显存

坊间传言NVIDIA年底前还有一批显卡要推出,包括RTX 2080 Ti Super等。不过,RTX....
发表于 08-31 10:42 499次 阅读
曝GTX1650Ti最快9月底推出 延续GDDR5显存

红米Note 8 Pro改用MTK Helio G90T处理器

不知道大家有没有这样一种感觉,现在的发布会越来越没有看头了,手机还没有发布,手机的参数都已经全部曝光....
发表于 08-31 08:29 4214次 阅读
红米Note 8 Pro改用MTK Helio G90T处理器

基于NVIDIA GPU的加速服务 为AI、机器学习和AI工作负载提速

2019年8月26日 ——NVIDIA和VMware今日宣布将为VMware Cloud on AW....
发表于 08-30 09:36 149次 阅读
基于NVIDIA GPU的加速服务 为AI、机器学习和AI工作负载提速

Navi14核心已经相当成熟 发布时间有望提前

AMD RDNA GPU新架构目前只有一个核心Navi 10,显卡也只有一个定位高端的RX 5700....
发表于 08-29 14:38 430次 阅读
Navi14核心已经相当成熟 发布时间有望提前

AMD携手三星入局手机GPU市场以挑战高通地位

高通移动GPU的地位或将失去?AMD携手三星入局手机GPU市场
发表于 08-28 16:30 665次 阅读

进军移动端,RDNA架构手机GPU将在2021年之后登场

具体到架构方面,RDNA中每一对CU共享L1缓存,从而减少读写次数进而降低功耗,L2缓存可在64KB....
发表于 08-28 11:33 401次 阅读

英伟达联合AutoX与NEVS于2020年底推出机器人出租车原型

近日,英伟达宣布将与自动驾驶技术公司AutoX、电动车厂商NEVS于2020年底推出机器人出租车原型....
发表于 08-27 11:15 716次 阅读
英伟达联合AutoX与NEVS于2020年底推出机器人出租车原型

GPU与CPU间的比较

GPU与CPU比较,GPU为什么更适合深度学习?
发表于 08-26 15:32 398次 阅读

英特尔的CPU在实际应用中性能仍然更好

关键词:壁挂式 , 电视 , 发展 , 历程 , 显示技术 “ 使用液晶可以制造超薄显示屏”。40多....
发表于 08-26 15:25 356次 阅读
英特尔的CPU在实际应用中性能仍然更好

苏姿丰表示AMD正在努力成为人工智能领域更重要的参与者

Hot Chips 31本周在美国硅谷举办,两款最大的芯片发布引人注意,分别是Cerebras最大的....
发表于 08-26 14:17 128次 阅读
苏姿丰表示AMD正在努力成为人工智能领域更重要的参与者

3种AI芯片之间的对比,谁更胜一筹?

在比较成熟的AI平台方面,在2012年出现了AlexNet,一直到最近,2018年出现了AlphaG....
发表于 08-26 11:57 2366次 阅读
3种AI芯片之间的对比,谁更胜一筹?

AI的三种专用芯片 GPU和FPGA以及ASIC

人工智能的三大支撑是硬件、算法和数据,其中硬件指的是运行 AI 算法的芯片与相对应的计算平台。在硬件....
发表于 08-21 17:48 166次 阅读
AI的三种专用芯片 GPU和FPGA以及ASIC

FPGA能否在下一代神经网络方面击败GPU

FPGA为高性能计算和机器学习提供了一种早期的架构专门化选项。体系结构专门化是继续改进性能的一种选择....
发表于 08-20 14:38 90次 阅读
FPGA能否在下一代神经网络方面击败GPU

人工智能---这个时代最强大的力量

Nvidia CEO:人工智能是这个时代最强大的力量
发表于 08-20 11:05 486次 阅读

世界在等华为在AI领域突出

Google、NVIDIA垄断AI核心技术?世界在等华为!
发表于 08-19 14:57 888次 阅读

英伟达第二季度业绩收入和利润继续下滑

英伟达(NVIDIA)16日公布了2020财年第二季度的销售业绩。 NVIDIA报告截至2019年7....
发表于 08-19 11:11 2247次 阅读

FPGA在计算加速应用中与GPU有什么区别

FPGA 是一堆晶体管,你可以把它们连接(wire up)起来做出任何你想要的电路。它就像一个纳米级....
发表于 08-17 11:29 652次 阅读

黄仁勋坦承目前唯一谈得上有规模的自研芯片公司就只有谷歌

投身芯片行业的企业有越来越多的趋势,这会让传统巨头们芒刺在背吗?
发表于 08-17 10:18 184次 阅读
黄仁勋坦承目前唯一谈得上有规模的自研芯片公司就只有谷歌

NVIDIA新显卡曝光 疑似RTX2080TiSuper

在AMD 7nm Navi旗舰显卡推出前,NVIDIA意欲巩固自己在高端圈子的地位。
发表于 08-17 10:09 359次 阅读
NVIDIA新显卡曝光 疑似RTX2080TiSuper

NVIDIA发布Q2季度财报 净利润同比下滑50%

NVIDIA今天发布了截至7月28日的2020财年Q2季度财报,当季营收25.8亿美元,同比下滑17....
发表于 08-16 15:15 120次 阅读
NVIDIA发布Q2季度财报 净利润同比下滑50%

英特尔将大幅降低FPGA的使用门槛

随着数据中心市场的快速增长,围绕着数据中心领域的芯片竞争也变得愈发激烈。为了将数据转化成有对用户价值....
发表于 08-15 17:49 466次 阅读
英特尔将大幅降低FPGA的使用门槛

NVIDIA官网商店补货RTX2060Super显卡

7月初,NVIDIA赶在AMD的7nm Navi显卡RX 5700系列上市之前推出了RTX 20 S....
发表于 08-15 14:59 161次 阅读
NVIDIA官网商店补货RTX2060Super显卡

行业 | 运行在GPU上的四种不同的推理方式

从Alexa和谷歌地图导航等语音助手,到Bing的对话搜索,人工智能已经成为许多人日常生活的一部分。
的头像 人工智能学家 发表于 08-15 11:07 519次 阅读

AMD申请新专利_保护GPU显存指令

硬件设计越来越复杂,缺陷和漏洞也越来越难以避免,危险程度也越来越高,比如持续阴魂不散的Spctre幽....
发表于 08-14 17:26 328次 阅读

滕旭云推出我国第一个高功用异构FPGA云效能器

滕旭云宣告推出FPGA云效能器,这是我国第一个高功用异构核算基础设施,以云效能的办法将FPGA扩展到....
发表于 08-13 17:49 64次 阅读
滕旭云推出我国第一个高功用异构FPGA云效能器

芯片领域两大主角 FPGA和GPU

电子元器件大家接触的会比较多,这一块民用、军用的技术基本都是通用的,但在芯片这个领域有两种比较独特的....
发表于 08-13 14:41 112次 阅读
芯片领域两大主角 FPGA和GPU

曝AMD正准备两款可以和NV旗舰卡抗衡的产品 将瞄准RTX2080Ti

面对NVIDIA的甜品卡,AMD有RX 5700系列对标,然而,再往上的话就几乎成了老黄一人的独角戏....
发表于 08-11 09:36 232次 阅读
曝AMD正准备两款可以和NV旗舰卡抗衡的产品 将瞄准RTX2080Ti

不同厂商有不同的应用场景,而适合构架和解决方案也各不相同,如云侧和端侧处理构架的设计导向差别较大。对于半导体领域,只要市...
发表于 08-09 07:40 138次 阅读

你好, 我从2048x1536分辨率的GPU获得输入。我的gpu时钟是219 MHZ。从gpu探测时钟我看到了无噪声时钟信号但是从斯巴达6 ...
发表于 08-07 10:24 85次 阅读

机器视觉的核心是简单地利用图像中可用的信息来决定图像中的对象下一步该做什么。...
发表于 08-07 06:45 125次 阅读

NVIDIA显卡驱动被曝5个高危漏洞 官方建议升级最新版

NVIDIA今天发布安全公告称,在目前的Windows显卡驱动中发现了5个高危级别的安全漏洞,都非常....
发表于 08-06 09:14 204次 阅读
NVIDIA显卡驱动被曝5个高危漏洞 官方建议升级最新版

NVIDIA更新显卡驱动 专业软件将支持10-bit色深

A卡画质好一直是很多DIY玩家的信条,而我们知道在某些情况下,这的确也是成立的。然而,N卡最近却搞了....
发表于 08-05 14:20 292次 阅读
NVIDIA更新显卡驱动 专业软件将支持10-bit色深

国产GPU发力 性能有望接近GTX1080

在CPU处理器领域,国产已经涉足了ARM、MIPS甚至X86等多种指令集架构,不论自研还是授权都已经....
发表于 08-05 14:12 357次 阅读
国产GPU发力 性能有望接近GTX1080

PowerVR Furian架构是面向嵌入式GPU的一款全新架构,是业界领先的PowerVR Rogue架构的继任者,新的架构引入了很多全新...
发表于 08-02 06:41 266次 阅读

在专业游戏玩家看来,一场畅快淋漓的游戏体验需要”天时地利人和“,如果队友是”人和“,游戏的硬件装备便是”天时和地利“。要...
发表于 07-19 06:16 171次 阅读

结果无论是用源安装,还是官网下载*.run文件都是安装失败,从源安装会发现显示安装成功,但是nvidia-smi运行失败,运行**.run安装...
发表于 07-17 08:26 297次 阅读
document.write ('');