国产在线精品一区二区三区直播_精品国产乱码久久久久久影片_欧美老妇人与禽交_男人天堂2018手机在线版_亚洲中文精品久久久久久不卡_国产毛多水多做爰爽爽爽_野外做受三级视频_中文天堂在线www_国产精品无码久久四虎_国产在线观看免费人成视频

您的位置:首頁(yè) >科技 >

H100 推理性能最高提升 8 倍,英偉達(dá)發(fā)布 TensorRT-LLM 模型


(資料圖)

IT之家 9 月 9 日消息,英偉達(dá)今天宣布推出名為 TensorRT-LLM,是一個(gè)深度優(yōu)化的開(kāi)源庫(kù),能夠在 Hopper 等 AI GPU 上加速所有大語(yǔ)音模型的推理性能。

英偉達(dá)目前已經(jīng)和開(kāi)源社區(qū)合作,利用 SmoothQuant、FlashAttention 和 fMHA 等尖端技術(shù),實(shí)現(xiàn) AI 內(nèi)核來(lái)優(yōu)化其 GPU,可以加速 GPT-3(175 B),Llama Falcom(180 B)和 Bloom 模型。

TensorRT-LLM 的亮點(diǎn)在于引入了名為 In-Flight batching 的調(diào)度方案,允許工作獨(dú)立于其他任務(wù)進(jìn)入和退出 GPU。

該方案允許同一 GPU 在處理大型計(jì)算密集型請(qǐng)求時(shí),動(dòng)態(tài)處理多個(gè)較小的查詢(xún),提高 GPU 的處理性能,可以讓 H100 的吞吐量加快 2 倍。

在性能測(cè)試中,英偉達(dá)以 A100 為基礎(chǔ),對(duì)比了 H100 以及啟用 TensorRT-LLM 的 H100,在 GPT-J 6B 推理中,H100 推理性能比 A100 提升 4 倍,而啟用 TensorRT-LLM 的 H100 性能是 A100 的 8 倍。

在 Llama 2 中,H100 推理性能是 A100 的 2.6 倍;而啟用 TensorRT-LLM 的 H100 性能是 A100 的 4.6 倍。

IT之家在此附上報(bào)告原文,感興趣的用戶(hù)可以深入閱讀。

標(biāo)簽:

圖片新聞

精彩新聞