(相關(guān)資料圖)
芯研所9月19日消息, AI人工智能是近幾年來的大熱點,Intel、NVIDIA及ARM也首次聯(lián)手,推出了FP8格式,這種全新的AI格式可以提高運算性能,當(dāng)前最強加速卡H100性能就有4.5倍提升。
三家攜手推出通用的AI格式跟當(dāng)前的混亂有關(guān),之前衡量GPU性能經(jīng)常用FP32單精度、FP64雙精度格式,然而在AI時代不需要這么高的精確度,再加上廠商往往會自定義計算格式,所以這幾年也出現(xiàn)了INT8、BF16、TF32之類的AI標(biāo)準(zhǔn)。
廠商各自為戰(zhàn)顯然不利于AI技術(shù)發(fā)展,所以Intel、NVIDIA及ARM三大CPU/GPU巨頭就聯(lián)手推出了AI標(biāo)準(zhǔn)格式FP8,并發(fā)布了FP8 Formats for Deep Learning白皮書,還把標(biāo)準(zhǔn)提交給IEEE協(xié)會,不出意外的話接下來會成為AI領(lǐng)域的通用標(biāo)準(zhǔn)。FP8標(biāo)準(zhǔn)會有兩個編碼變體,分別為E5M2、E4M3,可以最大限度地減少與當(dāng)前IEEE754標(biāo)準(zhǔn)的偏差,不僅可以為AI運算帶來更高的靈活度,還能在軟硬件中取得平衡,改善開發(fā)者的效率。
根據(jù)NVIDIA發(fā)布的結(jié)果,F(xiàn)P8在廣泛使用的訓(xùn)練模型中都有類似16位浮點的效果,而且性能更好,NVIDIA的H100加速卡使用新的FP8格式,在BERT模型中實現(xiàn)了4.5倍的性能提升。三大廠商聯(lián)合定義FP8標(biāo)準(zhǔn),卻沒有看到AMD的身影,不知道AMD的態(tài)度如何,不過AMD最終應(yīng)該也會接納FP8標(biāo)準(zhǔn),與三家統(tǒng)一。
Intel 酷睿 i7 12700F
進(jìn)入購買
關(guān)鍵詞: intel
關(guān)于我們 廣告服務(wù) 手機版 投訴文章:43522640@qq.com
Copyright (C) 1999-2020 www.w4vfr.cn 愛好者日報網(wǎng) 版權(quán)所有 聯(lián)系網(wǎng)站:43522640@qq.com