人工智能早已影響了人們工作生活的各個方面，人工智能需要數(shù)據(jù)的支持，而大數(shù)據(jù)處理早已進(jìn)入需要云端支持的時代。因此面向云端數(shù)據(jù)中心的人工智能加速卡為數(shù)據(jù)處理提供了強(qiáng)大的算力。

繼去年12月發(fā)布了首款面向數(shù)據(jù)中心的人工智能訓(xùn)練加速卡“云燧T10”后，今天燧原科技發(fā)布首款人工智能推理產(chǎn)品“云燧i10”，這正是一款面向云端數(shù)據(jù)中心的高性能推理卡，用以滿足由于AI應(yīng)用和落地場景迅速擴(kuò)大，市場和客戶對更高性價比以及國產(chǎn)化和差異化云端推理產(chǎn)品的需求。

燧原科技CEO趙立東表示，“當(dāng)前全球科技產(chǎn)業(yè)特別是集成電路產(chǎn)業(yè)正在發(fā)生深刻變革，燧原科技會繼續(xù)加速技術(shù)創(chuàng)新和產(chǎn)品迭代。”

與此同時，與上下游伙伴合作，加速業(yè)務(wù)落地，擴(kuò)大市場規(guī)模。針對互聯(lián)網(wǎng)數(shù)據(jù)中心、垂直行業(yè)(金融、保險、教育、醫(yī)療及運(yùn)營商等)、新基建三大業(yè)務(wù)方向的應(yīng)用場景，完善訓(xùn)練和推理軟件棧、工具鏈和解決方案。通過產(chǎn)學(xué)研協(xié)作，共建國產(chǎn)化產(chǎn)業(yè)生態(tài)，助力中國人工智能和集成電路產(chǎn)業(yè)的發(fā)展。”

人工智能對于算力的要求非常高。云燧i10是單槽位標(biāo)準(zhǔn)卡，大大加快了人工智能的深度學(xué)習(xí)過程中的運(yùn)算環(huán)節(jié)。支持PCIe 4.0，F(xiàn)P32算力達(dá)到17.6TFLOPS，BF16/FP16算力70.4TFLOPS。

據(jù)介紹，“云燧i10”擁有卓越的算力、出色的通用性以及優(yōu)異的價值特性：高算力、多精度：FP32算力17.6TFLOPS，BF16/FP16算力70.4TFLOPS;采用自主指令集，支持從FP32到INT8等多種精度，而最大功耗僅為150W;高能效、高可靠性：采用動態(tài)調(diào)頻調(diào)壓(DVFS)技術(shù)，根據(jù)負(fù)載加速應(yīng)用性能，支持RAS、ECC;設(shè)備虛擬化：實現(xiàn)多用戶支持，最大可支持4個設(shè)備實例，具備計算與存儲資源的獨享性，多用戶間安全隔離;單顆芯片上可同時部署不同的業(yè)務(wù)與負(fù)載，實現(xiàn)多任務(wù)并行，有效提高利用率;支持KVM、Xen等系統(tǒng)虛擬化平臺;易編程、生態(tài)開放：開放C++和Python編程接口，支持CNN及NLP典型模型，支持主流機(jī)器學(xué)習(xí)框架，并通過SDK提供深度定制。

燧原科技COO張亞林介紹道：“云燧i10在多項基準(zhǔn)測試中，性能領(lǐng)先，并已完成與浪潮、新華三及Supermicro等服務(wù)器廠商推理服務(wù)器的適配?？蛇m用于視頻圖像、語音、自然語言處理、知識圖譜等多種應(yīng)用場景，并針對內(nèi)容理解、推薦、識別等高精度場景做了優(yōu)化。與此同時，面向多元的開發(fā)需求，我們提供不同層次的開發(fā)模式，針對客戶定制化算法模型聯(lián)合開發(fā)，從而實現(xiàn)與客戶的雙贏。”

除了硬件，燧原科技同時推出針對推理產(chǎn)品的高性能神經(jīng)網(wǎng)絡(luò)模型推理引擎“鑒算TopsInference”。通過計算圖優(yōu)化、算子融合、模型壓縮、量化等優(yōu)化技術(shù)，可以為深度學(xué)習(xí)應(yīng)用提供低延遲、高吞吐率的推理性能。

通過TopsInference的推理加速，配合i10 的高算力及虛擬化技術(shù)，數(shù)據(jù)中心可以高性價比地部署計算密集型深度學(xué)習(xí)工作負(fù)載。此外TopsInference除TensorFlow、PyTorch模型格式外，還支持ONNX通用模型格式，借助燧原GCU-CARA架構(gòu)的可編程性，可以應(yīng)對未來深度神經(jīng)網(wǎng)絡(luò)日益多樣化、復(fù)雜的增長趨勢。云燧i10與云燧T10以及“馭算TopsRider”軟件平臺搭配，可實現(xiàn)算法模型在數(shù)據(jù)中心訓(xùn)推一體化的快速生產(chǎn)部署。