前往主要內容
工商時報LOGO

Cerebras新伺服器 挑戰輝達

晶片採台積電5奈米,聲稱可大幅加快AI聊天機器人運行速度

AI推理晶片新創公司Cerebras推出新一代AI伺服器系統,聲稱可大幅加快AI聊天機器人的運行速度。圖/路透
AI推理晶片新創公司Cerebras推出新一代AI伺服器系統,聲稱可大幅加快AI聊天機器人的運行速度。圖/路透

已將目前網頁的網址複製到您的剪貼簿!

AI推理晶片新創公司Cerebras 當地時間18日宣布推出新一代AI伺服器系統「CS-4」,聲稱可大幅加快AI聊天機器人的運行速度,每秒可處理的token數量是GPU的30倍,挑戰輝達GPU的領先地位。新系統預計將於今年第三季上市,晶片則是採用台積電5奈米製程生產。

Cerebras指出,CS-4系統專為AI推理而設計,用於運行AI模型,而非訓練模型,其中能快速運行模型的關鍵,在於CS-4採用的記憶體為靜態隨機存取記憶體(SRAM),而非動態隨機存取記憶體(DRAM)。

SRAM的速度遠超DRAM,但結構也複雜得多,因此體積更大、成本更高,然而這也使得SRAM幾乎無法應用於普通的小型晶片,不過CS-4系統搭載了3顆晶圓級WSE-3 Turbo晶片,提供了利用SRAM所需的空間。

此外,輝達或超微(AMD)的系統由多顆晶片組合而成,資料需要在晶片之間頻繁移動,而Cerebras的晶片,本質上是把整張晶圓做成一整顆超大晶片,資料可以在矽晶圓上直接傳輸,帶來了快上加快的優勢。

Cerebras執行長費爾德曼(Andrew Feldman)自豪的表示,有了CS-4來運行AI模型,將從根本上重塑產品體驗。他在聲明中指出:「在過去,快速推理意味著必須使用較小且能力較弱的模型,不過Cerebras的CS-4能在最龐大的前沿模型上,提供業界領先的運行速度,從根本上改變了這個模式。」

除了硬體產品外,Cerebras還託管了自己的AI雲端服務,透過出租運行於這些晶片上的算力給客戶。

不過即使財報、財測亮眼,該公司的股價卻不足以打動華爾街的投資人。Cerebras在今年5月上市後,股價曾衝高到350美元,但截至18日收盤,卻已跌至220美元,股價累計從高點迄今跌幅超過3成。

將工商時報加入Google偏好來源

您可能感興趣的話題

返回頁首
LOADING

本網頁已閒置超過3分鐘。請點撃框外背景,或右側關閉按鈕(X),即可回到網頁。