群聯讓AI變平價了!aiDAPTIV+700億參數只要150萬台幣,開發背後全因輝達這件事?
「就像是去很遠的地方,你搭不了火車的話,騎Gogoro也是可以到。」群聯電子執行長潘健成今(24日)在AI EXPO大會的演講上,生動地推銷自家全新產品「aiDAPTIV+」。
生成式AI的爆發,帶動企業對AI的需求。然而中小企業卻不見得能夠負擔昂貴的伺服器價格。群聯的全新固態硬碟(SSD)產品「aiDAPTIV+」,能夠在伺服器內透過群聯自己開發的軟體,將SSD當作記憶體使用,解決AI運算中記憶體容量的問題。
產業分析師指出,處理器中的記憶體越多,價格越高。換句話說,aiDAPTIV+幫助中小企業無需花費太多的價格,也能享有AI應用。潘健成開玩笑表示,原先想稱為窮人的AI,「但這其實就是全民AI的概念。」
群聯的這項技術推出後,引起不小的關注。群聯員工透露,目前該技術已經導入雲達、技嘉、研華和華碩等伺服器廠,「有已經在量產,也有還在POC(概念驗證)階段的。」顯見獲得市場青睞。
太貴就自己做!群聯aiDAPTIV+背後小故事
群聯之所以能開發出這項產品,背後有一個小故事。員工表示:「其實當初我們是想要買輝達(NVIDIA)伺服器來使用。」然而由於不斐的價格,讓群聯開始思考是否有其他替代措施。
為持續開發內部AI應用,群聯接著買下一台非AI伺服器,並想辦法運用對記憶體的研發能力,優化伺服器運作。最終,運用固有的硬體產品,加上自研的中介軟體,群聯不僅解決了內部問題,還陰錯陽差的開發出aiDAPTIV+這套軟硬整合的解決方案。
雖然該項技術目前僅支援輝達的伺服器平台,不過群聯的員工表示,「像是超微(AMD)或英特爾(Intel)等其他平台我們也都有在談。」目前能處理的參數量超過700億,同時支援GPT、Llama2和等主流語言模型。
訓練700億參數僅需150萬台幣!群聯最強AI成本控管術
潘健成在今日演講中,表示企業採可以選擇用aiDAPTIV+來導入大語言模型(LLM),再加上微調(Fine-tuning)運算後就能達到目的。他比喻,只要目的相同,雖然不能搭火車,但騎Gogoro也還是會抵達。
以擁有700億個參數量的Llama2為例,僅需採用8顆輝達A6000的RTX顯卡驅動,搭配微調運算,中文AI模型的精準率可達92%,成本則約落在150萬新台幣。這與動輒就需要千萬甚至上億的費用的解決方案相比,有助於AI的普及。
潘健成分享,當前的採用客戶已遍及各行業,加上aiDAPTIV+有助於地端運算的效能提升,能更好的保護機敏性資訊。目前如政府機關、分析師、科學家、工程和建築等領域,都已經是該方案的採用客戶。
Comments