群聯電子將 aiDAPTIV+ 技術擴展至支援整合式 GPU 進行 AI 處理,降低了 DRAM 需求並加速了推理,以促進更廣泛的 AI 應用。
透過支援大型 AI 模型在標準消費級硬體上運行,群聯電子的 aiDAPTIV+ 技術消除了廣泛採用 AI 的主要障礙:對昂貴專用 GPU 的需求。這有望普及 AI 開發,使小型公司和個人開發者能夠建構和微調複雜的模型,從而加速整個軟體生態系統的創新。
1200 億參數模型的 DRAM 需求從 96GB 降至 32GB
在消費級硬體上推理效能最高提升 10 倍
aiDAPTIV+ 將大型模型 AI 能力擴展至配備整合式 GPU 的 PC
該技術利用 NAND 快閃記憶體為 AI 任務擴展系統記憶體
1200 億參數模型的 DRAM 需求從 96GB 降至 32GB
群聯電子(Phison)的 aiDAPTIV+ 技術現已支援在整合式 GPU 架構上運行大型 AI 模型,透過利用 NAND 快閃記憶體擴展系統記憶體實現。這項創新顯著降低了對 DRAM 的需求,並加速了推理效能,有望透過允許 AI 在消費級硬體上運行,從而普及 AI 開發。
Sign in to save notes on signals.
登录