GIGABYTE 與輝達合推迷你 AI 超級電腦 TOP ATOM,開創桌面級 AI 開發新時代

thumb

GIGABYTE 與輝達合作推出了一款名為 TOP ATOM 的迷你 AI 超級電腦,這款電腦在小巧的機身中實現了 1 Peta FLOP 的運算效能,適合進行各種 AI 應用與程式開發,並支援豐富的 AI 工具以提高工作效率。TOP ATOM 搭載了輝達最新專為 AI 應用設計的 NVIDIA GB10 Grace Blackwell 超級晶片,這款晶片等同於縮小版的 GB200 資料中心 AI 晶片,具有 20 個 CPU 核心和 NVIDIA Blackwell 架構 GPU,提供 PetaFLOP 級運算效能,非常適合學術機構的教學與研究,以及 AI 程式開發者等情境。

TOP ATOM 的運算架構與輝達的顯示卡、資料中心 AI 晶片相同,因此能夠相容並執行對應的 AI 應用程式。用戶可以先在 TOP ATOM 上嘗試各種創意發想,並開發為實際程式,然後在本地測試之後,發表到個人電腦、工作站或是雲端主機執行,完美滿足本地與雲端 AI 開發需求,開啟無限 AI 潛能。此外,TOP ATOM 配備了 128GB 的 LPDDR5x 高容量一致性統一記憶體(Unified Memory),頻寬高達 256-bit,傳輸速度達到 273 GB/s,能夠更快載入 AI 模型與程式,也對效能有所幫助。高容量記憶體還讓它能夠支援高達 200B(2,000 億)組參數的模型,遠遠高於輝達旗艦顯示卡 GeForce RTX 5090 的 32GB 所能支援的模型。

為了方便儲存 AI 模型與訓練資料,TOP ATOM 最高可以選配 4TB PCIe Gen 5 固態硬碟,藉由海量儲存空間以舒解日益增加的檔案數量,讓用戶可以完全施展拳腳,準備各種 AI 模型來滿足不同痛點的需求,同時也方便搭配各種自有資料來進行模型微調,或是準備個人專屬的 RAG 資料庫,以在推論的時候達到精準客製化的效果。

GIGABYTE 已在 AI 領域投入大量心力,並推出獨家 AI TOP Utility 應用軟體,提供圖型化的 AI 控制中心、儀表板,讓使用者可以更明確設定與掌握電腦的工作狀態,同時簡化了部署 AI 模型與應用程式的手續。TOP ATOM 不僅支援完整的 NVIDIA AI 軟體堆疊,還獨家內建 GIGABYTE AI TOP Utility,使用者只需點幾下滑鼠就能快速完成本地端訓練、推論與部署。

TOP ATOM 的外觀非常小巧精致,主機的體積只有 1 公升,重量也只有 1.2 公斤,內部安裝高速 PCIe Gen 5 固態硬碟,已經預先安裝 NVIDIA DGX™ OS 作業系統,只需接上電源開機就可開始使用。TOP ATOM 的擴充埠都放置於主機後方,具有 3 組 USB 3.2 Gen 2×2 Type-C (Up to 20Gbps),還有 Type C 型式的電源端子,它還有一個 HDMI 2.1a 端子可以連接螢幕,還有速度可達 10 GbE 的 RJ-45 連接埠,也提供 Wi-Fi 7 和藍牙 5.4 等無線網路功能。特別值得一提的是,TOP ATOM 具有一套 NVIDIA ConnectX-7 智慧網路介面卡,提供的高頻寬、低延遲的資料傳輸,還可以將兩台 TOP ATOM 系統直接互連,成倍擴展運算推論能力,讓原本只支援 200B 參數模型提升為能運行 405B 參數模型。

TOP ATOM 的特色之一就是完整支援 NVIDIA AI 軟體堆疊,並具有獨家 GIGABYTE AI TOP Utility,方便開發者能在本地端快速完成訓練、推論與部署。專業使用者可以在 TOP ATOM 上開發 AI 模型或是微調模型,親自進行 AI 原型製作,或是使用自己的資料強化預訓練模型,來打造專屬的解決方案。例如,企業可以開發能夠理解自家產品特色與細節的聊天機器人,所有資料都儲存在地端,在本地運算,能夠確保資料隱私;數據科學家也可以利用 TOP ATOM 在地端用數據自動化流程完成工作,完成探索性分析、特徵工程到預測建模。

TOP ATOM 能進行快速且安全的推論,方便用於測試、評估或運行個人 AI 助理,也是很理想的邊緣運算裝置,適合用於機器人、電腦視覺、多模態等應用。編輯在使用 TOP ATOM 時,利用 AI TOP Utility 嘗試架設 ChatGPT AI 聊天機器人,還有進行 FLUX AI 圖像生成,操作的方式相當簡單,只需點幾下滑鼠就可以開始使用,比起從零開始手動設定簡單很多。

TOP ATOM 的最大優勢在於其高容量記憶體和相容性,可以支援更大規模的 AI 模型。編輯特別測試了參數量高達 1200 億個參數的超大模型 GPT-OSS-120B,實測時發現佔用接近 70GB 的記憶體,如果使用 RTX 系列的顯示卡的話,至少需要串聯三張 GeForce RTX 5090 才能提供足夠 GPU 記憶體,不但佔用的空間更多,耗電量也有相對增長,而且價格也不是很便宜,充分顯示了 TOP ATOM 的優勢。

TOP ATOM 的圖像生成能力同樣出色,透過 AI TOP Utility 免設定就能搞定所有準備步驟,只須輸入提示詞就能產生逼真動人的圖片。編輯用 FLUX.1-dev 做為範例,在 AI TOP Utility 裡面下載模型之後,到左方功能表的 Inference 選擇文生圖功能與模型,就能輕輕鬆鬆開始玩文生圖。

TOP ATOM 最大的特色就是同時具有 NVIDIA 官方提供的 AI 開發參考資料、教學資源,還有 GIGABYTE 独家提供的 AI TOP Utility,等於可有享用雙邊的資源,協助你從零開始自行學習各種 AI 開發的知識以及操作技巧。使用者可以先在 AI TOP Utility 裡面能熟悉使用現成 AI 模型,或是當作超級 AIPC、AI 助理使用。在這之後就可以往進階班前進,學習如何微調模型或是使用 RAG 改善準確度,或是嘗試將模型量化為 f32, f16, bf16, 8-bit 等等模式,加快執行速度,此外還可以從 Build NVIDIA 網站下載 AI 軟體堆疊、工具、框架、函式庫和預先訓練的模型,或是參考豐富的教學資源,進一步強化自己的 AI 技能以及開發的程式。

探索 NVIDIA Playbook 模型,設定與執行常用 AI 工作流程皆有詳細說明。當在地端完成開發與測試工作之後,還可以將程式部署至資料中心或雲端上來使用,打造快速的開發流程。

bd90e6c3b17fbef50f44288d9f87d073