實(shí)測蘋果M3 Ultra運(yùn)行DeepSeek R1滿血版:速度超過8卡A100!
3月12日消息,實(shí)測速度近日,蘋果B站UP主“雖然但是運(yùn)行張黑黑”分享了一段視頻,展示了滿血版蘋果M3 Ultra運(yùn)行6710億參數(shù)的血版DeepSeek R1模型的測試結(jié)果,其速度甚至超過了8張A100顯卡,超過而成本卻低得多。實(shí)測速度
運(yùn)行6710億參數(shù)的蘋果DeepSeek R1模型通常需要一臺搭載6-8張A100的專業(yè)級服務(wù)器,總價輕松超過百萬元這對于普通用戶來說幾乎是運(yùn)行不可能負(fù)擔(dān)的。
然而滿血版M3 Ultra僅需一臺Mac Studio即可實(shí)現(xiàn)類似性能,血版性價比極高。超過
測試結(jié)果顯示,實(shí)測速度在運(yùn)行DeepSeek R1模型時,蘋果8張A100顯卡的運(yùn)行性能為16.41 Tokens/s,而滿血版M3 Ultra在GGUF格式下達(dá)到15.78 Tokens/s,血版
切換到能發(fā)揮統(tǒng)一內(nèi)存優(yōu)勢的超過MLX格式后,速度提升至19.17 Tokens/s,超越8張A100顯卡,此外M3 Ultra在運(yùn)行DeepSeek V3 6710億參數(shù)模型時,速度也達(dá)到了19.66 Tokens/s。
不過這并不意味著M3 Ultra在所有場景下都能超越A100,單用戶進(jìn)行單一模型推理時,主要依賴內(nèi)存帶寬和容量,無法完全發(fā)揮A100的潛力,在多用戶推理和大模型訓(xùn)練場景下,M3 Ultra則完全無法與A100相提并論。
此外,M3 Ultra在大語言模型推理速度測試中表現(xiàn)優(yōu)異,無論是Llama 3.1 70B、Gemma2 27B還是Qwen 2.5 14B模型,其速度都明顯優(yōu)于其他M系列芯片,與M2 Ultra相比,速度分別提升了13%、34%和18%。
此次測試的滿血版M3 Ultra配備了512GB統(tǒng)一內(nèi)存,總價為74249人民幣,對于大多數(shù)用戶來說,如果不需要運(yùn)行如此大規(guī)模的模型,可以適當(dāng)降低統(tǒng)一內(nèi)存容量,從而節(jié)省成本。