同樣是Mac，有人覺(jué)得本地大模型“已經(jīng)夠用了”，有人卻一打開(kāi)長(zhǎng)文檔、長(zhǎng)代碼倉(cāng)庫(kù)就開(kāi)始卡、開(kāi)始慢、開(kāi)始爆內(nèi)存。很多時(shí)候，問(wèn)題不完全在模型大小，而在另一件更容易被忽略的事上：模型的“臨時(shí)記憶”太占地方了。

　　這件事在技術(shù)上叫KV Cache。你可以把它理解成，大模型在推理時(shí)隨身帶著的一本筆記本。對(duì)話越長(zhǎng)，文檔越長(zhǎng)，代碼上下文越長(zhǎng)，這本筆記本就越厚。隨著和模型不斷對(duì)話，Mac那本就很寶貴的統(tǒng)一內(nèi)存，也會(huì)被不斷占用。

　　有沒(méi)有一種辦法，能夠?qū)⑦@個(gè)筆記本壓縮一下，從而讓用戶能夠更好地在Mac上使用本地模型？

　　開(kāi)源項(xiàng)目“TurboQuant+”提供了一個(gè)方法。

一個(gè)來(lái)自大廠思路的開(kāi)源項(xiàng)目

　　TurboQuant+基于谷歌研究院發(fā)表在 ICLR 2026 學(xué)術(shù)會(huì)議上的最新論文，用了一套數(shù)學(xué)方法，專門(mén)解決這個(gè)"筆記本太厚"的問(wèn)題。

　　用一句話概括：這個(gè)項(xiàng)目把AI的“工作記憶”壓縮到原來(lái)的1/4到1/6，但內(nèi)容幾乎不變。

　　就像你手機(jī)拍的一張5MB照片，壓成JPEG之后只有500KB，肉眼卻幾乎看不出差別。

　　TurboQuant+對(duì)AI的“記憶”做的，就是類似的事情。

　　數(shù)據(jù)顯示，壓縮之后原來(lái)需要2.78GB的長(zhǎng)對(duì)話記憶，現(xiàn)在只需要0.98GB，壓縮比最高可達(dá)6.4倍，而且質(zhì)量損失極小，4-bit壓縮方案的回答質(zhì)量幾乎與未壓縮時(shí)相同。

Mac用戶福音

　　該項(xiàng)目亮相后，也被很多Mac用戶關(guān)注。因?yàn)門(mén)urboQuant+對(duì)Mac用戶的價(jià)值，比對(duì)其他平臺(tái)的用戶要大得多。

　　原因很簡(jiǎn)單，因?yàn)锳pple Silicon是統(tǒng)一內(nèi)存架構(gòu)，運(yùn)行大語(yǔ)言模型的時(shí)候，電腦的內(nèi)存可以直接被用作顯存。

　　也正因?yàn)榇耍y(tǒng)一內(nèi)存架構(gòu)有一個(gè)現(xiàn)實(shí)影響，那就是模型權(quán)重、KV Cache，以及系統(tǒng)本身，都在爭(zhēng)同一份內(nèi)存。因此TurboQuant+對(duì)于Mac的價(jià)值，就不只是“賬面上省一點(diǎn)”，而是會(huì)直接體現(xiàn)在可用余量上。

使用搭載M5 Max的MacBook Pro實(shí)測(cè)

　　壓縮空間以后，意味著同樣一款Mac，可以承載更多的內(nèi)容。壓縮后，無(wú)論是想在本地讀超長(zhǎng) PDF、會(huì)議紀(jì)要、技術(shù)文檔，還是想讓AI理解整個(gè)大項(xiàng)目的代碼，或是想做本地知識(shí)庫(kù)檢索，使用更大的模型等等，都能隨著空間的增多以及上下文長(zhǎng)度的增強(qiáng)，獲得更好的體驗(yàn)。

　　這個(gè)項(xiàng)目的意義在于，它的目的是盡量榨干硬件的能力，讓Mac少被內(nèi)存瓶頸卡住，不需要讓用戶立刻升級(jí)硬件。

　　這種“讓用戶省錢(qián)”的開(kāi)源項(xiàng)目，自然也得到了更多用戶的關(guān)注。

一個(gè)全新的設(shè)計(jì)思路

　　在上手前，我還要幫大家避個(gè)坑。雖說(shuō)TurboQuant+已經(jīng)有可用實(shí)現(xiàn)，也和llama.cpp生態(tài)有關(guān)，但不能簡(jiǎn)單理解成目前已經(jīng)完整內(nèi)置，復(fù)制參數(shù)就能直接跑。

　　因?yàn)槟壳斑@個(gè)項(xiàng)目還是在開(kāi)源社區(qū)測(cè)試，相比于真正用起來(lái)，把他看成一個(gè)很值得關(guān)注的技術(shù)方向，其實(shí)是更好的選擇。當(dāng)然，如果真要上手，也可以先確認(rèn)一下項(xiàng)目的README文件，這樣也會(huì)少踩很多坑。

　　如果你已經(jīng)在Mac上本地跑模型，而且經(jīng)常碰到上下文或內(nèi)存限制，或者很在意隱私，希望把文檔、知識(shí)庫(kù)、代碼分析盡量留在本地，這個(gè)開(kāi)源項(xiàng)目都是值得關(guān)注的。說(shuō)到底，TurboQuant+的意義不是讓Mac成為更強(qiáng)的AI助手，而是讓Mac在本地大模型這條路上，少一點(diǎn)束手束腳。

　　很多時(shí)候，真正決定體驗(yàn)的不是模型排行榜頂端那一點(diǎn)差距，而是你手上這臺(tái)機(jī)器能不能穩(wěn)定、順暢、持續(xù)地完成你要做的事。

　　從這個(gè)角度看，TurboQuant+ 這種底層優(yōu)化，反而很可能是最接近“有用”的那一類進(jìn)展。

　　如果你是 Mac 用戶，并且認(rèn)真在本地用大模型，那 TurboQuant+ 值得關(guān)注。它不一定最顯眼，但它解決的是最現(xiàn)實(shí)的問(wèn)題：怎樣讓同一臺(tái) Mac，裝下更多上下文，少吃一點(diǎn)內(nèi)存，跑起來(lái)更像工具，而不是玩具。

版權(quán)所有，未經(jīng)許可不得轉(zhuǎn)載