大語言模型其實跳不出如來佛手掌？哥大教授帶你看懂AGI還差多遠！

tenlife2019
10月17日
讀畢需時 4 分鐘

【2025年10月17日】 最近，大家都在瘋狂討論大型語言模型（LLM），感覺通用人工智慧（AGI）好像明天就要來了！但先別急，哥倫比亞大學有位超酷的教授維斯爾．米斯拉，他用了一些我們平常不太聽到的酷東西，像是「資訊論」和「幾何流形」，幫我們畫了一張地圖，清楚地告訴我們LLM到底強在哪，又被什麼限制住了，以及離那個能「無中生有」的真正AGI，到底還有多遠的距離。

LLM的真相：其實是在一張超大地圖上找路

米斯拉教授說，LLM的運作方式，其實就像在一個由訓練資料畫出來的巨大「知識地圖」裡面找路。你可以想像，人類所有的語言和知識，就像一個超大的宇宙，但裡面真正有意義、有邏輯的東西，其實只佔了小小一塊。LLM在學習的時候，就是在找出這些精華地帶，然後把它們壓縮成一張比較小但超清楚的「地圖」。

所以，當你問LLM一個問題時，它就像在這張地圖上找到一個起點，然後根據地圖上已經畫好的路線，猜接下來最可能往哪走。LLM超會學習和總結地圖上已經有的路徑和規則，有時候甚至能找到我們自己都沒發現的祕密小徑！但問題來了，它沒辦法自己畫一張全新的地圖，更不可能跳出這張地圖去探索未知的世界。

真正的AGI是什麼？是能自己創造遊戲規則的玩家！

說到AGI，米斯拉教授的標準可是高得很！他認為，真正的AGI，可不是學學莎士比亞寫幾句詩，或寫寫程式碼那麼簡單。它必須要能從零開始，搞出全新的科學理論、數學公式，甚至是藝術流派！

這聽起來有點玄，但想想愛因斯坦的相對論、普朗克的量子力學，他們都不是在舊的規則裡玩，而是直接創造了全新的遊戲規則！這才是AGI該有的樣子。所以啦，用這個標準來看，我們現在看到的LLM，不管多厲害，都還只是個新手村玩家而已。

LLM為什麼看起來這麼聰明？秘密在「資訊熵」和「思維鏈」

為了說明LLM是怎麼在地圖上聰明找路的，米斯拉教授借用了「資訊熵」這個概念。簡單說，熵就是「不確定性」。當LLM很確定下一句話該說什麼時，「熵」就很低；反之，如果它覺得可能性很多、很難猜，那「熵」就很高。

LLM最擅長處理那種能讓「熵」瞬間降低的提示。比方說，如果你給它一個很具體的名字（像是「馬雲」），它就會立刻鎖定方向，猜測的範圍大大縮小，回答自然就看起來精準又自信滿滿啦！

這也解釋了為什麼「思維鏈提示法」這麼神。當你讓模型一步一步想的時候，其實就是在帶著它走一條它很熟、每一步都超確定的低熵小路，而不是讓它去猜那個充滿不確定性的高熵終點。這不是什麼黑魔法，只是我們摸透了它的脾氣而已！

一個板球網站，意外催生了RAG技術

你可能想不到，米斯拉教授會一頭栽進LLM的世界，竟然是因為一個板球數據網站！他當年是創辦人之一，但網站的查詢介面超級難用，讓他一直耿耿於懷。

多年後，在疫情期間，GPT-3問世了。他靈機一動，想用它來拯救那個爛介面。試了半天發現直接丟問題給GPT-3根本沒用，但他沒放棄，反而意外發明了一種後來超紅的技術：RAG（檢索增強生成）。

他的做法是，先建立一個資料庫，裡面放了很多問題和正確的查詢指令。當有新問題進來，系統會先去資料庫找幾個最像的範例，然後把這些範例跟新問題一起打包丟給GPT-3。奇蹟發生了！GPT-3竟然看懂了，而且回答得超準！這套系統比大家開始討論RAG、甚至比ChatGPT上線都還要早一年多。就是這個「為什麼這樣會成功？」的巨大問號，推動他去研究LLM背後的運作原理。