"機器究竟還需要多長時間，才能真正具備人類大腦的認知能力？"這個困擾人工智能領域數十年的根本性問題，在2024年末再次成為全球科技界的焦點。
當人工智能在圖像識別、自然語言處理等特定領域不斷突破時，一個更具挑戰性的目標始終若即若離：讓機器獲得舉一反三的洞察力、抽象概念的推理能力，以及如同人類一般規劃和調配認知資源的能力。
就在這場關于機器智能極限的持續爭辯中，OpenAI最近發布的新型人工智能系統，為這個傳統命題注入了新的變數。這家總部位于舊金山、因開發ChatGPT而聲名鵲起的AI巨頭，于9月發布了被稱為O1的新一代大型語言模型（LLM）系統。而就在本月，業內又傳出OpenAI正在開發代號為O3的更強大系統，這個被稱為“通用人工智能（AGI）前奏”的項目引發了新一輪關注。與以往的AI模型相比，從O1到O3的技術路線都展現出了一種更接近人類認知方式的運行機制，這些突破性進展正在重新定義我們對人工智能潛力的認知。
AGI一旦實現，可能為人類帶來前所未有的突破：從氣候變化的治理，到流行病的防控，再到癌癥、阿爾茨海默病等頑疾的攻克。然而，這樣巨大的力量也可能帶來不確定性，并對人類構成潛在風險。加拿大蒙特利爾大學深度學習研究員Yoshua Bengio表示：“人類對AI的誤用或失控，都可能導致嚴重后果。”
近年來LLM的革命性進展激發了關于AGI或許即將到來的種種猜測。但一些研究人員表示，考慮到LLM的構建和訓練方式，它們單靠自身不足以實現AGI，“仍然缺少一些關鍵部分。”
毫無疑問，關于AGI的問題如今比以往任何時候都更加緊迫和重要。“我大半生都認為，談論AGI的人是不合常規的，”亞利桑那州立大學的計算機科學家Subbarao Kambhampati說，“但如今，每個人都在談論它。你不能稱所有人都‘不合常規’了。”
01 AGI辯論為何轉向
“通用人工智能”（AGI）這一術語大約在2007年首次進入主流視野，當時它作為同名書籍的標題由AI研究人員Ben Goertzel和Cassio Pennachin推出。雖然這一術語的確切含義尚不明確，但通常指代具有類似人類推理和泛化能力的AI系統。在人工智能發展的大部分歷史中，人們普遍認為AGI仍然是一個尚未實現的目標。例如，谷歌DeepMind開發的AlphaGo程序專為圍棋對弈而設計。它在圍棋領域擊敗了頂尖的人類棋手，但其超人能力僅限于圍棋，也就是說，這是它唯一的擅長領域。
LLM[1]的新能力正在徹底改變這一局面。與人類大腦一樣，LLM擁有廣泛的能力，這使得一些研究人員認真考慮某種形式的通用人工智能可能即將到來[1]，甚至已經存在。
當你考慮到研究人員僅部分了解LLM如何實現這一目標時，這種能力的廣度更加令人震驚。LLM是一種神經網絡，其靈感大致來源于人腦。它由分層排列的人工神經元（或計算單元）組成，這些層與層之間的連接強度通過可調參數表示。在訓練過程中，強大的LLM——例如o1、Claude（Anthropic公司開發）以及谷歌的Gemini——依賴一種稱為“下一個詞元預測（next token prediction)”的方法。在該方法中，模型會重復輸入已被分割的文本樣本（即詞元塊）。這些詞元可以是整個單詞或只是一組字符。序列中的最后一個詞元被隱藏或“屏蔽”，并要求模型對其進行預測。然后，訓練算法將預測與屏蔽詞元進行比較，并調整模型的參數，使其下次能夠做出更好的預測。
這一過程不斷重復——通常使用數十億對話片段、科學文本和編程代碼——直到模型能夠可靠地預測隱藏的詞元。在此階段，模型參數已捕捉到訓練數據的統計結構及其中包含的知識。隨后參數被固定，模型使用它們對新的查詢或“提示”生成預測，這些提示不一定在其訓練數據中出現過，這一過程被稱為“推理”。
一種稱為“Transformer”的神經網絡架構的使用，使LLM的能力顯著超越了之前的成就。Transformer使得模型能夠學習到某些詞元對其他詞元有特別強的影響力，即使它們在文本樣本中相距甚遠。這使得LLM能夠以看似模仿人類的方式解析語言——例如，區分以下句子中“bank”一詞的兩種含義：“當河岸（bank）泛濫時，洪水損壞了銀行（bank）的ATM，導致無法取款。”
這種方法在多種應用場景中取得了顯著成果，例如生成計算機程序來解決用自然語言描述的問題、總結學術文章和回答數學問題。
隨著LLM規模的增大，一些新的能力也隨之出現——如果LLM足夠大，AGI也可能出現。其中一個例子是“思維鏈（CoT）提示”。這種方法包括向LLM示范如何將復雜問題分解為更小的步驟加以解決，或直接提示其按步驟解答問題。然而，對于較小規模的LLM，這一過程并不具備顯著的效果。
02 LLM的能力邊界
根據OpenAI的介紹，“CoT提示”已被整合到o1的運行機制中，成為其強大功能的核心組成部分。谷歌前AI研究員Francois Chollet指出，o1配備了一個CoT生成器，該生成器能夠針對用戶查詢生成大量CoT提示，并通過特定機制篩選出最佳提示。
在訓練中，o1不僅學習如何預測下一個詞元，還掌握了針對特定查詢選擇最佳CoT提示的能力。OpenAI表示，正是得益于CoT推理的引入，o1-preview（o1的高級版本）在國際數學奧林匹克競賽（一項面向高中生的全球知名數學賽事）的預選考試中正確解決了83%的問題。相比之下，OpenAI此前最強大的模型GPT-4o在同一考試中的正確率僅為13%。
然而，盡管o1的復雜性令人矚目，Kambhampati和Chollet均認為，它仍存在明顯的局限性，并未達到AGI的標準。
例如，在需要多步規劃的任務中，Kambhampati的團隊發現，雖然o1在最多16步的規劃任務中表現優異，但當任務復雜度增加至20至40步時，其性能迅速下降[2]。
Chollet在挑戰o1-preview時也發現了類似的局限性。他設計了一項抽象推理與泛化測試，以評估通往AGI的發展進程。測試采用視覺謎題的形式，解決這些問題需要查看示例來推斷出抽象規則，并以此來解決類似新問題。結果顯示，人類顯然更容易做到。Chollet進一步指出：“LLM無法真正適應新事物，因為他們基本上沒有能力將自己掌握的知識，動態地進行復雜的重組，以適應新的環境。”
03 LLM能否邁向AGI？
那么，LLM是否有能力最終邁向AGI呢？
值得注意的是，底層的Transformer架構不僅能夠處理文本，還適用于其他類型的信息（如圖像和音頻），前提是可以為這些數據設計合適的詞元化方法。紐約大學研究機器學習的Andrew Wilson及其團隊指出，這可能與不同類型數據共享的一個特性有關：這些數據集的“Kolmogorov復雜度”較低，即生成這些數據所需的最短計算機程序的長度較短[3]。
研究還發現，Transformer在學習低Kolmogorov復雜度的數據模式方面表現尤為出色，而這種能力會隨著模型規模的增大而不斷增強。Transformer具備對多種可能性進行建模的能力，這提升了訓練算法發現問題的適當解決方案的概率，而這種“表現力”會隨著模型規模的增長進一步增強。Wilson表示，這些是“通用學習所需的一些關鍵要素”。
盡管Wilson認為AGI目前仍遙不可及，但他表示，使用Transformer架構的LLM和其他AI系統已具備一些類似AGI行為的關鍵特性。
然而，基于Transformer的LLM也顯現出一些固有的局限性。
首先，訓練模型所需的數據資源正在逐漸枯竭。專注于AI趨勢研究的舊金山EpochAI研究所估計[4]，公開可用的訓練文本數據集可能會在2026年至2032年之間耗盡。
此外，盡管LLM的規模不斷增大，其性能提升的幅度卻不及以往。尚不明確這是否與數據中新穎性減少有關（因為大部分數據已被使用過），或是源于其他未知原因。后者對LLM來說是個壞兆頭。
Google DeepMind的倫敦研究副總裁RaiaHadsell提出了另一項質疑。她指出，盡管基于Transformer的LLM具備強大功能，其單一的目標——預測下一個詞元——過于局限，難以實現真正的AGI。她建議，構建能夠一次性或以整體方式生成解決方案的模型，可能更接近實現AGI的可能。用于構建此類模型的算法已在一些現有的非LLM系統中得以應用，例如OpenAI的DALL-E，該系統能夠根據自然語言描述生成逼真甚至超現實的圖像。然而，這些系統無法與LLM的廣泛功能相媲美。
04 構建AI的世界模型
關于如何推動AGI發展的突破性技術，神經科學家的提供了直覺性的重要啟示。他們認為，人類智能的根源在于大腦能夠構建一個“世界模型”，即對周圍環境的內部表征。這種模型能夠模擬不同的行動方案并預測其后果，從而支持規劃與推理。此外，通過模擬多種場景，這種模型可以將特定領域中學到的技能泛化到全新任務中。
一些研究報告聲稱，已有證據表明LLM內部可能形成了初步的世界模型。在一項研究中[5]，麻省理工學院的Wes Gurnee和Max Tegmark發現，當LLM使用包含世界多地信息的數據集進行訓練時，隨著廣泛應用，LLM能夠在內部對周圍世界形成相應的表征。然而，其他研究人員指出，目前尚無證據表明這些LLM利用世界作為模型進行模擬或因果關系學習。
在另一項研究中[6]，哈佛大學計算機科學家KennethLi及其同事發現，一個小型LLM在使用玩家在下Othello棋時的步法作為訓練數據后，學會了內部表征棋盤狀態的能力，并利用這種表征正確預測了下一步的合法棋步。
然而，其他研究表明，當今AI系統構建的世界模型可能并不可靠。在一項研究中[7]，哈佛大學的計算機科學家Keyon Vafa及其團隊使用紐約市出租車行程的轉彎數據集訓練了一個基于Transformer的模型，該模型以接近100%的準確率完成了任務。通過分析模型生成的轉彎序列，研究人員發現模型依賴一個內部地圖來完成預測。然而，這個內部地圖與曼哈頓的實際地圖幾乎毫無相似之處。
?AI的不可能的街道. 圖源：[7]
Vafa指出，“該地圖包含物理上不可能的街道方向，以及跨越其他街道的高架道路。”當研究人員調整測試數據，加入訓練數據中未出現的意外繞道時，模型無法預測下一次轉彎，表明其對新情境的適應能力較弱。
05 反饋的重要性
GoogleDeepMind位于加利福尼亞山景城的AGI研究團隊成員DileepGeorge指出，當今的LLM缺乏一個關鍵特性：內部反饋。人類大腦具有廣泛的反饋連接，使信息能夠在神經元層之間實現雙向流動。這種機制使感官系統的信息可以流向大腦的高級層，以創建反映環境的世界模型。同時，世界模型的信息也可以向下傳播，引導進一步感官信息的獲取。這種雙向過程對感知至關重要，例如，大腦利用世界模型推斷感官輸入的潛在原因。此外，這些過程還支持規劃，利用世界模型模擬不同的行動方案。
然而，目前的LLM僅能以附加方式使用反饋。例如，在o1中，內部的CoT提示機制，通過生成提示協助回答查詢，并在最終生成答案前反饋給LLM。但正如Chollet的測試所顯示，這種機制并不能確保抽象推理能力的可靠性。
Kambhampati等研究人員嘗試為LLM添加一種稱為驗證器的外部模塊。這些模塊在特定上下文中檢查LLM生成的答案，例如驗證旅行計劃的可行性。如果答案不夠完善，驗證器會要求LLM重新運行查詢[8]。Kambhampati的團隊發現，借助外部驗證器的LLM，在生成旅行計劃時表現顯著優于普通LLM，但是研究人員需要為每個任務設計專門的驗證器。“沒有通用驗證器，”Kambhampati指出。相比之下，AGI系統可能需要自主構建驗證器，以適應不同情境，就像人類利用抽象規則確保在新任務中進行正確推理一樣。
基于這些想法開發新型AI系統的研究仍在初步階段。例如，Bengio正在探索如何構建不同于當前基于Transformer架構的AI系統。他提出了一種被稱為“生成流網絡（generative flow networks）”的方法，旨在使單一AI系統既能構建世界模型，又能利用這些模型完成推理與規劃。
LLM面臨的另一個重大障礙是其對數據的巨大需求。倫敦大學學院理論神經科學家Karl Friston提出，未來的AI系統可通過自主決定從環境中采樣數據的數量來提高效率，而非簡單地攝取所有可用數據。他認為，這種自主性可能是AGI所必需的。“在當前的大型語言模型或生成式AI中，尚無法體現這種真正的自主性。如果某種AI能夠實現一定程度的自主選擇，我認為這將是邁向AGI的關鍵一步。”
能夠構建有效世界模型并集成反饋回路的AI系統，可能會顯著減少對外部數據的依賴。這些系統能夠通過運行內部模擬，提出反事實假設，并借此實現理解、推理與規劃。例如，2018年，研究人員DavidHa和Jürgen Schmidhuber報告[9]，他們開發了一種神經網絡，該網絡可高效構建人工環境的世界模型，并利用此模型訓練AI駕駛虛擬賽車。
如果你對這種自主性AI系統的概念感到不安，你并不是一個人。除了研究如何構建AGI，Bengio還積極倡導在AI系統的設計和監管中引入安全性。他認為，研究應關注訓練能夠保證自身行為安全的模型，例如建立機制來計算模型違反某些特定安全約束的概率，并在概率過高時拒絕采取行動。此外，政府需要確保AI的安全使用。“我們需要一個民主過程來確保個人、公司甚至軍方，以對公眾安全的方式使用和開發AI。”
那么，實現AGI是否可能？計算機科學家認為沒有理由不這樣認為。“沒有理論上的障礙，”George說。圣達菲研究所(Santa FeInstitute)的計算機科學家Melanie Mitchell表示同意：“人類和一些其他動物已經證明這一點是可行的。在原理上，我認為生物系統與由其他材料制成的系統之間不存在任何特別的差異，能夠阻止非生物系統變得智能。”
盡管如此，對于AGI的實現時間，學術界仍然缺乏共識：預測范圍從幾年之內到至少十年以后。George指出，如果AGI系統被創造出來，我們將通過其行為表現來確認其存在。而Chollet則懷疑它的到來會非常低調：“當AGI到來時，它可能不會像你想象的那樣顯而易見或掀動風浪。AGI的全面潛力需要時間逐步顯現。它將首先被發明，然后經過擴展和應用，最終才會真正改變世界。”