跳到主要內容
maxstudioNews
觀點One Useful Thing約 8 分鐘

Claude Fable 5.2 實測:通用人工智慧已近在咫尺?

Anthropic 最新模型 Claude Fable 5.2 展現出驚人能力,讓作者思考其是否已跨越通用人工智慧(AGI)的門檻。作者將其定義為「不規則通用人工智慧」(Jagged AGI),意指在多數任務上表現媲美人類專家,但在特定領域仍有明顯不足。本文透過多項實測案例,深入探討 Fable 5.2 的潛力與局限。

Claude Fable 5.2 實測:通用人工智慧已近在咫尺?
圖片來源:One Useful Thing

在開始之前,我想感謝我的讀者們,讓我的新書《Co-Existence》連續兩週登上《紐約時報》暢銷書榜。如果您還沒讀過,可以在這裡購買。

我在 Claude Fable 5.2 公開上市前,已經有機會大量使用它,它確實令人印象深刻,延續了 Opus 5.5 的卓越表現。事實上,AI 已經變得如此出色,值得我們思考 Anthropic 的最新模型(以及 OpenAI 和 Google 即將發布的競爭模型)是否已跨越成為通用人工智慧(AGI)的界線?

AGI 是一個備受爭議的術語,潛在定義很多。對於這篇文章,我將採用:「在大多數可以用電腦完成的智力任務上,AI 的表現與大多數人類專家一樣好。」這明確排除了許多人類工作,包括與物理世界和他人互動,以及大多數實際工作,其中「使用電腦」只是眾多任務之一。儘管有這些限制,建立有限形式的 AGI 長久以來一直是 AI 開發者的目標。

為了不讓您懸念,我認為答案是這「幾乎」是 AGI,或者我稱之為「不規則通用人工智慧」(Jagged AGI)。即使在我有限的定義中,許多任務仍存在重要領域,AI 的不規則性足以使其遠遠落後於人類能力。但這種不規則性不再是簡單的錯誤或幻覺,這使得它更難以描述。因此,我想在這篇文章中透過展示 Fable 的能力和不足之處來嘗試描述它。

為了開始,我問了這個新模型:「我寫 OneUsefulThing 等內容,我需要你創造出當你發布時,我能與人分享的最令人印象深刻的東西。它需要能嵌入到文章中,我可以隨意加上前言。它需要對人們產生深刻的影響,以展示你的能力範圍。它應該能迅速抓住他們。在這方面要非常巧妙。」Fable 要求我在看完它的影片之前不要透露任何內容。

這是在一次性完成的,除了提示詞之外,我沒有提供任何回饋。這裡有創造力(包括在結局的轉折)、判斷力、玩心和巧妙。我認為這已達到人類專家僅用程式碼製作電影的水平,這種表現我曾一度會與 AGI 聯想在一起。

程式碼和影片創作一直是 AI 開發的重點領域,那麼 Fable 5.2 真的算是通用智慧嗎?為了測試這一點,我給了 AI 各種不同領域的艱鉅挑戰:

從單一提示詞駭入硬體:我的桌上型電腦旁有一個帶有幾個發光按鍵的微型 USB 鍵盤,叫做 Codex Micro(諷刺的是,它是為搭配 ChatGPT 工作而設計的),我要求 Fable 將它變成一個遊戲機。據我所知,沒有公開的說明書,所以它讀取了控制鍵盤的兩個應用程式的程式碼,弄清楚如何設定每個按鍵的顏色,並讀取旋鈕和搖桿,然後編寫了六款遊戲,包括 Simon 和一個用旋鈕玩的保險箱破解遊戲。

Fable 立刻理解了我的需求,設計出有趣且可玩的遊戲,這些遊戲符合鍵盤非常有限的功能,並且在第一次嘗試時就成功地將其駭入,完全沒有任何幫助。

創業:現在我們從程式碼等領域轉向更複雜的商業世界。我告訴 Fable:「開創一項能讓我賺錢的事業,我希望一年內至少賺到 20,000 美元。我每月投入的時間不超過 20 分鐘,其餘都由你來做。」作為回應,Fable 篩選了 22 個點子,並提出了 Prebid Brief,這是一項服務,它會在公園和水利專案招標之前,告知設備銷售代表哪些專案正在獲得資金或設計。

它閱讀了 201 個市縣政府的公開議程,以製作其第一期內容。它還建立了城市已擁有什麼、其使用年限以及支付價格的檔案。您可以在這裡看到它的成果,包括其行銷計畫和建議定價。Fable 開始設定排程任務來建立業務,並詢問是否可以開始向地方政府發送公共記錄請求。此時,我要求它只製作一個演示,而不是實際啟動這個點子。

我是一名創業學教授,所以我經常評估商業計畫。如果這份計畫來自我的 MBA 學生團隊在學期結束時提交,我會印象深刻。它合理且經過深思熟慮,並且可能奏效,儘管它絕不是一個保證賺錢的計畫(AI 自己估計的成功機率是 20%-40%)。我停止了實驗,沒有繼續探究它是否真的能經營這項業務,因為我擔心它會花錢卻無法提供高品質的回報。

它似乎認為很容易建立的持續性基礎設施尚未到位,而且我不知道它將如何處理銷售和行銷所需的許多動態環節。然而,我懷疑,如果每週投入幾個小時的人力來彌補不足,我就可以真正嘗試這項業務。所以,如果 AGI 意味著 AI 能夠獨立持續經營一項業務,我們可能還沒有達到那個階段。

話說回來,如果有人承諾開創一項業務並讓我賺錢,而我每月只需投入二十分鐘的注意力,我也會有所疑問。

重現史上最難的人文學科課程:1941 年,詩人 W. H. Auden 在密西根大學教授了一門課程,其課程大綱後來被網路稱為史上最難的課程之一。當他宣布期末考時,他的學生委員會宣稱其「不可能且不人道」。這門名為「歐洲文學中的命運與個體」的課程有 6,000 頁的閱讀量、嚴苛的作業,以及要求背誦長詩和翻譯其他詩歌。

我們對這門課程的大部分了解都散佈在倖存的學生筆記和 Auden 的信件中。我要求 Claude 以一種有趣且引人入勝的方式重現它,教導你詩歌而不是懲罰你。它製作了「命運與個體」。該網站為 Auden 清單上的 35 部主要作品中的每一部都提供了一個部分,以及他在黑板上寫的內容、他播放的唱片以及他要求的作業。

它還閱讀了 Auden 所有已出版的學術著作,並用他在其他資料中寫的內容註釋了詩歌。Claude 負責研究、設計、寫作和程式碼,讓評論代理審查每一個字和事實核查員將聲明與來源進行比較,並將開源程式碼放在這裡的 Github 上(還製作了這個預告影片)。

如果您喜歡文學,這些成果真的很有趣,我認為考慮到學術研究、網頁設計和文學分析的結合,人類需要數月的時間才能完成。我自我檢查並使用其他進階 AI,沒有發現其作品中有任何重大錯誤。但圍繞品味和判斷力仍然存在不規則性。Fable 的第一個版本準確但缺乏樂趣:一個為期十五週的課程網站,帶有測驗。

我告訴它它創造了「一個透過最無聊網頁的殘酷苦差事」,並告訴它創造一些美麗的東西。它第一次嘗試創造了一個兒童遊戲,你必須敲響鈴鐺,所以我不得不給予更多回饋。當我要求它解釋一首詩的節奏或用詞為何重要時,它寫出了自信的解讀,卻沒有考慮 Auden 對它們的看法。

在每個案例中,AI 只需幾分鐘就能修復,但它自己卻沒有注意到這些問題。那麼,這是品味上的差異,還是我未能明確表達我的需求,亦或是 AI 弱點的跡象?有時很難判斷。

進行原創學術研究:我要求 Fable 找到一個創業研究中未解決的實證問題,找到數據,預先註冊其假設和方法,撰寫論文,並讓其他代理進行批判。很快,我就有了「一美元公司」(The One-Dollar Company),您可以在這裡閱讀。分析估計,當科羅拉多州將其有限責任公司(LLC)的申請費從 50 美元降至 1 美元時,新公司註冊量約上升了 17%;當英國將其費用從 12 英鎊提高到 50 英鎊時,註冊量約下降了 17%。

這些註冊量的變化與隨後幾項業務活動記錄中的可比變化不符,這表明新業務的品質不高。這是一個不錯的結果,Fable 選定了問題,找到了公開數據和自然實驗,並撰寫了分析計畫和程式碼。它實際上並未預先註冊這項研究:計畫仍保留在專案內部,有些是在早期結果之後才撰寫的。

與我嘗試過的許多 AI 論文不同,這篇論文以巧妙的研究設計解決了一個重要主題。初讀之下,它超出了我對二年級博士生論文的預期。但它也無法直接發表。它長達 182 頁,因為每一次批判都會產生新的分析,而且從未刪減任何內容(這是一個我們很快會回顧的主題)。

我還讓 GPT-6 Pro(用於複雜學術作品一次性審查的最佳模型)充當同行評審,它兩次發現了需要解決的問題。這些修訂導致了更複雜的寫作和「Claudespeak」被插入到文本中,這又需要更多的修改回合。就目前而言,我懷疑目前的論文已接近對文獻的真正貢獻。

這本來需要數月的人力工作,但我只花了不到一個小時的時間就達到了這個階段。然而,這遺漏了研究工作的一個重要部分:沒有人,包括我,完全檢查過結果。AI 現在生產研究的速度比任何人閱讀的速度都快,這在許多學術領域造成了危機。

第二個專案進行得更順利。我要求 Fable 重現一項聲稱故事遵循幾個基本情感弧線的研究,然後找出情節是否有任何普遍性。它閱讀了來自世界各地的 1,186 個故事,並建立了一個關於故事本質的精美網站,結論是它們「沒有一個共同的形狀或情節,但大多數都是由相同的幾個部分構成的,最典型的故事是一個關於擁有魔法香蕉的巫師的夏威夷民間故事」。我遇到的主要問題是相同的「Claudespeak」,透過我幾次提醒就解決了。

在我最喜歡的一個實驗中,我給 Claude 一段關於透過傳送門連結的 3D 世界中無止境、無需動手的旅程的描述,並告訴它「執行這個並使其令人驚嘆」。二十小時後,一個即時網站上出現了 204 個世界。現在有超過 450 個,包括百萬鏡廳、卡爾維諾《看不見的城市》系列、古代世界七大奇蹟,以及恐龍滅絕小行星撞擊前 40 秒的場景。

有些世界的模型模仿了 M.C. Escher、洞穴壁畫、葛飾北齋的《神奈川沖浪裏》、巴約掛毯、一本立體書和兒童的蠟筆畫。每一個都是由程式碼即時繪製的,沒有預製的 3D 模型或圖像檔案。

我的提示詞要求藝術家代理團隊、程式碼代理團隊和評估者。到第十天,有一個首席 AI 代理和 28 個其他代理團隊並行構建。Claude 估計該專案涉及 25,000 次代理運行,儘管絕大多數只執行單一任務,例如判斷圖像(我仍然很高興在我早期試用期間沒有被收取 token 使用費)。

我列出了一些地點(荒野和海洋、城市和室內、書籍、畫家、AI 內部笑話)和一些功能請求(為感到暈眩的人減少運動模式、一個圖像庫供選擇)。但其他一切都是 Claude 的,包括世界的創意工作。它們真的很有創意。在《拉鍊谷》中,山丘由牛仔布縫製而成,一英里長的拉鍊正在解開。

《彈跳城堡鎮》由尼龍房屋構成,只有在風扇持續運轉時才能站立,而《保持冷藏》則是冰箱內部,就像果蠅在門打開時看到的那樣。在我個人最喜歡的《抽屜懸崖》中,你飛過一個河谷峽谷,其牆壁是三百公尺高的抽屜櫃。雖然我要求 AI 包含這些內容,但它也做到了。

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 One Useful Thing 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。