我們家有個儲藏室,裡面堆滿了上次搬家後還沒拆開的箱子。幾個星期前,房間裡有東西開始間歇性地發出嗶嗶聲。這些嗶聲的間隔時間很長,以至於站在房間裡試圖找出噪音來源令人沮喪,而且我真的不想翻遍每一個箱子。於是我請 Claude Code 幫我打造了 Beep Locator,這是一個軟體系統,能利用散佈在房間裡的多個裝置來三角定位神秘嗶聲的來源。
你啟動一個 Python 網路伺服器來顯示主要使用者介面,然後使用 QR code 或 URL 連接盡可能多的閒置裝置作為監聽器,我當時用了兩台 iPad、一支手機、一台 MacBook Pro 和一台 Surface Ultra。這些裝置會互相播放聲音,以幫助估計它們的位置。
這個功能效果不是特別好,所以我增加了一個「粗略模式」,你可以在空間中拖曳它們的圖示來提供大致位置,然後系統會根據聲音再進行調整。
設定完成後,所有裝置就會開始監聽嗶聲!我還增加了一個拍手模式,這樣我就可以在房間裡不同位置拍手來測試它,這些拍手聲會在地圖上顯示為菱形。這讓我對系統能夠定位聲音的能力更有信心。
嗶聲會在地圖上顯示為一個 X,並在「已定位聲音」日誌中新增一條記錄。你可以重播這些聲音(依序從每個裝置播放),以確認它們就是你正在尋找的神秘嗶聲,然後點擊「這是神秘嗶聲」來標記它們。一旦你確認了神秘嗶聲的頻率,系統就會持續監聽該頻率,測量嗶聲之間的間隔,並利用三角定位的位置來鎖定地圖上最可能的位置。
這個系統運作如預期。它將嗶聲的位置精確到約 40 公分以內,然後我翻開那一堆特定的箱子,找到了一個老舊的一氧化碳偵測器,它急需更換電池。
當我開始與 Claude 討論這個問題時,它很快就找到了 BeepBeep: A High-Accuracy Acoustic-Based System for Ranging and Localization Using COTS Devices 這篇論文,這是 Chunyi Peng、Guobin Shen、Yongguang Zhang、Yanlin Li 和 Kun Tan 在 2007 年發表的一篇研究。以下是該論文的摘要:
「我們介紹了 BeepBeep 的設計、實作和評估,這是一個高精度的聲學測距系統。它在自發、臨時和裝置對裝置的環境中運行,無需任何預先規劃的基礎設施。這是一個純粹基於軟體的解決方案,僅使用最基本的商用硬體,例如揚聲器、麥克風和某種形式的裝置間通訊,因此它很容易應用於許多低成本感測器平台以及大多數現成的行動裝置,如手機和 PDA。它透過結合三種技術來實現高精度:雙向感測、自我錄音和樣本計數。」
這聽起來正是我需要建構的系統!Beep Locator 運行一個 Python 網路應用程式伺服器,負責大部分工作。監聽裝置透過 WebSockets 連接到該伺服器,並顯示一個請求瀏覽器麥克風存取權限的使用者介面。監聽器主要透過錄製最近 60 秒的音訊緩衝區來運作。
它們還運行一個簡單的嗶聲偵測演算法(請參閱 detector.js),該演算法使用快速傅立葉變換(Fast Fourier Transform)和高通濾波器來識別潛在的嗶聲。它會將這些事件發送到主伺服器。
當偵測到嗶聲時,伺服器會讓一個裝置播放短促的啁啾聲(選擇與伺服器往返時間最短的裝置),然後要求每個監聽器上傳從嗶聲前約 0.6 秒到啁啾聲後 0.8 秒的音訊片段。這個啁啾聲能讓這些音訊片段彼此對齊,這是定位嗶聲的關鍵步驟。
我透過 iPhone 使用 Claude Code Cloud 啟動了這個專案,當時 Opus 5.5 運行在「額外思考模式」(Extra thinking effort mode)。以下是那個共享的起始會話,它在一個新建立的空 GitHub 儲存庫中,以這個提示詞開始:
「寫一個 problem.md 檔案,描述我們想要解決的問題。房間裡有個裝置在發出嗶聲,我找不到它。我想要在房間周圍設置多個裝置,例如筆記型電腦、手機、iPad,讓它們同時監聽,並幫助三角定位嗶聲的來源。需要一個 Python 網路應用程式來協調所有裝置,其中一個裝置顯示應用程式的網頁,其他裝置則透過 URL 加入,成為監聽器,所有通訊都透過瀏覽器的 WebAudio 和 WebSockets 回傳到 Python 伺服器應用程式。
理想情況下,我不需要手動輸入裝置的相對位置,如果它們能互相播放聲音來在二維空間中定位彼此,那就太棒了,不過這可能嗎?」
這讓 Claude 為我生成了這個 problem.md 檔案。在撰寫過程中,Claude 找到了並閱讀了 BeepBeep 論文,該論文也在檔案中有所描述。
這項研究看起來很不錯,所以我告訴它:「好的,試著建構它,並增加一個機制,讓你可以向監聽器發送新程式碼,然後它們會自動運行,這樣我就可以在房間裡設定好一切,然後讓你獨自繼續開發和實驗,而我去做其他事情。」
這讓我達到了這個階段,大部分系統都已建構完成,但還沒有實際運行過。我將新的儲存庫複製到我的筆記型電腦上,並啟動了 Claude Code,然後 Fable 5.2 發布了,這個專案似乎是個絕佳的機會來測試它的性能。
我讓筆記型電腦上的 Claude Code 啟動伺服器,然後確保它既能看到正在發生的事情,也能在軟體運行時進行即時更改。這已經內建在軟體中:Opus 5.5 在監聽器上建構了一個 installModule() 方法,可以透過 WebSocket 連線觸發,這意味著管理伺服器可以在任何客戶端上執行任意新程式碼。
在某些裝置上,監聽麥克風的網頁在每次重新載入時都會請求使用者權限。熱插拔模組機制意味著我們可以部署新程式碼,而無需手動逐一與每個監聽裝置互動。
從那時起,我的參與主要是坐在筆記型電腦旁,與 Fable 5.2 討論正在發生的事情,並偶爾提出新功能請求。以下是我執行的一些功能提示詞:
「我想我們需要讓它在『粗略模式』下,我可以在地圖上拖曳物件,我的任務只是將它們大致放在所在位置,然後切換出粗略模式,它會嘗試讓它們精確定位。」
這讓我可以拖曳監聽器在地圖上移動。
「我想,有什麼好方法可以測試這個呢?我們能不能讓它監聽拍手聲,然後我可以拍手,它就能識別拍手聲的位置?[...] 拍手聲在地圖上應該使用與嗶聲不同的符號。」
這增加了每當我拍手時,它就會在地圖上顯示為與嗶聲不同的符號的功能。
「地圖上的每個符號都應該包含一個 HH:MM:SS 的時間戳記。」
這使得更容易辨識哪個符號可能反映了哪個真實世界的聲音。
「日誌應該顯示嗶聲和拍手聲及其時間戳記,並且有一個小的播放按鈕,點擊後會依序重播每個監聽器錄製的聲音(螢幕上會清楚顯示哪個監聽器錄製了哪個片段),同時在重播期間暫時關閉麥克風錄音。」
現在我可以重播聲音了,這讓辨識哪個錄音片段是我正在尋找的神秘嗶聲變得容易許多。
「錄音旁邊應該有一個『這是神秘嗶聲』的按鈕,這樣我就可以點擊重播來查看,然後確認它是否就是我正在尋找的神秘嗶聲。之後系統就可以在未來對聲音進行分類,看看它們是否可能是相同的神秘嗶聲,並利用這些資訊來建立更精確的位置概念。」
此時我已經非常接近了,我對嗶聲的來源有了明確的概念,但如果我能圍繞該點重新定位監聽器以獲得更精確的位置,那不是更棒嗎?
「我想要一個這樣的 K功能,我不想每次都重新啟動每個監聽裝置等等,我希望能夠點擊一個『重新定位裝置』按鈕,讓我切換到重新定位模式,然後我點擊『已重新定位』,它會把我帶到粗略模式,並要求我大致定位它們,然後我完成後點擊,它就會再次啟動。之前的會話可以透過應用程式以唯讀方式查看。」
由於我還有一個閒置裝置,我接著說:「增加一個功能,讓地圖上包含一個建議位置,指出在哪裡增加一個監聽器會很有用,這將基於目前收集到的數據。」
我認為這個專案最有趣的部分是,我證明了可以賦予 Claude Code「耳朵」。Claude 目前還沒有原生的音訊輸入功能,但它可以運行 JavaScript 和 Python 程式碼來分析麥克風捕捉到的音訊。
我讓它運行一個網路伺服器,透過 WebSocket 連接到多個監聽裝置,然後讓它在這些裝置上運行 WebAudio 麥克風,並將它們連接起來,以便可以透過 WebSocket 發送新的 JavaScript 程式碼來執行。
然後我基本上可以讓 Claude 獨自工作,解決問題、查詢音訊日誌,並重新配置它的「耳朵」來幫助它解決問題。
這讓我想起了幾週前在 GitHub Universe 聽到的一個類似的技巧,Martin Woodward 告訴我,他透過 USB-C 將 GitHub Universe 徽章電腦連接到另一台電腦,然後將網路攝影機對準螢幕來偵錯,這樣他的程式碼代理就能判斷更新是否正常運作。
找出讓程式碼代理感知周圍世界的方法,真是充滿樂趣。