如果你家裡有伺服器、電競電腦，或只是不常用到的筆記型電腦，現在有個機會了。你可以將這些閒置的運算能力投入使用，並從中賺取被動收入。AI 公司對執行 AI 推論（使用預訓練模型回應查詢的過程）的算力需求極高，而且他們願意為此付費。阿布達比 Far Labs 的創辦人兼執行長 Ilman Shazhaev 表示：「想像一下 Uber 或 Airbnb，但服務對象是 AI 推論運算任務。」

AI 產業的蓬勃發展，促使大型資料中心如雨後春筍般興建，卻也經常對當地社區造成負面影響，例如推高電價、耗盡水資源、造成環境破壞與噪音，甚至影響市容。儘管如此，大型資料中心短期內仍不可或缺，因為訓練新的前沿模型以及運行領先 AI 公司的模型，很可能仍是這些巨頭的職責。

然而，現在有幾家公司正針對較小、多為開源的模型提供 AI 推論服務。他們利用分散在家庭和小型企業的現有運算能力來執行推論，並向設備擁有者支付報酬。

德州奧斯汀 Evolving Edge 的創辦人兼執行長 John Federico 表示：「大家都認為唯一的辦法就是資料中心。但資料中心對其所在社區而言是掠奪性的，它們幾乎沒有為當地居民提供服務或稅收。那麼，我們為什麼不徹底顛覆這種模式呢？」他補充說：「運算能力是存在的。如果你能將其統籌起來，那麼你實際上是在直接為這些社區創造價值。」

這個概念並非全新：例如，從 1999 年到 2020 年，一個名為 SETI@Home 的志願者專案就曾利用閒置電腦，在射電望遠鏡數據中搜尋外星生命跡象。但現在，商業公司也渴望採用相同的策略。Shazhaev 的 Far Labs 將在未來幾週內推出其平台 Far AI，而 Federico 的 Evolving Edge 目前則處於公開測試階段。

Bless Network、Salad 和 Gradient 等其他公司也在過去一年中開始提供類似的平台。

Federico 從小就是電腦愛好者，他在自家地下室建立了一整套伺服器來運行他的專案。他表示：「有一天我突然想到，大家都在談論算力不足，而我心想，全國有 92% 的人擁有寬頻網路，而且還有像我這樣在家裡儲藏室裡就有迷你資料中心的人。」

Federico 將潛在的算力提供者視為像他一樣，已經投資家用伺服器的人，他旨在讓他們出售閒置算力的過程盡可能無縫順暢。Federico 說：「註冊計畫，安裝一個應用程式。我們只會在您允許的情況下，在您的機器上運行任務。我們唯一做的是監控資源使用情況。當然，您也可以給我們一個排程。」透過足夠龐大的設備網路，該平台將能在需要時隨時提供算力。

隱私和安全性是這些算力提供者的主要考量。為了讓使用者確信他們的本地資料是安全的，並且不會有惡意軟體下載到他們的設備上，該團隊將其排程軟體開源。Federico 表示：「節點軟體是開源的，任何人都可以查看它，了解它的功能。我們只會在您允許的情況下，在您的機器上運行任務。」

Far Labs 的 Shazhaev 解釋說，該公司的軟體是圍繞著「最小權限」原則設計的，這賦予主機和使用者完成任務所需的最小存取權限。推論作為一個隔離的工作負載運行，具有經過驗證、加密的通訊，並對其可能使用的 GPU、CPU、記憶體、儲存和網路資源設有明確限制。客戶無法任意存取主機，而提供者可以隨時檢查資源使用情況、暫停節點、撤銷存取權限並移除軟體。

保護機制也適用於另一個方向。工作負載會被分段，只有最低限度的必要資訊會暴露給單一節點。敏感的企業工作負載可以限制在受控硬體上運行，而不是透過消費級設備傳輸。

從使用者角度來看，大型資料中心仍具有優勢：頂級的 GPU 和 CPU、高速網路、粗大的纜線以及精密的散熱系統。而使用者設備通常效能較低、種類繁多，且彼此之間的連線可靠性也較差。Shazhaev 表示：「從科學角度來看，這是一個相當困難的問題。你希望在容量有限的使用者設備上，執行與那些高基礎設施資料中心中類似水準的任務。」

Evolving Edge 的 Federico 表示，這對於最大型、最先進的 AI 模型來說確實是個問題。但這些模型並非總是必需，甚至常常不是首選。他說：「許多公司一旦達到一定規模，會發現為最先進的前沿模型支付 token 費用，對他們的需求來說已不再合理。相反地，他們會針對業務中的特定任務微調開源模型。這些模型所需的資源遠不及某些最先進的模型。這只是選擇適合工作的工具。」

較小的開源模型通常可以單獨在一個使用者設備上運行。但如果不行，也有工具可以將單一推論任務分散到多個 GPU 或 CPU 上。Evolving Edge 使用名為 Ray 的開源工具來執行這種分割，而 Far Labs 則開發了自己的專有軟體，不僅能分割工作負載，還將分割過程包裹在安全和可靠性層中。

Shazhaev 說：「我們做的一件事是共享模型。我們將模型切成許多小塊，然後這些小塊會分發到不同的設備上。我們有一個協調器和負載平衡器來管理任務流程，讓每個設備處理任務的一部分。然後我們在主腦，也就是協調器中，將答案組合起來。」

透過結合使用較小、更具任務專屬性的模型，以及將較大型模型分散到不同設備上，這些團隊聲稱他們可以比傳統資料中心更便宜地執行推論，「因為我們沒有資本支出」，Shazhaev 說。電競電腦是家庭中常見的閒置算力來源。

Shazhaev 聲稱，以這種方式執行推論不僅更便宜，也更可靠。這些公司可以存取分散式運算資源網路，而不是依賴單一可能發生故障的巨大設備。Shazhaev 將此比喻為加密貨幣及其透過去中心化實現的韌性。Shazhaev 說：「今天，要關閉比特幣，你需要摧毀整個地球。在這裡，我們有著相同的概念。」

Federico 解釋說，這種韌性不僅對 AI 推論有益，對各種應用程式也同樣有利，包括智慧城市、環境感測器、自動駕駛車輛等等。例如，在 2026 年的一次 Amazon Web Services 服務中斷期間，智慧床卡在直立位置，使用者無法調整。

Federico 表示，一個分散式網路，其中所有內容都不需要透過單一資料中心（例如維吉尼亞州阿什本）路由，將使這類服務中斷的影響大大降低。他說：「在一個由 25 萬個節點組成的網路中，即使我們損失 100 個節點也無關緊要。」

如果使用者設備網路足夠龐大，每個任務都可以路由到附近的設備，從而降低延遲。Far Labs 聲稱其平台上的延遲為 100 毫秒或更低。這種方法較低的成本和延遲甚至可能催生新的應用案例，例如遊戲內 AI 影片生成，這目前速度過慢且成本過高。

Shazhaev 表示：「OpenAI 去年營收達 300 億美元，但財政年度卻以虧損 80 億美元作結。為什麼？官方說法是推論成本過高。」他補充說：「而且那些大多是文字模型。對於遊戲玩法，你有音訊、視訊、動畫：這是大量數據，你需要即時回應。所以，我們一直在努力解決這個問題。」

所有這些公司都在努力挖掘本地閒置運算資源這個未開發的寶藏，並希望它能同時造福設備擁有者和使用者。Shazhaev 說：「所有這些大公司都在忙著建造資料中心，但我相信世界上已經存在足夠的運算能力。」