2019 年某天早上，Adebayo Alonge 在開普敦的一間飯店房間裡，準備展示他新創公司針對非洲醫療保健嚴重問題提出的 AI 解決方案：每年導致數千人死亡的偽造藥物。

RxScanner 是一種手持式光譜儀，能用紅外線掃描藥丸，然後將其分子結構傳送給一個配備藥物資料庫的 AI 模型。幾秒鐘內，AI 就能根據分子結構識別藥物，或報告其為偽造品。

當時，藥局已在十多個國家使用這個系統，包括迦納、肯亞、緬甸以及 Alonge 的祖國奈及利亞。但在南非的那個早上，系統卻失靈了。「我嚇壞了」Alonge 說。

光譜儀連接到 AI 模型，但資料中心遠在 14,000 公里之外，頻寬也有限。「我們的伺服器在美國，光是取得一次掃描結果就花了我超過 5 分鐘。」

於是 Alonge 立刻要求他的工程師將 AI 模型縮小成一個更小、低功耗、無需連線的版本，使其能完全在 Android 手機上運行。他們在兩小時後完成了，這也挽救了那場演示。

更重要的是，這項工作催生了他的裝置新版本，它可以在沒有寬頻、電腦甚至可靠電力的地方驗證藥物。這也讓 Alonge 成為這種「小型 AI」的倡導者。

小型 AI 與富裕國家龐大的大型語言模型（LLM）、超大規模資料中心、數十億美元的投資以及關於 AI 意識的辯論相去甚遠。但對於全球數百萬人來說，唯一重要的 AI，而且往往是唯一可用的 AI，就是小型 AI。（根據世界銀行 11 月發布的報告，世界上最貧窮國家中只有 0.7% 的網路使用者使用過 ChatGPT，而最發達國家則有四分之一的網路使用者使用過。）

「大多數人都在討論 LLM/生成式 AI。但那需要大量的運算能力、電力、海量資料和熟練的人員來管理」世界銀行總裁 Ajay Banga 去年一月在達沃斯世界經濟論壇上表示。「在已開發國家之外，除了印度和中國，很少有國家具備這些條件。」

Banga 說，相比之下，小型 AI 可以為那些缺乏這些條件的地區提供有用甚至能拯救生命的服務。在印度，政府的 AI 計畫呼籲更多地發展小型 AI，許多此類系統正為農民服務。

例如，印度 Vellore 理工學院的 Bala Murugan 及其同事開發的無人機系統，可以拍攝腰果植物的照片，並迅速識別出帶有斑點、顯示病害的植物。所有處理都在無人機本身上進行，因此無需現場電腦，也無需連接到中央伺服器。

利用針對特定問題訓練的小型語言模型，有時運行在廉價、低功耗的設備上，其他小型 AI 應用已被開發出來，用於識別烏拉圭葡萄園中的螞蟻侵擾、檢測多個國家中攜帶瘧疾的蚊子，以及在巴西部分缺乏複雜設備的地區，透過 Arduino 裝置運行心電圖。

「這是當今 AI 最重要的領域」巴西伊塔茹巴聯邦大學工程與資訊系統學院教授 Marcelo José Rovai 說，他參與了所有三個專案。「它正在快速成長。」

小型 AI 模型可以在各種低功耗設備上運行，包括（從左到右）Arduino Nano 33 BLE Sense、Seeed Wio Terminal 和 Arduino Portenta。

對於 Alonge、Rovai 和其他倡導者來說，小型 AI 不僅僅是世界銀行 11 月報告所稱的「一個有前景的趨勢」。從長遠來看，它可能是將觸及最多生命，並在一些巨型模型對大多數使用者來說變得過於昂貴之後，仍能持續存在的 AI 形式。

「我認為 AI 的未來不像一個位於中心的巨型模型。我認為它是數百萬個部署在邊緣、精確的小型模型，每個模型都解決一個特定的問題、一個特定的情境」Alonge 說。這部分是因為大部分人類，包括富裕國家和開發中國家的人們，都無法接觸到尖端的前沿模型。但他表示，這也是因為這些模型不可持續。

「如果沒有人補貼，大多數人將無法負擔這些模型。所以我們這些被稱為小型 AI 開發者的人，將不得不為世界上大多數人開發」Alonge 說。

「小型 AI」沒有嚴格的定義，但人們通常用這個詞來指代參數數量最多只有幾十億的語言模型。（與尖端模型相比，它們可能包含超過一兆個參數。）這足以直接在手機或 Raspberry Pi 上運行。這使得這些應用程式無需連接到資料中心即可在設備上運行，並且只使用幾瓦的電力，通常由電池或太陽能板供電。

Rovai 說，儘管這些模型體積小，但它們的技術與巨型 AI 模型並沒有根本區別。許多小型語言模型的實例都是以與 Alonge 的手機藥物掃描器版本相同的方式創建的，透過「修剪」（pruning）大型模型，或移除與任務無關的參數。Rovai 說，結果是一個整體能力較弱，但在其被修剪的特定任務上仍然非常出色的系統。

RxAll 的 RxScanner 光譜儀的輕量版本將結果傳送到手機上本地運行的 AI 模型，以檢查藥物的分子特徵是否真實。

其他小型模型是透過「蒸餾」（distillation）創建的。Rovai 說，它們被訓練來模仿大型模型，直到其性能接近「老師」的水平。在其他情況下，大型模型的精度會降低，例如，使在 32 位元架構上運行的模型可以在 8 位元設計上運行。在機器學習應用程式用於分類資料或預測模式（如螞蟻侵擾）的情況下，它從一開始就在小型設備上進行訓練，根本不是從大型模型派生出來的。Rovai 說，運行所有這些小型、專業化系統變得越來越容易，原因有二。

第一個原因是硬體變得更好、功能更強大，同時功耗更低，他說。這意味著越來越多的手機可以運行小型 AI，特別是那些配備神經處理單元（NPU）的手機，NPU 是專門處理 AI 任務的晶片，例如臉部辨識以及調整照片的亮度、陰影或對比度。

根據科技研究公司 Counterpoint 的數據，2025 年全球出貨的所有智慧型手機中，略多於三分之一能夠運行生成式 AI，到今年年底，這個數字將達到 45%。到明年年底，略多於一半的智慧型手機將能夠運行小型 AI 模型。

Rovai 引用的第二個原因是語言模型的體積不斷縮小。Google DeepMind 的 Gemma 4（於四月發布）和阿里巴巴的 Qwen 3.5 對於小型 AI 來說都「非常棒」，Rovai 說。這兩個模型都是「開放權重」（open weight）的，這意味著使用者可以根據自己的需求調整參數之間的連接。

例如，這使得「從乳製品產業獲取大量數據並專門針對該數據重新訓練模型」變得容易，Rovai 說。

Rovai 在一次 Zoom 通話中展示了這些原因，他使用了他最近的一個實驗。他舉起一個設備說：「這是新的 Arduino UNO Q，一個售價 50 美元、配備 Qualcomm 晶片的設備。我正在這裡運行一個語言模型，它從感測器收集數據並分析這些數據，以檢測蚊子可能滋生的微小水池。它只需 3 瓦的電力即可運行。」

世界銀行確信數百萬人已經從這類應用中受益，因此現在積極透過補助金、導師計畫、融資、技術建議和有利於小型 AI 發展的政府政策模型來推廣小型 AI。例如，在盧安達，世界銀行正在支持一項政府計畫，幫助低收入家庭獲得可以運行 AI 的設備。

儘管如此，沒有人聲稱大型語言模型會完全消失。Rovai 說，要創建一個可以在手機或其他小型設備上運行的生成式 AI，需要大型模型的架構洞察、數據處理和結果。「我們需要大型模型來創建這些小型模型。」Alonge 說，儘管小型 AI 可以造福那些無法接觸到大型 AI 的人，但這項技術無法解決發展和數位不平等這些更大的問題。

實施小型 AI 並不能讓國家擺脫創建支援 AI 生態系統的挑戰：可靠的電力、運作良好的供應鏈以及培養創建 AI 工具所需人才的教育系統。

儘管他的藥物掃描系統可以在沒有連線的手機上運行數天，但「你仍然希望能夠定期同步更新新的藥物簽名和分析數據」Alonge 說。「即使你使用電池，可靠的電力也很重要。手機電池不會永遠持續下去。」

他說，在世界許多地方，小型 AI 的未來並不確定。「它確實有效，許多地方最終也需要使用它。問題在於政治參與者是否足夠明智，願意投資基礎設施來長期支持它。」