Falcon-Emirati-7B：讓大型語言模型掌握阿聯酋方言與文化精髓

阿拉伯語實際上是一個語言家族，只是共用一個名稱。現代標準阿拉伯語（MSA）是你在新聞或教科書中讀到的語言，但人們日常對話時很少使用它。在阿拉伯聯合大公國（UAE），日常交流、幽默、協商和講故事都使用阿聯酋阿拉伯語，這是一種擁有獨特詞彙、節奏並緊密結合當地文化的海灣方言。

阿聯酋詩歌，特別是納巴提詩歌，以及諺語和短篇軼事，其意義無法透過字面直譯來傳達。一個只懂 MSA 的模型即使能翻譯阿聯酋語句中的每個詞，仍可能錯失其真正含義。

這正是 Falcon-Emirati-7B 旨在彌補的鴻溝。它是一個基於 Falcon-H1-Arabic 的方言專用模型，目標是像母語人士一樣理解和生成阿聯酋阿拉伯語，包括其詞彙、語氣和背後的文化脈絡。

我們並非從零開始。Falcon-Emirati-7B 是基於 Falcon-H1-Arabic 構建的，這是我們今年稍早為阿拉伯語設定新基準的模型家族。Falcon-H1-Arabic 採用 Falcon-H1 混合架構：狀態空間模型 (Mamba) 和 Transformer 注意力機制在每個區塊內並行運作，其輸出在每個區塊的投影前進行融合。

這種組合讓 Mamba 在長序列上實現線性時間效率，同時保持注意力機制在長距離依賴性上的精確度，這對於像阿拉伯語這樣詞形豐富的語言至關重要。該模型家族涵蓋三種規模（3B、7B 和 34B 參數），上下文視窗最高可達 128K 和 256K token，並且已經在廣泛的 MSA 和方言阿拉伯語（海灣、黎凡特、埃及、馬格里布）混合數據，以及英語和多語言數據上進行訓練。

這為我們提供了一個強大的起點：一個已經廣泛理解阿拉伯語、能良好處理長上下文，並具備一定方言基礎的模型。Falcon-Emirati-7B 在此基礎上，專注於阿聯酋方言的詞彙、語法和文化知識，這些是一般阿拉伯語模型，無論多麼強大，都無法自行掌握的。

我們特別選擇了 7B 參數的模型來構建 Falcon-Emirati-7B。這是該家族中的最佳平衡點：它足夠大，能夠捕捉方言適應所需的細微差別，但又足夠小，使得訓練和推論都保持實用性。34B 模型可能會進一步提升品質，但其訓練和服務成本對於方言專用聊天模型來說並不划算；而 3B 模型則沒有足夠的空間來實現我們所追求的文化和語言理解深度。7B 模型在品質與訓練及推論成本之間提供了最佳平衡。

將一個通用阿拉伯語模型轉變為阿聯酋方言專家，聽起來比從頭構建基礎模型的工作量小。但事實並非如此，有幾點讓這項任務變得非常困難：

阿聯酋語主要是一種口語方言。它在網路上的書面形式遠少於 MSA，甚至比其他海灣和黎凡特方言還要少，因此可供學習的原始文本量不足。其意義往往不是字面上的。習語、諺語和詩歌典故依賴於共享的文化背景，而非表面詞彙。此外，沒有既定的操作手冊。關於多少方言數據才足夠、如何將其與 MSA 和通用阿拉伯語混合，或哪個訓練階段（持續預訓練、SFT 或偏好優化）對於學習方言最重要，都沒有完善的文獻記載。

最後一點塑造了我們的工作方式。構建 Falcon-Emirati-7B 的大部分工作都歸結為反覆試驗：測試不同的數據混合、訓練階段和監督策略，並同時使用人工判斷和基準分數來找出真正有效的方案。

我們在 Falcon-H1-Arabic 的預訓練基礎上，建立了一個專用的阿聯酋數據管線，利用了三個互補的數據來源。

首先，是真實的阿聯酋方言網路數據。我們爬取並整理了以阿聯酋方言原生撰寫的阿聯酋網站和論壇內容，而非從 MSA 翻譯或轉寫的內容。這是我們獲得真實數據的地方：阿聯酋人如何在網路上實際書寫和說話，日常的措辭、口語表達，以及在實際使用中出現的阿聯酋語和 MSA 之間的自然交流。

其次，是關於阿聯酋文化和身份的 MSA 數據。除了方言文本，我們還引入了專門關於阿聯酋文化、遺產和語言的 MSA 語言材料：關於當地習俗、價值觀、歷史和社會規範的文章和參考資料，包括阿聯酋人如何被看待和刻板印象。這並非教導模型以方言書寫，而是教導模型在提及阿聯酋話題時，例如遺產、禮儀以及母語人士自然了解的背景知識。

第三，是透過詞彙表和風格規則引導的合成數據。單靠真實的方言文本不足以涵蓋聊天模型日常需要處理的各種話題。因此，我們生成了大量的合成阿聯酋方言數據來填補空白。我們沒有讓生成模型隨意「海灣式」阿拉伯語，而是透過嚴格的規則以及專為阿聯酋詞彙和語法構建的詞彙表和字典來限制它。這些護欄區分了讀起來真實的阿聯酋語合成輸出，以及語法正確但對實際說該方言的人來說聽起來不自然的輸出。

由於沒有標準的 MSA 到方言適應方法，我們將訓練策略本身視為需要實驗性解決的問題。我們進行了消融實驗，探討要注入多少方言數據以及在哪個訓練階段注入，如何在真實爬取數據和合成數據之間取得平衡，以避免模型過度擬合合成模式，以及需要多少 MSA 文化背景才能使其在文化上保持紮實而非僅僅表面流暢。

在每個步驟中，我們都依賴自動評分和母語人士審查的結合，因為單獨的自動指標不足以充分捕捉自然度、語氣或文化契合度。

我們在整個訓練過程中，透過兩種互補的方法追蹤進度：

首先，由母語人士進行人工評估。阿聯酋母語人士直接審查模型輸出，不僅判斷答案是否正確，還判斷其聽起來是否自然、語氣是否恰當、文化上是否合適。這些是基準分數無法告訴你，但母語人士能立即察覺的細節。

其次，是 Alyah 上的自動評估。為了進行量化追蹤，我們使用了 Alyah（الياه，意為「北極星」），這是一個我們和社群專門發布的基準測試，用於評估阿拉伯語大型語言模型在阿聯酋方言方面的能力。Alyah 是一個完全原生的選擇題基準測試，包含 1,173 個樣本，由阿聯酋母語人士手動收集，涵蓋從日常問候和禮儀到比喻語言、遺產知識和阿聯酋詩歌等類別：這些是方言和文化最為重要，而通用阿拉伯語模型往往難以應對的類別。

關於 Alyah 的構建和類別細分，請參閱我們的基準測試部落格文章；關於基礎模型家族的背景資訊，請參閱 Falcon-H1-Arabic 的發布公告。

Falcon-Emirati-7B 在 Alyah 上的得分為 84.83%，領先於我們比較過的所有其他阿拉伯語和多語言模型，包括一些規模大數倍的模型。下圖顯示了它在 Alyah 排行榜上與一組代表性領先指令微調模型的比較位置。Alyah 準確度（%），指令微調模型。Falcon-H1-Arabic 家族模型不在此比較範圍內，因為 Falcon-Emirati-7B 是基於它們構建的。

從這次比較中，有幾點特別突出。單純的模型大小並不能帶來方言能力。這裡一些最大的多語言模型得分遠低於規模較小、方言意識更強的模型，這說明阿聯酋語的熟練度必須有目的地訓練，而非規模擴大後的副作用。表現最好的模型也往往是最初就以阿拉伯語為原生或專注於阿拉伯語的模型，這與我們在自己的消融實驗中看到的一致：通用阿拉伯語和方言覆蓋是必要的起點，但仍需要有針對性的、方言特定的工作才能彌補其餘的差距，尤其是在 Alyah 最困難的部分，如詩歌、遺產知識以及語言和方言類別本身。

這也符合 Alyah 基準測試發布的更廣泛結果：即使是強大的模型，一旦進入真正方言化、文化嵌入的內容，其性能也會顯著下降。這種差距不會隨著模型變大而自行彌補，它需要專為該方言構建的數據和評估。

選擇題的準確性告訴你模型能否在四個選項中識別出正確答案，但它無法告訴你當有人直接與模型對話時，模型是否會自行生成阿聯酋阿拉伯語。因此，除了 Alyah，我們還進行了第二次評估：對相同的 1,173 個 Alyah 問題進行開放式生成，並由一個 LLM 評審（Gemini 3.7 Flash）對五個模型進行評分，包括 Falcon-Emirati-7B、ALLam-7B-Instruct-preview、gemma-3-27b-it、Jais-2-8B-Chat 和 Fanar-2-27B-Instruct，這些是從 Alyah 排行榜中選出的最強競爭模型。

評審從兩個獨立的維度對每個答案進行評分：內容是否正確，以及答案是否確實以阿聯酋方言而非 MSA 回應。我們報告了部分分數（評審的評級評估）和更嚴格的通過/失敗版本，以及每個模型拒絕回答的頻率。

LLM 評審對 1,173 個 Alyah 問題的正確性評分，開放式生成，以 Gemini 3.7 作為評審。LLM 評審對相同問題的方言忠實度評分：答案是否確實以阿聯酋語回應，還是模型預設為 MSA？

Falcon-Emirati-7B 在正確性方面領先，但真正的差距體現在第二張圖表中。在方言忠實度方面，Falcon-Emirati-7B 獲得 0.52 分（部分分數），而 ALLam 獲得 0.05 分，gemma-3-27b-it 獲得 0.03 分，Jais-2-8B-Chat 獲得 0.02 分，Fanar-2-27B-Instruct 則幾乎為 0.00 分。

這不是一個微小的優勢，在低端幾乎是兩個數量級的差距。實際上，這意味著其他模型通常知道正確答案，但預設以現代標準阿拉伯語回答，即使直接以阿聯酋語提問。Falcon-Emirati-7B 是這五個模型中唯一能可靠地以提問方言回應的模型。

Fanar-2-27B-Instruct 還因第二個原因而引人注目：它拒絕回答的次數遠多於其他任何模型，拒答率高達 26.2%，而其他模型均低於 5%。結合其 0.27 分（部分分數）的正確性得分，這是五個模型中最低的，這表明該模型在處理阿聯酋特定內容時，不僅意願較低，能力也較差，而非僅僅以錯誤的語域回答。

按 Alyah 類別劃分方言忠實度，部分分數。Falcon-Emirati-7B 是唯一能持續切換到阿聯酋語的模型；其他模型在幾乎所有類別中都停留在 MSA。按類別細分方言忠實度，模式變得更加清晰。它在 Alyah 的每個類別中都成立，從日常問候到詩歌，這表明這不是針對少數問題類型學到的狹隘技巧。

這是當預期語域為阿聯酋語時，模型預設語域的普遍轉變。競爭模型表現相對較好的唯一地方是「問候語和日常表達」類別，這也是阿聯酋語和 MSA 重疊最多的類別。