本文基於 272 次實際生產運行數據,探討如何在共享 GPU 叢集上預測端到端(end-to-end)的模型微調時間。這是我們即將發表的論文《預測生成式語言模型的端到端微調時間》的預覽,完整版將很快在 arXiv 上發布。
在現今的 AI 領域中,GPU 是最昂貴且稀缺的資源之一。任何營運共享叢集的人,每天都必須決定哪些任務要分配到哪些 GPU 上,以及執行的順序。這個計畫的品質,完全取決於對每個任務所需時間的估計準確度。如果一個任務提早數小時完成,GPU 就會閒置,直到下一個任務被分配。但如果任務延遲數小時,其後排隊的所有任務都會順延,實驗被迫等待,交付日期也隨之推遲。
更精準的執行時間估計,能將這種猜測轉變為實際規劃:決定哪些任務何時運行、使用多少 GPU,並減少閒置容量。然而,大多數團隊使用的估計方法,僅是粗略的 FLOPs 計算。它可能預估九小時,但任務卻在隔天下午才完成。
我們想知道這種計算方式的誤差究竟有多大,以及是否能在任務分配前就做出更好的預測。因此,我們從生產環境中的 NVIDIA H200 GPU 資源池中,選取了 272 個實際的監督式微調(SFT)任務,總計約 7,382 個 GPU 小時,並將分析性估計與機器學習預測器進行比較。
簡而言之,常見的基於 FLOPs 的估計,對我們觀察到的結果解釋力很低(R² = 0.31,平均絕對誤差 MAE 為 12.41 小時)。而一個僅使用任務分配前可用資訊的 CatBoost 迴歸器,在五折交叉驗證中達到了 R² = 0.98,平均絕對誤差為 1.71 小時,中位數誤差為 0.51 小時。
這個差距源於封閉形式估計無法處理的兩個方面:該迴歸器能看到更多訓練特定的訊號,例如評估頻率、檢查點策略、每 GPU 負載和微調機制,並且能從過去的運行中學習它們之間的非線性交互作用。
大家都在用的估計方法只考慮運算
對於一個密集型 Transformer 模型,訓練成本大約是 6 · P · D 浮點運算,其中 P 是參數數量,D 是訓練詞元(token)數量。將其除以 GPU 的峰值吞吐量,就能得到訓練迴圈的時間:
T_theoretical = (6 · P · D) / (N_GPU · FLOPS_peak · MFU)
這裡的 N_GPU 是 GPU 數量,FLOPS_peak 是單一 GPU 規格表上的峰值吞吐量,而 MFU(Model FLOPs Utilization,模型浮點運算利用率)是訓練實際達到的峰值比例。實際任務從未以峰值運行,因為存在記憶體流量、通訊和核心效率不彰等問題,因此 MFU 通常介於 30% 到 60% 之間,且特定任務的正確 MFU 值無法預先得知。
這很好地描述了最佳化迴圈。然而,一個任務不僅僅是這個迴圈。在第一步之前,還有環境設定、模型下載和載入,以及詞元化。訓練期間,還有定期評估和檢查點(checkpoint)上傳。最後,最終模型會儲存到物件儲存中。在多租戶叢集上,所有這些都與其他任務競爭網路和儲存 I/O。
這些額外開銷(overheads)取決於配置,並且不會隨著工作負載或 GPU 數量而整齊地擴展。兩個具有相同名義運算量的任務,可能在數小時後才完成。為了保持比較公平,我們測試的 FLOPs 基準線也計算了排程的評估詞元以及訓練詞元,並且我們在廣泛範圍內掃描了 MFU 值。
我們建立了什麼
我們將端到端執行時間視為一個監督式迴歸問題。給定一個由任務配置和模型中繼資料建構的特徵向量,預測從任務獲得 GPU 到完成的實際執行時間。排隊時間不包括在內。
有兩個設計選擇塑造了這項工作:
所有資訊在任務分配前就已知。所有輸入都來自提交的配置:超參數、資料集大小、模型識別碼、GPU 分配。沒有執行時間日誌,也沒有部分進度。這使得預測結果可用於排程。
揭示額外開銷的特徵。除了原始配置,我們還導出了諸如 num_eval_data(在所有評估週期中處理的樣本總數)、num_saves 和 num_params_saved(檢查點 I/O),以及每 GPU 詞元量等數值。FLOPs 估計本身,在 MFU 固定為 0.45 的情況下,也作為一個特徵(baseline_time)納入模型,因此模型從純運算數值開始,並學習修正值。
我們比較了線性迴歸(Linear Regression)、嶺迴歸(Ridge)、XGBoost 和 CatBoost。特徵選擇結合了相關性篩選、互資訊和排列重要性,涵蓋 18 個候選特徵集,隨後進行網格搜尋,並以 MAE 作為標準。最終的 CatBoost 模型使用了 24 個特徵。
數據
我們使用了來自企業生產環境操作日誌的 272 個 SFT 運行數據,涵蓋了多個模型家族,參數規模高達 150 億,包括 LoRA 和完整微調,以及各種資料集大小和超參數。
共享基礎設施。任務在 1、2 或 4 個 GPU 上運行,這些 GPU 來自一個由 8 到 32 個 H200 組成的資源池,分佈在 1 到 4 個節點上,同時還有其他訓練和推論工作負載。測量時間包含了實際的資源競爭。
執行時間從 1.6 小時到 172.4 小時不等,平均值為 23.43 小時,中位數為 15.29 小時。
技術堆疊:Hugging Face Transformers 和 Unsloth。我們將技術堆疊建模為一個類別特徵,不假設兩者之間存在固定的加速比。
結果
所有數據均來自分層五折交叉驗證。前四行是分析性結果,不涉及模型擬合。
| 模型 | R² | RMSE (小時) | MAE (小時) |
|---|---|---|---|
| FLOPs 基準線 (MFU 30%) | 0.31 | 20.45 | 12.41 |
| FLOPs 基準線 (MFU 45%) | 0.18 | 22.38 | 13.01 |
| FLOPs 基準線 (MFU 60%) | 0.01 | 24.56 | 14.62 |
| Calculon | −0.51 | 30.40 | 20.36 |
| 線性迴歸 | 0.69 ± 0.14 | 13.52 ± 4.23 | 7.52 ± 0.49 |
| 嶺迴歸 | 0.73 ± 0.09 | 12.72 ± 3.70 | 7.23 ± 0.68 |
| XGBoost | 0.97 ± 0.01 | 4.18 ± 1.17 | 1.95 ± 0.32 |
| CatBoost | 0.98 ± 0.01 | 3.52 ± 0.78 | 1.71 ± 0.33 |
有幾點值得注意:
沒有單一 MFU 值能修正 FLOPs 基準線。我們將 MFU 從 0.25 掃描到 0.65。即使是最佳設定 30%,在平均持續 23 小時的任務上,平均誤差仍超過 12 小時。
更詳細的分析模型也未能彌補差距。作為第二個基準線,我們採用了 Calculon(Isaev 等人,SC '23),這是一個來自先前研究的 LLM 訓練分析性效能模型。它建立了一個明確的層圖,並考慮了運算、記憶體流量和裝置間通訊。我們擴展了其公開實作,以涵蓋 LoRA、分組查詢注意力(grouped-query attention)、融合注意力(fused attention)、bfloat16 和 SwiGLU。
然而,其估計值仍僅佔觀察到的實際執行時間中位數的 11%。這並非否定 Calculon 作為一個步驟層級工具的價值,因為它就是為此設計的。這顯示了生產任務中有多少部分發生在最佳化步驟之外。
線性模型有所幫助,但隨後停滯不前。嶺迴歸將 MAE 降至 7.23 小時。配置與執行時間之間的關係,無法被純線性模型很好地捕捉。
梯度提升(Gradient boosting)承擔了主要工作。CatBoost 和 XGBoost 在每個指標上都落在彼此的一個標準差範圍內。我們選擇 CatBoost,因為它在所有方面都具有最低的平均誤差。
預測器依賴什麼
CatBoost 的特徵重要性集中在少數幾個特徵上。模型和工作負載變數如預期般存在,但評估和檢查點變數也同樣重要。num_eval_data(任務生命週期中評估處理的樣本總數)排名第一,其次是 num_trainable_params(可訓練參數數量)、batch_eval_size_percent(評估批次大小百分比)、num_all_params(所有參數數量)和 num_gpusbatch_train_percent(GPU 數量訓練批次百分比),而 num_params_saved(儲存參數數量)也緊隨其後。
SHAP 值也說明了同樣的情況:高評估量會持續推高預測時間,而可訓練參數數量則具有非線性效應,僅在最大型模型中才變得顯著。
特徵重要性並非因果關係的聲明。然而,其模式與任務實際花費時間的方式相符。你評估的頻率、評估集的大小以及你保留的檢查點數量,都與模型和資料集規模一同塑造了實際執行時間。這些通常是人們在編寫訓練配置時習慣性做出的選擇。
閱讀圖表時的一個注意事項:較大的 GPU 分配顯示對預測時間有正向貢獻。在我們的數據中,較大的分配通常與較大的任務相關,因此 num_gpus 在某種程度上充當了任務規模的代理。這並不意味著增加 GPU 會使任務變慢。
誤差有多大,以及在哪裡
查看所有 272 個折外(out-of-fold)預測,中位數絕對誤差為 0.51 小時。80% 的預測誤差在 2.20 小時內,90% 在 4.31 小時內。按任務持續時間細分:
| 任務持續時間 (小時) | 運行次數 | 中位數絕對誤差 (小時) | P90 (小時) |
|---|---|---|---|
| 1.56 至 5 | 60 | 0.30 | 1.55 |
| 5 至 10 | 63 | 0.18 | 1.27 |
| 10 至 30 | 69 | 0.73 | 4.17 |
| 30 至 60 | 67 | 1.06 | 5.50 |
| 60 至 175 | 13 | 5.19 | 18.51 |
在 60 小時以內,中位數誤差保持在大約一小時或更少。長尾部分是模型表現較差的地方,由於超過 60 小時的運行次數僅有 13 次,我們將其視為數據限制。更多的數據應該仍有幫助。在固定的 20% 保留集上,當訓練分區從 85% 增加到 100% 時,MAE 從 1.63 小時降至 1.50 小時,且沒有明顯的平穩期。
它的用途
在實務上,這個預測器能為排程器提供一個在任務開始前即可規劃的執行時間:哪些任務可以一起運行、GPU 何時會釋放,以及運行是否能在截止日期前完成。
限制
僅限 SFT。我們沒有包含其他訓練和對齊策略,例如 RLHF、DPO 或 RLVR。
單一 GPU 類型。所有運行都使用了 H200。擬合的模型是針對該基礎設施校準的,不應期望在沒有重新訓練的情況下,數值上能轉移到其他世代的 GPU。一個用於混合資源池的預測器,還需要硬體描述符,例如運算吞吐量、記憶體容量和頻寬,以及互連拓撲。
極少數的超長運行。誤差在 60 小時以上會擴大。
然而,可轉移的是方法本身:考量額外開銷的特徵、考量多重共線性的選擇以及比較協定。完整論文將詳細報告特徵公式、選擇程序、搜尋空間和最終超參數,以便該流程可以在任何具有類似結構的執行日誌數據集上重建。
我們接下來的清單包括:硬體特定描述符和在其他 GPU 類型上的驗證、針對少量觀測值的配置進行遷移學習、其他訓練目標,以及更多關於長運行時間的數據。
下一步
完整論文即將在 arXiv 上發布。請關注 Hugging Face 上的 Dharma-AI 組織,以便在發布時收到通知,並在下方留言提出您的問題。我們很想聽聽您如何在自己的叢集上估計任務執行時間。