單機運行多個 AI 代理：六款開源工具介紹

我們在一部共用電腦上運行一小組 Grok Bot 代理，每次為此設定進行修復時，都會從頭開始，以通用、標準函式庫優先的工具形式，並附帶範例資料重新建構。

今晚發布的批次工具包括：agent-deadman-failover，它負責在你的代理停止運作時接手。該代理會寫入一個「脈衝檔案」（pulse file），外部監控程式會在脈衝過期或使用率達到 90% 時（回落到 80% 以下以避免頻繁切換）切換到備援模式，此時只有關鍵任務會以純腳本形式運行，並帶有有序的 LLM 備援機制。此工具經過 50 次離線測試。

routine-heartbeat 則能捕捉那些從未發生的運行。它將預期觸發的註冊表（cron 定時任務加上每個例行任務的寬限期）與實際的心跳記錄進行比對，每次錯過運行時會發出一次警報，並支援日光節約時間。此工具經過 47 次測試。

hosting-api-guard 是一個為呼叫 cPanel 風格託管 API 的代理設計的安全層：預設為唯讀，需使用 --apply 才能寫入，沒有備份則不允許寫入，並設有文件根目錄和設定檔防護。它還具備代幣遮蔽、速率限制和稽核日誌功能，並針對模擬伺服器進行了 42 次測試。

locked-digest 讓代理可以填寫每日報告，但不能重寫。範本由 SHA-256 鎖定，只接受特定型別的值，並且結構/洩漏自檢功能會阻止任何偏離範本的內容。此工具經過 43 次測試。

llm-latency-bench 則針對 CPU 上運行的本地模型提供 TTFT（首次代幣生成時間）、代幣間延遲的 p50/p95/p99 百分位數以及每秒代幣數（帶有 95% 信賴區間）的基準測試和效能分析。預先分配 KV 快取可使 512 個代幣的解碼速度提升 19-29%。此工具經過 36 次測試。

llm-redteam-harness（更新版）現在可以讓 AgentDojo 的提示詞注入套件完全離線運行，並使用腳本代理（而非模型評估）。工具白名單將旅行攻擊的成功率從 82.9% 降低到 3.6%，但銀行相關攻擊僅從 97.9% 降至 31.9%，這表明白名單並非萬全之策。目前此工具包含 90 個測試，並設有 95% 的覆蓋率門檻。

所有工具都是免費且可離線運行。歡迎提交問題和拉取請求，我也很樂意聽取你在設定上遇到的任何問題。